随着我国国际地位的提高,汉语学习在海外不断升温。而有经验的教师和一对一教学的局限性，使得计算机辅助的汉语智能化学习势在必行。高级复杂语言例如汉语的智能化学习是以计算机科学为核心的多个领域的研究问题。汉语发音这种包含多重模态信息的复杂过程，传统的仅通过音频单一模态信息处理的手段难以适应对此过程进行分析处理的需求。许多汉语发音没有十分明显的声音差别，但在视觉上(如平舌音和翘舌音)则呈现出不同的特征。本项目将基于图像和语音信息协同的最新技术，以达到汉语发音高效智能化学习的目标。我们提出新型的舌位唇形特征提取与识别方法；探讨非母语人群的发音特点并创建相应的图像与语音多模态数据库；研究多种模态下非母语学习者发音与标准发音的匹配方法；最终实现自适应的提高发音准确度的机制。本项目的开展为非母语学习者智能化汉语发音学习提供全新的平台。