188宝金博页面版

书ＩＳＳＮ 　 １０００－００５４ＣＮ 　 １１－２２２３／Ｎ　清华大学学报 （自 然科学版）Ｊ　 Ｔ ｓ ｉｎｇｈｕａ　 Ｕｎ ｉｖ（Ｓ ｃ ｉ　 ＆ Ｔ ｅ ｃｈ），２０１１ 年 第５１ 卷 第９ 期２０１１， Ｖ ｏ ｌ．５１， Ｎｏ．９１／３３１１６１－１１６６面向多口音语音识别的声学模型重构张　超１，２，　刘　轶１，　郑　方１（１． 清华信息科学技术国家实验室技术创新与开发部语音和语言技术中心， 北京１０００８４；２． 清华大学 计算机科学与技术系， 北京１０００９４）收稿日 期：２０１１－ ０７－ １５基金项目 ： 国家自 然科学基金资助项目 （６０９７５０１８） ；188宝金博页面版部新教师基金 （２００９０００２１２００１２）作者简介： 张超（１９８６—） ， 男（汉） ， 内 蒙古， 硕士研究生。通信作者： 刘轶， 副研究员 ，Ｅ－ｍ ａ ｉ ｌ：ｅ ｅｙ ｌ ｉｕ＠ｔ ｓ ｉｎｇｈｕ ａ．ｅｄｕ．ｃｎ摘　要： 该文提出 了 应用 声学 似然分作为 置信度来生成可靠口音相关单元的方法。 基于可靠口 音相关单元构造声学模型， 并通过声学模型重构的方法将它们融合到标准普通话模型中， 以改善普通话语音识别器对带多方言口音语音的识别效果。 另 外， 还提出 了 使用 增量式决策树融合及根据支配度选择Ｇ ａｕ ｓ ｓ 混合２ 种方法来减少冗余的 Ｇ ａｕ ｓ ｓ 混合， 从而提高了 重构后的 声学 模型的 效率。 实 验表明 ： 该方法在不降低对标准普通话的 识别率的 前提下， 对粤、 吴口 音的 绝对音节错误率分别下降了９．２５％和９．２１％。关键词： 语音识别； 多方言口 音； 可靠口 音相关单元； 声学模型重构中图分类号： ＴＮ 　 ９１２．３文章编号：１０００－００５４（２０１１）０９－１１６１－０６文献标志码： ＡＡ ｃ ｏ ｕ ｓ ｔ ｉ ｃ　 ｍ ｏ ｄ ｅ ｌ 　 ｒ ｅ ｃ ｏ ｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏ ｎ 　 ｆ ｏ ｒ　 ｍ ｕ ｌ ｔ ｉ－ ａ ｃ ｃ ｅ ｎ ｔＣｈ ｉｎ ｅ ｓ ｅ 　 ｓｐ ｅ ｅ ｃｈ 　 ｒ ｅ ｃ ｏｇｎ ｉ ｔ ｉｏｎＺＨＡＮＧ　 Ｃ ｈａｏ１，２，Ｌ ＩＵ　 Ｙ ｉ 。，ＺＨＥＮＧ　 Ｔ ｈｏｍａ ｓ　 Ｆａ ｎｇ１（１． Ｃ ｅｎ ｔ ｅ ｒ 　 ｆ ｏ ｒ 　 Ｓｐｅ ｅ ｃｈ 　 ａｎｄ　 Ｌ ａｎｇｕ ａｇｅ　 Ｔ ｅ ｃｈｎ ｏ ｌ ｏｇ ｉ ｅ ｓ，Ｄ ｉ ｖ ｉ ｓ ｉ ｏｎ 　 ｏ ｆ　 Ｔ ｅ ｃｈｎ ｏ ｌ ｏｇ ｙ 　 Ｉｎｎ ｏ ｖ ａ ｔ ｉ ｏｎ 　 ａｎ ｄ　 Ｄ ｅ ｖ ｅ ｌ ｏｐｍ ｅｎ ｔ，Ｔ ｓ ｉｎｇｈｕ ａ　 Ｎ ａ ｔ ｉ ｏｎ ａ ｌ　 Ｌ ａｂ ｏ ｒ ａ ｔ ｏ ｒｙ 　 ｆ ｏ ｒ 　 Ｉｎ ｆ ｏ ｒｍ ａ ｔ ｉ ｏｎ 　 Ｓ ｃ ｉ ｅｎ ｃ ｅａｎｄ　 Ｔ ｅ ｃｈｎ ｏ ｌ ｏｇ ｙ，Ｂ ｅ ｉ ｊｉｎｇ 　 １０００８４，Ｃｈ ｉｎ ａ；２． Ｄ ｅｐａ ｒ ｔｍ ｅｎ ｔ　 ｏ ｆ　 Ｃｏｍｐｕ ｔ ｅ ｒ 　 Ｓ ｃ ｉ ｅｎ ｃ ｅ 　 ａｎｄ　 Ｔ ｅ ｃｈｎ ｏ ｌ ｏｇ ｙ，Ｔ ｓ ｉｎｇｈｕ ａ　 Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔｙ，Ｂ ｅ ｉ ｊｉｎｇ 　 １０００８４，Ｃｈ ｉｎ ａ）Ａｂ ｓ ｔ ｒ ａ ｃ ｔ：Ｔｈ ｅ　 ａ ｃｏｕ ｓ ｔ ｉ ｃ 　 ｌ ｉｋ ｅ ｌ ｉｈ ｏｏｄ 　 ｓ ｃｏ ｒ ｅ 　 ｉ ｓ　 ｕ ｓ ｅｄ 　 ａ ｓ　 ａ 　 ｃｏｎ ｆ ｉ ｄ ｅｎ ｃ ｅ　 ｍ ｅ ａ ｓｕ ｒ ｅｔ ｏ　 ｇ ｅｎ ｅ ｒ ａ ｔ ｅ 　 ｒ ｅ ｌ ｉ ａｂ ｌ ｅ　 ａ ｃ ｃ ｅｎ ｔ－ ｓｐ ｅ ｃ ｉ ｆ ｉ ｃ　 ｕｎ ｉ ｔ ｓ 　 ａｎ ｄ 　 ｔ ｏ　 ｍ ｅ ｒ ｇ ｅ 　 ｓｕ ｃｈ 　 ｒ ｅ ｌ ｉ ａｂ ｌ ｅａ ｃ ｃ ｅｎ ｔ－ ｓｐ ｅ ｃ ｉ ｆ ｉ ｃ　 ｕｎ ｉ ｔ ｓ 　 ｔｈ ｒ ｏｕ ｇｈ 　 ａ ｃｏｕ ｓ ｔ ｉ ｃ。 ｏｄ ｅ ｌ 。 ｅ ｃｏｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏｎ．Ｔｈ ｅｄ ｅ ｃ ｉ ｓ ｉ ｏｎ 　 ｔ ｒ ｅ ｅ　 ｍ ｅ ｒ ｇ ｅ　 ａｎ ｄ 　 ａ ｃｏｕ ｓ ｔ ｉ ｃ　 ｍ ｏｄ ｅ ｌ 　 ｒ ｅ ｃｏｎ ｓ ｔ ｒ ｕ ｃ ｔ ｉ ｏｎ 　 ｅ ｆ ｆ ｉ ｃ ｉ ｅｎ ｃ ｉ ｅ ｓ 　 ａ ｒ ｅｉｍｐ ｒ ｏｖ ｅｄ　 ｂｙ 　 ｒ ｅｄｕ ｃ ｉｎ ｇ 　 ｒ ｅｄｕｎｄ ａｎ ｔ　 Ｇ ａｕ ｓ ｓ ｉ ａｎ 　 ｃｏｍｐｏｎ ｅｎ ｔ ｓ 　 ｔｈ ｒ ｏｕ ｇｈ 　 ａｎｉｎ ｃ ｒ ｅｍ ｅｎ ｔ ａ ｌ　 ｄ ｅ ｃ ｉ ｓ ｉ ｏｎ 　 ｔ ｒ ｅ ｅ　 ｍ ｅ ｒ ｇ ｅ　 ｐ ｒ ｏ ｃ ｅｄｕ ｒ ｅ 　 ａｎｄ 　 ｓ ｅ ｌ ｅ ｃ ｔ ｉ ｏｎ　 ｏ ｆ　 Ｇ ａｕ ｓ ｓ ｉ ａｎｃｏｍ ｐｏｎ ｅｎ ｔ ｓ　 ａ ｃ ｃｏ ｒ ｄ ｉｎ ｇ 　 ｔ ｏ 　 ｔｈ ｅ ｉ ｒ　 ｄ ｏｍ ｉｎ ａｎ ｃ ｅ． Ｔ ｅ ｓ ｔ ｓ　 ｏｎ　 Ｃ ａｎ ｔ ｏｎ ｅ ｓ ｅ 　 ａｎｄ　 Ｗｕａ ｃ ｃ ｅｎ ｔ ｓ 　 ｓｈｏｗ 　 ｔｈ ａ ｔ 　 ｔｈ ｉ ｓ　 ａｐｐ ｒ ｏ ａ ｃｈ　 ｙ ｉ ｅ ｌ ｄ ｓ 　 ｓ ｉ ｇｎ ｉ ｆ ｉ ｃ ａｎ ｔ 　 ９．２５％ ａｎ ｄ 　 ９．２１％ａｂ ｓｏ ｌｕ ｔ ｅ 　 ｓｙ ｌ ｌ ａｂ ｌ ｅ　 ｅ ｒ ｒ ｏ ｒ 　 ｒ ａ ｔ ｅ （ＳＥＲ） ｒ ｅｄｕ ｃ ｔ ｉ ｏｎ ｓ　 ｗ ｉ ｔｈｏｕ ｔ　 ｄ ｅ ｇ ｒ ａｄ ｉｎ ｇ 　 ｔｈ ｅｐ ｅ ｒ ｆ ｏ ｒｍ ａｎ ｃ ｅ　 ｏｎ 　 ｓ ｔ ａｎ ｄ ａ ｒ ｄ　 Ｐｕ ｔ ｏｎ ｇｈｕ ａ．Ｋ ｅｙ　 ｗ ｏ ｒ ｄ ｓ：ｓｐ ｅ ｅ ｃｈ 　 ｒ ｅ ｃｏｇｎ ｉ ｔ ｉｏｎ；ａ ｃ ｃ ｅｎ ｔ－ ｓｐ ｅ ｃ ｉ ｆ ｉ ｃ　 ｕｎ ｉ ｔ；ａ ｃｏｕ ｓ ｔ ｉ ｃ　 ｍｏｄ ｅ ｌ 　 ｒ ｅ ｃｏｎ ｓ ｔ ｒｕ ｃ ｔｍｕ ｌ ｔ ｉｐ ｌ ｅ　 ａ ｃ ｃ ｅｎ ｔ ｓ；ｒ ｅ ｌ ｉ ａｂ ｌ ｅ汉语中共有八大方言， 即： 官话、吴语、湘语、 赣语、客家语、闽南语、闽北语以及粤语［１］。 其中， 官话是与标准普通话最为接近的 一种方言， 其他各种方言在声学发音以及语言学表现上都与标准普通话有着显著的差异。 由于多数普通话使用者把普通话作为第二语言来掌握， 他们的 普通话发音不可避免地受到其方言母语发音的 强 烈 影 响［２］。 相 关文 献指出 ，８０％左右的普通话使用者带有不同程度的方言口音［３］。 由前所述， 方言口 音在汉语语音中 是一个严重的问题。 实践表明： 当说话人带有某种方言口音时， 针对标准普通话构造的语音识别器的性能往往会大幅下降。口音相关单元 （ａ ｃ ｃ ｅｎ ｔ 　 ｓｐ ｅ ｃ ｉ ｆ ｉ ｃ　 ｕｎ ｉ ｔ） 常用 来表征口音中的发音变异， 并有多种使用方法。 其中， 用口音相关单元来扩展发音基元是一种被广泛采用的办法［４－５］。 然而， 引 入的扩展发音基元以及带有多种候选发音的多发音字典往往会增加语音识别器的词汇混淆度。 Ｏｈ 和Ｋ ｉｍ 利用发音变异基元在最大后验概率（ｍ ａｘ ｉｍｕｍ 　 ａ　 ｐｏ ｓ ｔ ｅ ｒ ｉｏ ｒ ｉ， ＭＡＰ） 和最大似然线性回归（ｍ ａｘ ｉｍｕｍ 　 ｌ ｉｋ ｅ ｌ ｉｈｏｏｄ 　 ｌ ｉｎ ｅ ａ ｒ 　 ｒ ｅｇ ｒ ｅ ｓ ｓ ｉｏｎ）自适应方法中生成额外的 回 归 分类， 从而改善了 对带口音语音的自 适应效果［１，６－８］。 这类自 适应方法的１个主要缺点是会不可逆地改变声学模型的参数， 从而导致自 适应后的模型不再适用于标准语音或其他口音。 针对以上方法的 缺点， Ｌ ｉｕ 和Ｆｕｎｇ提出 了使用口音相关单元构造声学模型， 并将这些模型通过声学模型重构及状态级发音模型等方式用作隐式模型［２，９］。 这种 方法不但同 时对多 种 口 音有效， 而且不降低系统对标准语音的识别效果。 不过， 这种方法在如何选择恰当 的口 音相关单元， 以及如何减少冗余的 Ｇ ａｕ ｓ ｓ 混合以 保持恰当 的 模型复杂度方