188宝金博页面版

一种基于动态贝 叶斯网的视觉注意力识别方法董力赓，邸慧军，陶霖密，徐光（清华大学计算机科学与技术系清华信息科学与技术国家实验室（筹），北京 １０００８４）摘要：头部姿态估计是识别用户视觉注意力目 标的主要依据 ． 但在实际应用场合下，大范围头部姿态、低分辨率图像以及光照变化等因素使得可靠、准确的头部姿态估计难以实现 ． 针对这些困难， 提出 一种基于动态贝 叶斯网模型的视觉注意力目 标识别方法 ． 通过人脸图像与多个人脸姿态类别的相似度向量对头部姿态进行度量而不是显式的计算具体姿态值． 模型融合多注意力目 标、多用户位置、多摄像机图像等因素间的概率依赖关系并进行联合推理． 智能厨房原型环境下的实验结果表明提出的模型是有效的 ．关键词：视觉注意力目 标识别； 动态贝 叶斯网； 智能厨房中图分类号：ＴＰ３９１４文献标识码：Ａ文章编号：０３７２２１１２ （２０１１） ３Ａ１４００７Ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ Ｖｉｓｕａｌ Ｆｏｃｕｓ ｏｆ Ａｔｔｅｎｔｉｏｎ ＲｅｃｏｇｎｉｔｉｏｎＤＯＮＧ Ｌｉｇｅｎｇ， ＤＩ Ｈｕｉｊｕｎ， ＴＡＯ Ｌｉｎｍｉ， ＸＵ Ｇｕａｎｇｙｏｕ（ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｔｓｉｎｇｈｕａ Ｎａｔｉｏｎａｌ Ｌａｂｏｒａｔｏｒｙ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄＴｅｃｈｎｏｌｏｇｙ， Ｔｓｉｎｇｈｕａ Ｕｎｉｖｅｒｓｉｔｙ， Ｂｅｉｊｉｎｇ １０００８４， Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｖｉｓｕａｌ ｆｏｃｕｓ ｏｆ ａｔｔｅｎｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｉｓ ｕｓｕａｌｌｙ ｂａｓｅｄ ｏｎ ｈｅａｄ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ． Ｈｏｗｅｖｅｒ， ｉｎ ａ ｒｅａｌ ａｐｐｌｉｃａｔｉｏｎ， ｉｔ ｉｓｄｉｆｆｉｃｕｌｔ ｔｏ ａｃｃｕｒａｔｅｌｙ ｅｓｔｉｍａｔｅ ｔｈｅ ｈｅａｄ ｐｏｓｅ ｄｕｅ ｔｏ ｌａｒｇｅ ｐｏｓｅ ｖａｒｉａｔｉｏｎｓ， ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅｓ ａｎｄ ｖａｒｙｉｎｇ ｉｌｌｕｍｉｎａｔｉｏｎｓ． Ｔｏ ｈａｎｄｌｅｔｈｅ ｐｒｏｂｌｅｍ， ｗｅ ｐｒｏｐｏｓｅ ａ ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ ｍｏｄｅｌ ｔｏ ｉｎｆｅｒ ｔｈｅ ｖｉｓｕａｌ ｆｏｃｕｓ ｏｆ ａｔｔｅｎｔｉｏｎ． Ｔｈｅ ｈｅａｄ ｐｏｓｅ ｉｓ ｎｏｔ ｅｘｐｌｉｃｉｔｌｙｃｏｍｐｕｔｅｄ ｂｕｔ ｍｅａｓｕｒｅｄ ｂｙ ａ ｓｉｍｉｌａｒｉｔｙ ｖｅｃｔｏｒ ｗｈｉｃｈ ｒｅｐｒｅｓｅｎｔｓ ｔｈｅ ｌｉｋｅｌｉｈｏｏｄｓ ｏｆ ｍｕｌｔｉｐｌｅ ｆａｃｅ ｐｏｓｅ ｃｌｕｓｔｅｒｓ． Ｔｈｅ ｍｏｄｅｌ ｅｎｃｏｄｅｓ ｔｈｅｐｒｏｂａｂｉｌｉｓｔｉｃ ｒｅｌａｔｉｏｎｓ ａｍｏｎｇ ｍｕｌｔｉｐｌｅ ｆｏｃｉ ｏｆ ａｔｔｅｎｔｉｏｎ， ｍｕｌｔｉｐｌｅ ｕｓｅｒ ｌｏｃａｔｉｏｎｓ ａｎｄ ｆａｃｅｓ ｃａｐｔｕｒｅｄ ｂｙ ｍｕｌｔｉｐｌｅ ｃａｍｅｒａｓ． Ｄａｔａ ａｒｅ ｃｏｌｌｅｃｔｅｄ ｉｎ ａ ｐｒｏｔｏｔｙｐｅ ａｍｂｉｅｎｔ ｋｉｔｃｈｅｎ ａｎｄ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｍｏｄｅｌ ｉｓ ｅｆｆｅｃｔｉｖｅ．Ｋｅｙ ｗｏｒｄｓ：ｖｉｓｕａｌ ｆｏｃｕｓ ｏｆ ａｔｔｅｎｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ；ｄｙｎａｍｉｃ Ｂａｙｅｓｉａｎ ｎｅｔｗｏｒｋ；ｔｈｅ ａｍｂｉｅｎｔ ｋｉｔｃｈｅｎ１引言基于用户注意力的系统［１］在很多人机交互应用中起到了重要作用， 其中视觉注意力 目 标（ Ｖｉｓｕａｌ Ｆｏｃｕｓ ｏｆＡｔｔｅｎｔｉｏｎ， ＶＦＯＡ） 特指用户眼睛所注意的目 标 ． 在人机交互中，通过理解用户 的视觉注意力目 标， 可以 理解用户的兴趣或者意图， 从而可能给用户 提供相应的主动服务 ．视觉注意力 与头部姿态和人眼视线方向（ ｅｙｅ ｇａｚｅ）有关 ． 研究［２］表明，在很多情况下通过头部姿态足以 识别用户的注意力目 标 ． 因为通常用户并不习惯于长时间斜着眼睛盯着某个目 标， 而会将头转过去正视该目 标 ．此外，在实际应用场合下采集到的图像分辨率较低， 使得精确的估计人眼视线方向非常困难 ． 本文以智能厨房环境为例，研究在实际应用场合中如何根据头部姿态来识别用户的视觉注意力目 标 ． 智能厨房是一个在厨房中安装了摄像头、投影显示屏等设备并能够提供普适计算服务的智能空间 ． 其工作台后的墙壁上装有多个投影显示屏来显示菜谱等相关信息，同时装有多个摄像机拍摄不同位置的用户 ． 我们的目 的是当用户在工作台前准备饭菜的时候根据拍摄的图像识别用户的注意力目 标，即所注视的显示屏，从而提供更多的主动服务 ．在智能厨房这种实际应用场景下识别视觉注意力目 标的方法需要考虑以下因素 ． 第一， 用户 可能站在厨房工作台前的多个地方准备饭菜并观看多个投影显示屏，从多个摄像机拍摄的图像包括大范围变化的头部姿态而不仅仅是接近正面的姿态 ． 而实际应用场合下， 大范围头部姿态、低分辨率图像以及光照变化等因素使得可靠、准确的头部姿态估计难以实现 ． 所以 需要对头部姿态做某种度量而不是显式的计算准确的姿态值 ． 第二，根据用户相对摄像机的位置、摄像机获得的头部姿态以及多注意力目 标的空间位置，才可以识别用户的视觉注意力 ． 因此需要考虑如何融合多注意力目 标、多用户位置和多摄像机之间的相互关系 ． 第三， 环境中的多个摄像机可以拍摄到用户在不同位置不同角度的图像，收稿日 期：２０１００１１５；修回日 期：２０１００９２７基金项目 ：国家自 然科学基金（Ｎｏ．６０６７３１８９， Ｎｏ．６０８７３２６６， Ｎｏ．９０８２０３０４） ． 通信作者：陶霖密，副教授 ．第 ３Ａ 期２０１１ 年 ３ 月电子学报ＡＣＴＡ ＥＬＥＣＴＲＯＮＩＣＡ ＳＩＮＩＣＡＶｏｌ．３９Ｍａｒ．Ｎｏ．３Ａ２０１１