188宝金博页面版

Ｃ ｏ ｍ ｐ ｕ 把ｒＥ ｎ ｇ ｉｎ ｅ ｅ ｒ ｉｎ ｇａ ｎ ｄ Ａ ｐ ｐ ｌｉｃａ ｔｉｏ ｎ ｓ计算机工程与应用稠密子图发现的视频语义挖掘方法张师林“２， 李和平２， 张树武２Ｚ Ｈ Ａ Ｎ ＧＳ ｈ ｉｌｉｎ “２， Ｌ Ｉ Ｈ ｅ ｐ ｉｎ ｇ ｒ ２ ， Ｚ Ｈ Ａ Ｎ ＧＳ ｈ ｕ ｗ ｕ ２１． 北方工业大学计算机基础教研室， 北京１００１４ ４２． 中国科学院自动化研究所数字媒体研究中心， 北京１０ ０ １９ １１． Ｃ ｏ ｍ ｐ ｕ ｔｅ ｒ Ｆ ａ ｃ ｕ ｌｔｙ ， Ｎ ｏ ｒ ｔｈＣ ｈ ｉｎ ａＵ ｎ ｉｖ ｅｒ ｓｉｔｙｏ ｆＴ ｅｃｈ ｎ ｏ ｌｏ ｇ ｙ ， Ｂ ｅｉｊｉｎ ｇ １０ ０ １４ ４ ， Ｃ ｈ ｉｎ ａ２． Ｄ ｉｇ ｉｔａ ｌ Ｍ ｅ Ｓ ａ Ｃ ｅｎ ｔｅｒ ， Ｉｎ ｓｔｉｔｕ ｔｅ ｏ ｆＡ ｕ ｔｏ ｍ ａ ｔｉｏ ｎ ， Ｃ ｈ ｉｎ ｅ ｓｅ Ａ ｃ ａ ｄ ｅ ｍ ｙ ｏ ｆＳ ｃｉｅｎ ｃｅｓ， Ｂ ｅｉｊｉｎ ｇ １０ ０ １９ １， Ｃ ｈ ｉｎ ａＺ Ｈ Ａ Ｎ ＧＳ ｈ ｉｌｉｎ 。 Ｌ Ｉ Ｈ ｅ ｐ ｉｎ ｇ ． Ｚ Ｈ Ａ Ｎ ＧＳ ｈ ｕ ｗ ｕ ． Ｄ ｅ ｎ ｓｅ ｓｕ ｂ ｇ ｒ ａ ｐ ｈｂ ａ ｓｅ ｄ ｖ ｉｄ ｅ ｏ ｓｅ ｍ ａ ｎ ｔｉｃ ｍ ｉｎ ｉｎ ｇ ． Ｃ ｏ ｍ ｐ ｕ ｔｅ ｒ Ｅ ｎ ｇ ｉｎ ｅ ｅ ｒ ｉｎ ｇ ａ ｎ ｄＡ ｐ ｐ ｌｉｃａ ｔｉｏ ｎ ｓ， ２０ １１， ４ ７ （ ３３）： １３—１４ ．Ａ ｂ ｓｔｒ ａ ｃ ｔ： Ｃ ｏ ｎ ｔｅ ｎ ｔ－ ｂ ａ ｓｅ ｄ ｖ ｉｄ ｅ ｏ ｓｅ ｍ ａ ｎ ｔｉｃｍ ｉｎ ｉｎ ｇ ｄ ｏ ｅ ｓ ｎ ｏ ｔ ｔａ ｋ ｅ ｔｈ ｅ ｖ ｉｄ ｅ ｏ ｍ ｕ ｌｔｉ。 ｍ ｏ （ １ａ ｌ ａ ｔｔｒ ｉｂ ｕ ｔｅ ｉｎ ｔｏ ａ ｃ ｃ ｏ ｕ ｎ ｔ． ａ ｎ ｄ ｔｈ ｅｍ ａ ｐ ｐ ｉｎ ｇｉｓ ｎ ｏ ｔ ｉｎｌｉｎ ｅ ｗ ｉｔｈ ｔｈ ｅｐ ｅ ｒ ｃ ｅ ｐ ｔｉｏ ｎｏ ｆ ｖ ｉｄ ｅ ｏｂ ｙｍ ａ ｎ ｋ ｉｎ ｄ ． Ｔ ｈ ｅ ｍ ｅ ｔｈ ｏ ｄ ａ ｂ ｏ ｖ ｅ Ｃ ａ ｎ ｎ ｏ ｔＣ Ｒ ＩＴ ｙｏ ｕ ｔ ｔｈ ｅ ａ ｕ ｔｏ ｍ ａ ｔｉｃ ｖ ｉｄ ｅ ｏａ ｎ ａ ｌｙ ｓｉｓｔａ ｓｋ ． Ｄ ｅ ｎ ｓｅ ｓｕ ｂｇ ｒ ａ ｐ ｈｂ ａ Ｓ ｅ ｄ ｓｅｍ ａ ｎ ｔｉｃｍ ｉｎ ｉｎ ｇｍ ｅ ｔｈ ｏ ｄ ｉｓｐ ｒ ｅ ｓｅ ｎ ｔｅ ｄ ． Ｔ ｈ ｉｓｍ ｅ ｔｈ ｏ ｄｉｎ ｔｅ ｇ ｒ ａ ｔｅ ｓＣ ｈ ｉｎ ｅ ｓｅ ｃ ｏ ｎ ｔｉｎ ｕ ｏ ｕ ｓｓｐ ｅ ｅ ｃ ｈ ｒ ｅ ｃ ｏ ｇ ｎ ｉ－ｔｉｏ ｎ ， ｖ ｉｄ ｅ ｏ ｏ ｂｊｅｃｔ ｒ ｅ ｃ ｏ ｇ ｎ ｉｔｉｏ ｎ ａ ｎ ｄ ｖ ｉｄ ｅ ｏ ｔｅ ｘ ｔｒｅｃｏ ｇ ｎ ｉｔｉｏ ｎ ． Ｇ ｒａ ｐ ｈｉｓ ｕ ｓｅ ｄ ｔｏｐ ｒ ｅ ｓｅ ｍｔｈ ｅ ｖ ｉｄ ｅ ｏ ｂ ｙ ｄ ｅ ｎ ｏ ｔｉｎ ｇｔｈ ｅ ｗ ｏ ｒ ｄ ｓ ｗ ｉｔｈ ｖ ｅ ｒ －ｔ ｅ ｘ ａ ｎ ｄ ｔｈ ｅ ｗ ｏ ｒ ｄ ｓ’ ｒ ｅ ｌａ ｔｉｏ ｎ ｗ ｉｔｈｅｄ ｇ ｅｓ． Ｔ ｈｅ ｅｘ ｐ ｅｒ ｉｍ ｅｎ ｔａ ｌｒ ｅｓｕ ｌｔｓ ｓｈ ｏ ｗ ｔｈ ａ ｔ ｔｈ ｉｓ ｍ ｅ ｔｈ ｏ ｄ ｉｓ ｅｆ ｆ ｅｃｔｉｖ ｅ．Ｋ ｅ ｙｗ ｏ ｒ ｄ ｓ： ｄ ｅ ｎ ｓｅ ｓｕ ｂ ｇ ｒ ａ ｐ ｈ ； Ｃ ｈ ｉｎ ｅ ｓｅ ｃ ｏ ｎ ｔｉｎ ｕ ｏ ｕ ｓ ｓｐ ｅ ｅ ｃ ｈ ｒｅｃｏ ｇ ｎ ｉｔｉｏ ｎ ； ｖ ｉｄ ｅｏ ｏ ｂｊｅｃｔ ｒ ｅ ｃ ｏ ｇ ｎ ｉｔｉｏ ｎ摘要： 目前基于内容的视频语义挖掘方法并未考虑到视频的多模态特性， 不能够实现对于目前海量涌现视频的自动分析处理任务。 针对此问题， 提出了基于稠密子图发现的视频语义挖掘方法。 该方法对待处理的视频进行中文连续语音识别、 视频目标识别和视频文字识别， 对于识别结果进行中文分词和词性标注， 保留名词和动词作为图模型的顶点， 顶点之间的边权重设置为两个顶点所代表的词语的中文语义距离， 根据稠密子图发现算法挖掘视频的语义信息。 实验结果表明这种方法是有效的。关键词： 稠密子图； 中文连续语音识别； 视频目标识别Ｄ Ｏ Ｉ： １０． ３７７８／ｊ． ｉｓｓｎ． １００２． ８３３１． ２０１１． ３３． ００４文章编号： １００２． ８３３ｌ（ ２０１１）３３． ００１３． ０２文献标识码： Ａ中图分类号： Ｔ Ｐ ３９ １． ４１引言现代多媒体技术在提供便利的Ｉ司时也在考验着人们对于海量数据的适应和驾驭能力。 而在线视频分析和普通的新闻话题跟踪和舆情分析还有很大的不同。 视频相对于文本来说， 包含更加丰富和有用的信息， 如何实时地在视频中抽取表达视频语义的特征， 实现对视频内容的基于高层语义的比较和分析， 在很大程度上影响着人们对于现代社会的信息获取和分析能力。 这些技术的挑战也已经成为目前的研究热点ｎ ， 。浙江大学的吴飞、 庄越挺所提出的跨媒体关联挖掘方法［ ２１取得了一定的研究成果， 不过他们的研究致力于视频多种模态特征的前期融合， 不同于这里所提出的策略。由于视频是非格式化的数据并且缺少必要的描述信息，因此并不能像文本那样很容易地进行处理。 对于视频进行人工语义标注又耗时耗力， 不能满足批量视频处理的要求。 基于内容的视频处理技术０１是目前的研究热点， 但是现有技术对于视频内容的标注错误率高， 并且没有综合考虑图像、 文字和语音多方面内容的有效融合。 目前图像目标识别技术逐渐成熟起来， 在视觉目标类别分类挑战赛中， 图像目标识别已经到达实用的程度。 连续语音识别技术使得语音信号可以转录为文本。 视频文字识别可以把视频中的嵌入文字识别出来， 作为文本文字来处理。 结合以上三种识别技术， 视频语义分析需要一种有效的融合方法。 “知网” 是—个中文语义辞典， 利用“知网” 中的概念层次关系， 可以计算两个诃语之间的语义距离。 根据语义距离， 可以对三种识别结果进行语义度量。 根据视频图像、 文字和语音这三种模态信息的高度相关性， 可以有效融合不同模态信息， 去除识别错误信息。２视频挖掘系统架构与多模态信息融合所提出的方法对于视频能够实现自动的语义标注、 自动分类和视频相似度度量。 对于海量视频数据， 借助于该方法可以避免手工标注所带来的枯燥繁琐的劳动。 通过有效融合中文连续语音识别、 中文文字洪别和图像目标识别的结果， 把视频表达为—个图模型而展现了视频中各个语义概念的语义距离关系， 这个距离关系是通过基于“知网” 的语义距离度量来实现的； 最后通过稠密子图发现算法可以实现视频中语义概念。 下面详述其实施步骤。基金项日： 科技部国家科技支撑计戈０（ ｔｈ ｅＮ ａ ｔｉｏ ｎ ａ ｌ Ｋ ｅ ｙ Ｔ ｅ ｃ ｈ ｎ ｏ ｌｏ ｇ ｙＲ ＆ ＤＰ ｒ ｏ ｇ ｒ ａ ｍｏ ｆ Ｃ ｈ ｉｎ ａ ｕ ｎ ｄ ｅ ｒ Ｇ ｒ ａ ｎ ｔ Ｎ ｏ ． ２０ １１Ｂ Ａ Ｈ ｌ６ ８ ０ ０ ）。作者简介： 张师林（ １９８０一）， 男， 博士研究生， 讲师， 主要研究领域为数字媒体， 机器学习； 李和平（ １９７ ８一）， 男， 博士， 助研； 张树武（ １９６４一）， 男，博士， 博士生导师。 Ｅ —ｍ ａ ｉｌ： ｚｔｍ ｎ ｇ ｓｈ ｉｌｉｎ ＠ １２６． ｃｏ ｒｎ收稿日期： ２０１１－ ０６—２４ ； 修四日期： ２０１１－ ０８—２４万方数据