Multimedia Informaiton RetrievAl, CLassification and Exploration System(MIRACLES)
富士通研究开发中心(FRDC) 信息技术研究部
【概要】
各种各样的图像和视频库正变得越来越庞大，如何对他们进行方便的操作和检索就成为一个亟待解决的重要问题。图像不同于文本，因此，传统的基于文本的检索技术不能满足这种要求。在这种情况下，我们开发了多媒体信息检索和分类系统（MIRACLES）。
【解决方案】
MIRACLES系统采用不同的策略分别处理静态图像和动态视频，对静态图像，主要利用三种特征：颜色分布、纹理和形状。先从图像中抽取出相应的特征向量，计算出它们之间的距离。接着，利用自组织映射(SOM)的方法，根据这些图像之间的距离把它们排列在一个三维的空间中，从而使得相似的图像被放置在相邻的区域。针对于网络应用，MIRACLES采用了文本与图像相结合的方式，即根据某个特定的关键字，由一个Robot将网络上相关的文本和图像提取出来；然后，利用图像特征对这些图像进行排列。这样，用户在检索图像的同时，可以方便的得到与这个图像相关的文本及其URL地址。
利用视频分割技术，MIRACLES可以将一段视频中的关键帧及音频变化提取出来，使得用户不必浏览整个视频，仅根据关键帧就可以定位到感兴趣的内容。
【技术要点】
- 颜色分布信息提取。如：前景色与背景色的分离。
- 纹理特征描述，包括纹理图像和非纹理图像的自动区分。
- 利用图像分割获得物体的形状以及有效的形状信息表达方式。
- 视频分割，包括：镜头分割与分类、声音分割及说话人检测。
【概要图】
岩见田
电邮：于浩
刘汝杰
