图像标注的迭代关联模型

全部作者：徐枫 章毓晋第1作者单位：清华大学电子工程系论文摘要：基于多模态数据的信息检索是1个富有挑战的研究方向。在本文中，我们提出1种新方法关联图像和文本词，从而解决自动图像标注和基于标注词的图像检索问题。首先，两个相互独立的空间，分别包含图像和文本词，通过并行投影进行关联。其次，将多模态数据间的异质关联定义为点积的形式。然后，1个新的数据元素和已知数据间的关联可以从两个同质核推导出。最后，我们提出1个迭代模型优化这1关联并得到多模态数据间的概率关联矩阵。根据由图像到文本词的关联值，可以得到图像的标注词；根据从文本词到图像的关联值，可以进行基于文本词的图像检索。而且，我们提出的方法以无监督的'方式探索了多模态数据的关系。我们还给出了在自动图像标注核基于标注词的检索问题上的实验结果以表明方法的有效性。关键词：多模态数据，异质关联，投影，概率关联，自动图像标注，图像检索 (浏览全文)发表日期：2007年08月10日同行评议：

（暂时没有）