基于多模态特征频域融合的零样本指称图像分割

Zero-shot referring image segmentation based on multimodal feature frequency domain fusion
林浩然1
刘春黔1
薛榕融2
谢勋伟3
雷印杰1
1. 四川大学 电子信息学院, 成都 610065
2. 中国科学院光电技术研究所 中国科学院光束控制重点实验室, 成都 610209
3. 中国电子科技集团公司第十研究所 航空电子信息系统技术重点实验室, 成都 610036

摘要

为了解决语义分割应用到现实世界的下游任务时无法处理未定义类别的问题,提出了指称图像分割任务。该任务根据自然语言文本的描述找到图像中对应的目标。现有方法大多使用一个跨模态解码器来融合从视觉编码器和语言编码器中独立提取的特征,但是这种方法无法有效利用图像的边缘特征且训练复杂。CLIP(contrastive language-image pre-training)是一个强大的预训练视觉语言跨模态模型,能够有效提取图像与文本特征,因此提出一种在频域融合CLIP编码后的多模态特征方法。首先,使用无监督模型对图像进行粗粒度分割,并提取自然语言文本中的名词用于后续任务;接着利用CLIP的图像编码器与文本编码器分别对图像与文本进行编码;然后使用小波变换分解图像与文本特征,可以充分利用图像的边缘特征与图像内的位置信息在频域进行分解并融合,并在频域分别对图像特征与文本特征进行融合,并将融合后的特征进行反变换;最后将文本特征与图像特征进行逐像素匹配,得到分割结果,并在常用的数据集上进行了测试。实验结果证明,网络在无训练零样本的条件下取得了良好的效果,并且具有较好的鲁棒性与泛化能力。

基金项目

国家自然科学基金资助项目(62276176)

出版信息

DOI: 10.19734/j.issn.1001-3695.2023.08.0387
出版期卷: 《计算机应用研究》 印刷出版, 2024年第41卷 第5期
所属栏目: 图形图像技术
出版页码: 1562-1568
文章编号: 1001-3695(2024)05-040-1562-07

发布历史

[2023-11-02] 优先出版
[2024-05-05] 印刷出版

引用本文

林浩然, 刘春黔, 薛榕融, 等. 基于多模态特征频域融合的零样本指称图像分割 [J]. 计算机应用研究, 2024, 41 (5): 1562-1568. (Lin Haoran, Liu Chunqian, Xue Rongrong, et al. Zero-shot referring image segmentation based on multimodal feature frequency domain fusion [J]. Application Research of Computers, 2024, 41 (5): 1562-1568. )

关于期刊

  • 计算机应用研究 月刊
  • Application Research of Computers
  • 刊号 ISSN 1001-3695
    CN  51-1196/TP

《计算机应用研究》创刊于1984年,是由四川省科技厅所属四川省计算机研究院主办的计算技术类学术刊物。

《计算机应用研究》瞄准本学科领域迫切需要的前沿技术,及时反映国内外计算机应用研究的主流技术、热点技术及最新发展趋势。主要刊载内容包括本学科领域高水平的学术论文、本学科最新科研成果和重大应用成果。栏目内容涉及计算机学科新理论、计算机基础理论、算法理论研究、算法设计与分析、区块链技术、系统软件与软件工程技术、模式识别与人工智能、体系结构、先进计算、并行处理、数据库技术、计算机网络与通信技术、信息安全技术、计算机图像图形学及其最新热点应用技术。

《计算机应用研究》拥有众多高层次读者、作者,读者对象主要为从事计算机学科领域高、中级研究人员及工程技术人员,各高等院校计算机专业及相关专业的师生。多年来《计算机应用研究》的总被引频次及Web下载率一直名列本学科同类学术刊物前茅,所刊发的学术论文以其新颖性、学术性、前瞻性、导向性、实用性而备受广大读者的喜爱。


收录和评价

  • 第二届国家期刊奖百种重点期刊
  • 中国期刊方阵双效期刊
  • 全国中文核心期刊(北大2023年版)
  • 中国科技核心期刊
  • 中国科学引文数据库(CSCD)来源期刊
  • RCCSE中国核心学术期刊
  • 中国计算机学会会刊
  • 2020—2022年科技期刊世界影响力指数(WJCI)报告收录期刊
  • 中国科技期刊精品数据库全文来源期刊
  • 中国学术期刊综合评价数据库来源期刊
  • 《中国期刊网》《中国学术期刊(光盘版)》来源期刊
  • 2017—2019年中国国际影响力优秀学术期刊(自然科学与工程技术)
  • 中国精品科技期刊顶尖学术论文(F5000)项目来源期刊
  • 《中国工程技术电子信息网》《电子科技文献数据库》来源期刊
  • 英国《科学文摘》(INSPEC)来源期刊
  • 《日本科学技术振兴机构数据库》(JST)来源期刊
  • 俄罗斯《文摘杂志》(AJ, VINITI)来源期刊
  • 美国《艾博思科学术数据库》(EBSCO)全文来源期刊
  • 美国《剑桥科学文摘(自然科学)》(CSA(NS))核心期刊
  • 波兰《哥白尼索引》(IC)来源期刊
  • 美国《乌利希期刊指南(网络版)》(Ulrichsweb)收录期刊