RGB-D显著对象检测（RGB-D Salient Object Detection）致力在彩色图像和深度图中检测出最吸引人眼注意力的对象和区域，应用在多种计算机视觉任务中，可以显著降低后续处理的计算量，是计算机视觉领域的重要课题之一。近期，上海大学通信学院硕博连读研究生李恭杨在导师刘志老师指导下，相继提出了信息转换网络（Information Conversion Network，ICNet）和跨模态跨尺度加权网络（Cross-Modal Weighting Network, CMWNet）这两项创新成果。其中，ICNet研究成果于今年3月以“ICNet: Information Conversion Network for RGB-D Based Salient Object Detection”为题发表于SCI一区期刊IEEE Transactions on Image Processing（影响因子：9.34）；CMWNet研究成果近日以“Cross-Modal Weighting Network for RGB-D Salient Object Detection”为题被欧洲计算机视觉国际会议（ECCV）录用，ECCV是计算机视觉领域三大顶级会议之一，每两年举办一次，该会议的论文代表了计算机视觉领域最新的发展方向和研究水平。上海大学通信学院硕博连读研究生李恭杨为两篇论文的第一作者，刘志老师为通讯作者。
图1.跨模态跨尺度加权网络（CMWNet）
1）跨模态跨尺度加权网络（CMWNet）：该论文提出了一种新颖的跨模态跨尺度加权策略（Cross-Modal Weighting, CMW），如图1所示，以促进彩色图像和深度图特征之间的有效交互，提高RGB-D显著对象检测的准确性。具体而言，提出了三个RGB-Depth交互模块（CMW-L、CMW-M和CMW-H），如图2所示，分别处理低、中、高层的跨模态信息融合。这些模块都包含Depth-to-RGB Weighing（DW）和RGB-to-RGB Weighting（RW），允许从颜色分支和深度分支提取的特征图之间进行丰富的跨模态和跨尺度的交互。为了有效地训练CMWNet，利用深层监督对不同尺度上的中间预测结果进行监督。通过这些模块的协同工作，CMWNet有效地融合了彩色图像和深度图的信息，在七个公开数据集上的实验结果表明，CMWNet优于已有的15种先进的RGB-D显著对象检测模型。
图2.RGB-Depth交互模块
2）信息转换网络（ICNet）：该论文提出了一种信息转换网络，如图3所示。其中，所构建的基于串联-卷积和相关-卷积的信息转换模块旨在以自适应的方式融合高层的双模态特征，而所构建的跨模态深度特征加权组合模块旨在区别对待跨模态特征并利用深度特征来有效增强RGB特征，该网络在五个公开数据集上均取得了有竞争力的性能。
图3.信息转换网络（ICNet）
附：两篇论文的链接和代码：https://github.com/MathLee/
刘志课题组主页：http://www.ivp.shu.edu.cn/
投稿人：李恭杨
