近日，人工智能领域重要期刊Information Fusion（《信息融合》,影响因子：18.6）刊登了武汉大学测绘遥感信息工程国家重点实验室方志祥教授团队关于脑电与遥感跨模态结合的多尺度海洋目标识别网络的最新成果。

论文题为“SK-MMFMNet: A Multi-dimensional Fusion Network of Remote Sensing Images and EEG signals for Multi-scale Marine Target Recognition”（面向多尺度海洋目标识别的遥感影像与脑电EEG信号多维融合网络，108(2024), 102402）。测绘遥感信息工程国家重点实验室硕士生龙佳雯为第一作者，方志祥教授为通讯作者，博士生王禄斌为该论文的共同作者。

多尺度海洋目标遥感监测是海洋防灾减灾及其生态环境保护重要技术支撑。由于海洋环境的时空复杂性，以及云雾、波浪、浮游生物等因素对遥感监测产生严重的干扰，使得多尺度海洋目标识别面临着图像模糊、目标不完整、大小不一以及位置随机等诸多挑战，当前人工智能与机器学习方法在快速自动化海洋目标识别中面临智能性瓶颈，离人的智能水平还有相当的差距。

该研究创新性地把人对多尺度海洋目标的真实识别过程特征(通过脑电仪采集的脑电信号来反映)融入机器学习识别网络，率先提出一种脑电信号与卫星遥感信息的跨模态融合机器学习网络模型(SK-MMFMNet，图1)，实现对海洋岛屿、风力发电机和船舶等多种尺度海洋目标的同步准确识别，比已有的MobileNetV3等遥感识别机器学习模型有显著的准确率提升。

Grad-CAM（梯度加权类激活映射）是深度学习中常用于可视化和理解卷积神经网络做出决策的一种分析技术。通过图2的Grad-CAM可视化分析发现：相比于MobileNetV3模型，所提出模型的高注意力区域在空间覆盖方面更加准确地定位到海洋目标区域，因此，在理论上证实了所提出模型针对多尺度海洋目标的发现能力得到了显著提升。

图1. SK-MMFMNet模型结构

图2. Grad-CAM可视化结果

以上工作得到国家重点研发计划项目、武汉大学超算中心的支持。

相关论文链接：https://www.sciencedirect.com/science/article/pii/S1566253524001805

 测绘遥感信息工程国家重点实验室

撰稿：姚实