核心提示：影像匹配在摄影测量与遥感、计算机视觉、模式识别等领域具有重要作用。在GeoScience Café第178期活动中，武汉大学遥感信息工程学院2015级博士研究生李加元介绍了基于结构信息的多模态影像特征匹配方法以及多种误差剔除方法。
文字：顾子琪 摄影：纪艳华 摄像：陈必武 主持：赵颖怡
>>>人物名片
李加元，遥感信息工程学院2015级博士研究生，研究方向为遥感图像处理以及三维重建。目前以第一作者身份发表SCI期刊论文10篇，《测绘学报》论文1篇及《中国图象图形学报》论文1篇。多次获得国家奖学金，在海达数云公司实习近两年，负责室内测图算法研究。
图1 李加元（左一）
>>>报告现场
2017年11月18日19：00，李加元做客GeoScience Café第178期学术交流活动，介绍多模态影像特征匹配及误匹配剔除。针对经典的SIFT算法在一般影像上表现良好，而在多模态影像（可理解为差异较大的多源影像）上效果较差的缺陷，本次报告介绍了对非线性灰度值变化具有良好的鲁棒性并具有旋转不变性的多模态影像特征匹配方法。
影像匹配现状
影像匹配，即通过一定的匹配算法在两幅或多幅影像之间识别同名点的过程，在摄影测量与遥感、计算机视觉、模式识别等领域具有重要作用。影像匹配技术虽然已经被研究了许久，但是目前仍然存在着噪声、粗差点、非刚性变换等技术难点。诸如小重叠度、大旋转、大尺度变化、影像几何畸变、光照变化、不同传感器辐射变化、时相变化、遮挡等因素都会为影像匹配带来很大难度。因此，进行影像的准确匹配绝非易事。
特征点的匹配，一般包括特征点提取、描述、匹配三个步骤，而描述子的特征匹配一般不可避免的会存在粗差，即需要进行粗差剔除。李加元为我们简单介绍了粗差剔除目前主要用到的RANSAC类、迭代加权最小二乘和图匹配这几种方法。
根据影像匹配的研究现状，为了提高匹配精度，可以在更好的描述子、高效鲁棒的粗差剔除算法、非刚性形变匹配等方面进行进一步研究。李博士本期为我们带来的多模态特征匹配主要就是在描述子上进行了深入的研究，用更好的描述子来描述点集的局部特征，使其更具区分性，得到更加精确的初始点匹配集，从而为后面建立精确匹配提供保障。
多模态特征匹配
多模态影像可以理解为不同传感器所获取到的影像，这些传感器的成像模式存在比较大的差别，如SAR影像与谷歌地图影像、SPOT影像与夜光遥感影像、红外影像与可见光影像等等，而经典的SIFT算法对于这类图像的匹配基本是无能为力的（图2），因此，我们需要寻求更好地方法来对这类影像进行匹配。
图2 用经典的SIFT算法的匹配结果
李加元提出了一种特征匹配的方法来进行多模态图像的匹配。首先，利用相位一致性信息进行特征点检测，接着对两幅图像在不同方向上进行卷积，得到一个图像序列，由此计算出一个用来描述特征点的图层，这个图层相当于SIFT算法里面的梯度图层，再取小窗口，进行格网的划分，形成一个特征向量，进行最近距离的匹配，进而得到匹配结果（图3）。从结果图中可以看出，此方法的匹配效果很好，相较SIFT等经典方法精确度大大提高。
图3 本方法匹配结果（对应于图2）
匹配点粗差剔除
李加元接着为我们介绍了他在匹配点粗差剔除方面的两个主要工作：支持线投票与仿射不变比率以及Lq(0
关于支持线投票与仿射不变比率方法，首先，对图像进行SIFT匹配（也可以采用其他合适的匹配方法），之后用支持线投票策略来获得一些相对稳定的特征点，再利用仿射不变比率进行进一步提纯与扩展，得到更多更好的匹配点。
他接着为我们解释了什么是支持线。假设有匹配点pi，我们在领域内搜索其他的特征点，这些特征点形成的点线就称之为支持线（图4）。一旦pi对应的支持线构建完成，那他所对应的qi也就构建完毕了。可以看出，只有两个匹配点都是正确的匹配点时，相应的支持线才能够匹配在一起。由此，便可以将点的匹配问题转化为线的匹配问题，如果一个点有一个正确的支持线，他的得票数就为1，而一个点的得票数越高，他就越可能成为一个正确的匹配点。
图4 支持线的定义
而直线的匹配问题就需要做一个直线的描述子来将直线匹配起来。将直线段进行划分成n小段，做一个自适应直方图的描述子，从而得到一些近似可靠的点，再利用仿射不变比率性质，在小范围内搜索四个点，若他们满足仿射不变比率，就认为这四个点正确。
再者，关于粗差探测模型-Lq(0q(0q估计子的粗差探测模型。加权Lq估计子的方法不仅可以用于影像匹配的仿射变换中，还可以应用于后方交会的共线条件方程、绝对定向的三维相似变换中。
科研入门经验交流
最后，李加元跟我们分享了一些科研的入门经验。
首先，为什么要进行科研？从客观方面来说，毕业论文、工作、项目都会要求进行科学研究；从个人收获方面来说，通过科研，我们可以很好地拓宽知识面、培养发现问题和解决问题的能力、提升编程技能以及阅读写作能力。李加元为我们详细讲解了科学研究的完整流程，包括提出问题，给出解决思路，动手实践解决问题和总结。
其次，对于科学研究的方法，他结合实例，根据新手入门的情况给出了一些实用的建议，并为我们列举出了领域内一些主流的中英文期刊。他最后总结说，多阅读、多思考、多交流、多总结、多实践，是进行科学研究的不二法门。
最后，李博士为我们讲解了论文写作的前期准备、技巧以及期刊的选择与投稿，结合自身经历娓娓道来，现场听众受益匪浅。
>>>互动交流
提问环节时，观众们热情高涨，嘉宾选取了几位观众进行交流，并送出了由café出版的第二部《我的科研故事》作为提问奖励。
观众A：李博士，你好！我想请问你两个问题，一个是刚刚的图像的不同地方的畸变不一样是怎么处理的？还有就是匹配的时候基于模板的匹配和基于特征的匹配各有什么优缺点？谢谢！
李加元：像刚刚PPT中出现的那个展开的纸和揉起来的纸其实就是属于各个地方畸变不一样。从整体来看，它各个地方是不一样的，但如果把它分成小块的话，那它们就可以近似的用一个仿射变换来形容，这就是我们提到的支持线投票与仿射不变比率可以做到的。第二个问题的话，基于模板匹配的方法对旋转、尺度都是不太行的，因为模板都要在相同的尺度下匹配。
观众B：你好，我想请问一下这个方法里面有没有考虑对一些地形起伏变化比较大的影像来进行匹配？如果考虑加入DEM来进行纠正呢？
李加元：地形起伏比较大，那实际上也就是相当于噪声的畸变，也是一样进行处理，如果加入了DEM的话，就相当于对这个方法起到了一定限制作用，就会容易很多了。
图5 李加元作报告
图6 互动交流
图7 会后交流
李加元（中）与GeoScience Café团队成员合影留念
（编辑：肖珊）
GeoScience Café以“谈笑间成就梦想”为口号，采取最自由的交流方式，每期邀请1-4位报告人，针对自己正在进行的研究展开报告。每周五晚7:30，在测绘遥感信息工程国家重点实验室四楼休闲厅举行当期活动。报告内容不仅涉及一切与测绘有关的学科内容及学术方法，如测绘基础学科、地理信息系统、摄影测量与遥感、全球定位系统、激光雷达技术、信号处理，还包括地理信息科学以外的话题，如法律和艺术等。让任何感兴趣的人——不仅是地理信息相关专业的师生，还包括其他专业的师生，甚至是文科生——都可以听取报告，并当场向主讲嘉宾提问或者会后与其交流。
更多精彩内容(报告PPT、新闻稿及下期活动消息等)敬请关注Geoscience Café群(QQ群号：532362856)，微信公众号：GeoScienceCafe
欢迎扫描二维码：
