(通讯员:马启源)近日,由龚健雅院士和郑先伟副教授等联合指导的测绘遥感信息工程国家重点实验室GeoTell(地理空间数智化)课题组2项研究成果被国际计算机视觉顶级会议ICCV(CCF A类会议)录用。其中,《Shape Anchor Guided Holistic Indoor Scene Understanding》第一作者为硕士生董明玥,通讯作者为郑先伟。另一项成果《Holistic Geometric Feature Learning for Structured Reconstruction》第一作者为硕士生路紫琼、博士生宦麟茜,通讯作者为郑先伟。
随着天空地传感器技术、5G、物联网等的飞速发展,当今世界已经逐步进入万物互联时代,利用智能化的手段,从广泛可用的多模态泛在数据中(遥感影像、点云、实时视频、互联网照片等)快速感知、推理和生成三维数智化场景,是数字孪生虚实互馈世界构建的必然要求,对于战场、灾害环境的及时立体化反映与仿真推演也具有重要实际价值。研究成果《Shape Anchor Guided Holistic Indoor Scene Understanding》主要探索基于点云的全场景端到端三维理解与语义化重建。课题组发现,由于点云的不规则散乱分布特性,当前智能重建方法在构建对象实例的特征/采样点搜索空间时,通常会引入大量噪声,给后续场景对象的三维精准识别与推理重建带来巨大挑战。基于该发现,课题组提出了锚点引导的形状知识学习策略,可使深度网络从散乱分布的点云中精准捕获目标对象的形状相关特征/采样点,大幅提升三维语义实例化模型的识别和重建准确度。
|
|
|
|
|
|
RfD-Net (CVPR 2021) | DIMR (ECCV 2022) | 我们的方法(ICCV 2023) |
图 1 基于点云的室内全场景端到端三维推理与语义化重建(典型要素)
研究成果《Holistic Geometric Feature Learning for Structured Reconstruction》旨在通过对高分辨率遥感影像中建筑物屋顶结构进行拓扑推断与重构,快速生成大规模LOD2级城市三维模型。在该研究成果中,课题组观察到通用空间域卷积受制于局部特性,难以感知整体几何特征,无法为全局结构推理提供正确的拓扑信息。课题组通过大量几何结构重组模拟试验,揭示了空间域与频率域卷积在整体几何学习上的本质差异,提出了可在网络浅层高效感知整体结构的频率域学习思想,大幅提升建筑物结构推理的拓扑准确性与完整性。
| |
|
Conv-mpn (CVPR 2020) | HEAT (CVPR 2022) | 我们的方法 (ICCV 2023) |
|
|
|
|
|
|
图 2 基于高分辨率遥感影像的建筑物屋顶结构拓扑推理与LOD2级城市模型重建
GeoTell课题组面向实景三维中国、数字孪生城市建设等重大需求,长期致力于地理空间数智化研究,主要成员为熊汉江教授、郑先伟副教授,学术指导为龚健雅院士。近年来,课题组研究工作聚焦于室内外多源多模态数据的三维理解与泛在建模方向,并逐渐形成了较为完整的地理空间三维数智化研究体系,多篇相关论文被机器智能顶级期刊IEEE TPAMI、摄影测量与遥感顶级期刊ISPRS P&RS及三维视觉顶级会议IEEE 3DVision等在线发表,获国家发明专利9项,软件著作权3项,相关成果应用于国际重大赛事第七届世界军人运动会、国家天地图平台建设以及全国多个省市的国家新型基础测绘试点,提升了室内外一体化三维数字空间构建的自动化、智能化水平。