首页 >> 新闻资讯 >> 正文

李必军教授团队联合东风悦享在智能驾驶环境感知领域的新成果发表于CVPR和TGRS

2025-03-06
  • 阅读:

李必军教授团队在智能驾驶与机器人三维点云环境感知领域的研究取得重要进展。在神经网络架构设计过程中,深且窄的网络理论上内存占用极低,在车载、路侧等端侧环境具有巨大优势,可指导下一代端侧芯片架构的设计。团队联合东风悦享先后提出混合编码器和超深局部聚合网络架构,解决智能驾驶点云感知中长期存在的局部特征提取效率低、局部和全局特征融合不充分、复杂动态环境优化困难等瓶颈问题,实现了点云处理效率与精度的双重突破。相关成果被计算机视觉顶级会议CVPR和地球科学与遥感领域顶级期刊TGRS接收。该研究工作得到国家自然科学基金重点基金项目和"十四五"国家重点研发计划的资助。

论文DeepLA-Net: Very Deep Local Aggregation Networks for Point Cloud Analysis被计算机视觉与模式识别领域国际顶级会议CVPRIEEE/CVF Conference on Computer Vision and Pattern Recognition)接收。实验室2023级博士生曾子寅为该论文第一作者,周剑副研究员为通讯作者,并由董明玥、邱欢、骆嫚(东风悦享)、董震教授和李必军教授共同完成。

3D点云由嵌入在连续空间中的稀疏、离散且不均匀的点集组成,这种复杂的结构为局部模式的学习带来了挑战。然而,过去几年的研究性能已经趋于饱和,意味着越来越复杂和冗余的设计已不再对局部学习产生改进。这一现象促使我们偏离三维视觉领域的主流趋势,转而寻求另一种成功的解决方案:超深神经网络。因此,团队提出了DeepLA-Net,一种用于点云分析的深度神经网络。文章首先设计了一个小巧但强大的局部学习模块,它使用的浮点运算量是传统方法的十分之一,从而使得构建非常深的网络成为可能。然后,设计了一种训练监督策略,以确保在非常深的网络中实现平稳的梯度反向传播和优化。文章构建了最大深度为120层的DeepLA-Net——深度达到近期最优方法的五倍,并且只在单张RTX 3090上进行训练。实验表明,DeepLA-NetScanObjectNNShapeNetPartS3DISScanNetSemanticKITTInuScenes等分类和分割数据集上优于现有最优的方法。

论文PointNAT: Large-Scale Point Cloud Semantic Segmentation via Neighbor Aggregation With Transformer发表于地球科学与遥感领域国际顶级期刊TGRSIEEE Transactions on Geoscience and Remote Sensing)。实验室2023级博士生曾子寅为该论文第一作者,李必军教授和周剑副研究员为通讯作者,并由邱欢、董震教授和肖进胜教授共同完成。

在点云中学习准确的局部和全局上下文对于语义分割至关重要,局部聚合和Transformer分别在点云分析的局部和全局感知方面取得了显著的成功。然而,对每种方法进行独立研究远非特征学习的最佳解决方案。为了解决这个问题,团队研究并整合了点云局部聚合和Transformer的结构,提出了PointNAT,一种概念简单而有效的方法。文章首先改进了局部聚合操作和多头机制,有效地学习不同尺度的复杂局部特征。之后通过仅使用10%可学习关键点,实现全局自注意力轻量化。最后提出混合模块作为高低频信号混合编码器,自适应地为局部和全局上下文分配混合权重。实验表明,PointNATS3DISToronto3DSensatUrban等分割数据集上优于现有最先进的方法。

PointNAT网络结构图

PointNATToronto3D上的效果图

李必军教授长期从事自动驾驶、高精地图、移动机器人等方向研究,紧密围绕国家战略和行业发展需求,聚焦自动驾驶高精地图规模化产业应用前沿问题,作为项目负责人牵头十四五国家重点研发计划——新能源汽车重点专项,以产教融合的培养方式,为政府、高校和自动驾驶行业持续输送中坚力量,其中3人在985/211高校任职,1人作为优秀选调生代表入选武汉大学第二届求是班,多人在东风、上汽、小鹏、百度、四维图新等企业任职。