1. 标题

· Pointwise Geometric and Semantic Learning Network on 3D Point Clouds

· 面向三维点云模型的逐点低层几何信息和高层语义信息学习网络

2. 成果信息

· 论文、专著、专利、软件、奖项、新闻报道的完整信息，务必使用规范的引用格式

o Dejun Zhang, Fazhi He, Zhigang Tu, Lu Zou, Yilin Chen. Pointwise Geometric and Semantic Learning Network on 3D Point Clouds. Integrated Computer-Aided Engineering, 2020, 27(1): 57-75.

· URL: https://content.iospress.com/articles/integrated-computer-aided-engineering/ica190608

· DOI: 10.3233/ICA-190608

· CODE: https://github.com/djzgroup/PointwiseNet

· This work was supported in part by the National Natural Science Foundation of China under Grant 61702350.

3. 成果团队成员

· 张德军（第一作者，通讯作者），讲师，中国地质大学（武汉）华人策略研究论坛。研究方向：三维场景理解、人体姿态估计、目标跟踪与识别、自然语言处理。

Email: zhangdejun@cug.edu.cn

· 何发智，教授，武汉大学计算机学院。研究方向：计算机图形学、计算机辅助设计、视频分析与理解、自然语言处理。

· 涂志刚，教授，测绘遥感信息工程国家重点实验室。研究方向：人工智能、计算机视觉、图像处理。

4. 成果介绍

近年来，三维模型的自动分类和分割受到学术界和工业界的广泛关注。不仅是因为它们在场景理解、机器人导航、增强现实和曲面重建等众多领域中的应用，还因为它们仍然具有挑战性。本研究致力于赋予计算机拥有对三维模型形状的感知能力，使得计算机能够从三维点云模型的低层几何信息（显式特征）中推断出高层语义信息（隐式特征）。为此，本研究提出通过两种不同类型的显式特征来间接表达一种隐式特征的设想，即：将每个点的低层几何描述符（显式特征）与一些视觉单词（显式特征）相聚合，从而间接表达其高层语义信息（隐式特征）。本研究设计了端到端的三维点云模型形状分析神经网络模型（包含空间变换模块、最近邻搜索模块、局部聚合向量模块），通过空间变换和对齐操作使其分别具有旋转不变性和平移不变性，利用逐点特征和池化操作克服三维点云模型的无序性。该模型不需要预训练，并能够同时应用于分类与分割任务。

在公开的数据集（ModelNet、ShapeNet和S3DIS）上进行了的大量实验，实验结果表明本方法在许多重要任务上都有较为出色的表现。实验环节包括了网络参数分析、三维模型分类、三维模型分割、场景语义分割和商业CAD模型检索。

代码网址：https://github.com/djzgroup/PointwiseNet

与发表在CVPR 2019的论文在ModelNet40和ModelNet10数据集上的分类定量比较结果如表1所示。

表1 针对不同数据集(ModelNet40和ModelNet10)的分类定量比较

与发表在CVPR 2019的论文在ShapeNet数据集上的分割定量比较结果如表2所示，其定性比较结果如图1所示。

表2 针对数据集(ShapeNet)的模型分割定量比较

图1 针对数据集(ShapeNet)的模型分割定性比较

与发表在CVPR 2019的论文在S3DIS数据集上的场景语义分割定性比较结果如图2所示。

图2 针对S3DIS数据集上的场景语义分割定性比较