基于三维卷积神经网络的湖泊提取算法

徐姗姗　颜超　高琳明

摘要：针对现有分析湖泊几何信息算法的二维图像湖泊轮廓提取精度低的问题，提出了一种基于三维卷积神经网络的湖泊提取算法。首先，基于平整度信息从激光扫描点云中定位出候选湖泊并对输入的候选区域点云进行体素化组织，作为神经网络的输入;同时，通过深度学习技术，从候选区域中过滤非湖泊区域;然后，基于方向链码算法从点云中提取湖泊的边缘并分析其几何形状信息。实验结果表明，所提算法在提取激光扫描点云中的湖泊精度可达到96.34%，与当前在二维图像中的湖泊提取算法相比，可对目标湖泊形状信息进行计算与分析，从而为湖泊监测与管理提供方便。

关键词：激光扫描数据;三维卷积神经网络;湖泊提取;链码;边界描述

中图分类号：
TP391.4;P343.3文献标志码：A

Lake extraction algorithm based on three-dimensional convolutional neural network

XU Shanshan1*， YAN Chao2， GAO Linming1

（1. College of Information Science and Technology， Nanjing Forestry University， Nanjing Jiangsu 210037， China;

2. College of Meteorology and Oceanography， National University of Defense Technology， Nanjing Jiangsu 211101， China）

Abstract：
Aiming at the low accuracy of lake contour extraction from two-dimensional images of the existing algorithms for analyzing the geometric information of lakes， a lake extraction algorithm based on three-dimensional convolutional neural network was proposed. Firstly， based on the flatness information， the candidate lakes were located from the laser scanning point clouds， and the candidate points were organized as voxels to be an input of the neural network. Meanwhile， the non-lake areas were filtered from candidate areas by the deep learning technique. Then， based on the chain-code algorithm， contours of lakes were extracted from point clouds and their geometry information was analyzed. The experimental results show that， the accuracy of the proposed algorithm in extracting lakes from laser scanning point clouds is 96.34%， and compared with the existing extraction algorithm for two-dimensional images， the proposed algorithm can calculate and analyze the shape information of lakes， which provides convenience for lake monitoring and management.

Key words：
laser scanning data; three-dimensional convolutional neural network; lake extraction; chain-code; contour description

0引言

湖泊資源与人类生产和生活息息相关，在维系流域的生态平衡和减轻灾害等方面发挥着重大作用[1]。实时准确地检测湖泊的水面面积变化规律和演化趋势是了解湖泊变化规律的重要手段。当下提取湖泊的方法多种多样：李景刚等[1]通过对波段进行分析，设置阈值来提取湖泊，该方法需要较多的人工设置参数过程。殷亚秋等[2]通过对高分辨率遥感影像进行分析，采用一种面向对象的方法对水体进行分割提取;然后，考虑各种地物的光谱特征、空间形状、纹理、上下文关系等，该方法基于参数因子对提取的水体进行分类。相较于传统方法，该方法具有更高的精度，能有效地区分水体和阴影并抑制了椒盐现象;然而，该方法需要较多的背景知识，并且参数对场景依赖较强。骆剑承等[3]通过对多源遥感数据进行分析，采用“全局局部”分布迭代的策略对高原湖泊进行分类，其优点在于不需要进行任何样本采集和参数输入等人工干预操作，自动地提取出目标水域;然而，该方法对于局部细节特征较难把握，因此对细小的河流难以处理。此外，还有基于自适应阈值的湖泊分割算法研究，如：文献[4-5]中，通过讨论湖泊在二维图像中的特征来确定最优的湖泊分割阈值。虽然上述研究都能有效地提取出湖泊，然而并没有给出方法对湖泊的几何信息进行分析。

近年来，激光扫描数据已日趋成熟，它凭借扫描空间精度高、采集周期短，能有效提供物体的三维（three-Dimensional， 3D）信息，从而解决遥感图像中的数据遮挡问题[6]。本文提出了一个新的三维卷积神经网络从激光扫描数据中提取目标物体，该网络无需投影等操作，可以直接从点云中进行特征学习，对物体进行分类。本文提出了基于三维卷积神经网络的湖泊提取算法，主要工作如下：

1）针对激光扫描点云数据，提出了一个三维卷积神经网络，来对三维物体进行检测识别;

2）设计一种链码算法来计算湖泊的几何信息，包括长度、宽度、长宽比和面积。

1相关研究

深度学习技术在物体检测、分割与识别上有着广泛的应用。在基于激光扫描数据的深度信息挖掘上，Zhou等[7]提出了一个VoxelNet来避免手工特征提取的过程;虽然VoxelNet能直接应用在激光扫描数据中来提取形状特征，但算法检测和定位的精度在复杂形状物体中明显下降，因此并不适用于复杂形状的湖泊。Uy等[8]提出了一个PointNetVLAD来完成端到端的全局特征提取，实验验证表明所提出的损失函数不依赖于输入数据的顺序;但它存在遮挡区域精度过低的问题。

由于点云自身性质，如不均匀性、无组织性和大规模性，需要将数据先转换到3D网格中来组织点云。Qi等[9]设计的PointNet可以处理输入点云的无序性;但PointNet无法捕获物体局部结构信息，从而导致在精细识别上效果较差，这一问题在Qi等[10]后续的研究中得到改善。Wang等[11]基于提出的相似矩阵来为每个点进行分类预测，分类结果只依赖于单个简单的网络结构;但处理复杂场景分割时，所需的相似矩阵存储量过大。Shen等[12]通过将点集的内核定义为一组可学习的3D点来响应邻域数据，然后通过递归利用局部高维特征结构来改进PointNet的网络结构，所提出的图模型采样成功捕获了局部特征;但学习核的宽度需要由用户事先设定，并且在每个局部区域存在冗余计算，执行效率低下。Landrieu等[13]提出了一个用于分割大规模点云的深度学习框架，提供了对象部分之间的上下文关系，从而提高了准确性;但是该网络并非端到端，因此，在分类识别过程中，需要添加手动特征提取过程。由于现有的点云分割方法不能模拟元素间的依赖性，Huang等[14]提出了一个RSNet来有效地模拟局部链接关系，在采样层中，无序点的特征可以被投影到有序的特征向量序列上，从而可以进行端到端的学习算法，减少了学习时间和存储容量;然而，该网络并不是端到端网络结构，仍然需要在学习之前进行特征提取。Huang等[15]提出了一个卷积神经网络来识别城市交通场景中常见的刚性物体，但是在研究中未见其对水体的分类识别精度。

2基于3D卷积神经网络的湖泊检测

2.1网络输入的预处理

预处理步骤包含三个过程：候选湖泊区域定位、点云的体素化组织以及样本数据的扩充。

在候选湖泊区域提取中，本文认为点云中面积最大的平面即为候选湖泊区域。由先验知识可得，水体受到重力影响，水面区域趋于水平。此时，湖泊检测问题转化为激光扫描点云中平面提取问题。点云中平面拟合的相关研究多种多样[16]，由于水体区域的法向量已知为（0，0，1），本文采用随机采样一致性（RANdom SAmple Consensus， RANSAC）算法[17]对点云中平面进行拟合。RANSAC的目的是从一组包含“局外点”的观测数据集中，估计出构造的数学模型的参数。RANSAC的优点是算法的鲁棒性较强;其缺点是计算的迭代次数没有明确上限，仅仅是有概率地计算出目标模型，而概率与算法所需的迭代次数成正比。本文模型所需的法向量已确定，大幅降低了算法所需的迭代次数。

提取完候选湖泊区域后，将这些区域按照距离划分为块状1cm×1cm×1cm区域。注意，这里每个体素的值为1或者0，1表示该体素内有点，0表示该体素为空。同时，这里深度网络的输入样本要求具有相同尺寸，本文采用线性插值算法，将输入区域归一化为相同的尺寸。

2.2网络结构设计

构造的深度学习网络中包含输入层、卷积层、抽样层、全连接层和输出层。网络中采样层和卷积层交替出现，最后通过全连接网络输出识别结果，设计的网络结构如图1所示。

在卷积层和抽样层中有若干个特征图（Feature Maps），每个特征图都与其前一层特征图相连接，每层的特征图个数记作Ll，其中下标l为层标，而特征图个数由用户设置。卷积层中，前一层的特征图与一个可学习的核进行卷积，卷积的结果经过激活函数后，输出这一层的神经元并构成该层特征图。卷积层的计算公式定义如式（1）所示：

Xi， j， kl=Bl+∑fi=0∑fj=0∑fk=0wi， j， klXi， j， kl-1（1）

其中：
l表示第几层，wl为该层的卷积核，每个特征图可以有不同的卷积核，尺寸为f×f×f，每一层有唯一的偏移Bl。卷积层主要的任务是使得特征具有位移不变性。若想得到l层上特征图中某个神经元Xi， j， kl，需要借助于卷积核对其前一层Xi， j， kl-1附近神经元进行卷积操作。抽样层较为简单，其主要作用是降低网络的空间分辨率，通常采样方法有Max-Pooling、Min-Pooling以及Ave-Pooling，分別表示采样结果取最大值、最小值和平均值。在全连接层，采用常规的Softmax函数[18]输出网络结果。值得注意的是，在每个卷积层后，都需要采用线性整流函数，又称为修正线性单元（Rectified Linear Unit， ReLU）[19]来增强网络抗噪能力，计算式如（2）所示：

F（X）ReLu=X+=max（0， X）（2）

假设输入样本尺寸是44×44×44，各层样本处理后的大小如图1上方所示，函数MaxPooling（f， f， f）和Conv（f， f， f）中参数分别表示采样核和卷积核的尺寸。最后网络的输出结果为湖泊或者其他区域。综上，三维卷积神经网络包含输入层、采样层、卷积层、全连接层和输出层。输入样本从第一层（输入层）输入到网络，间隔地通过采样层和卷积层进行特征提取后，通过一个全连接层输出结果到输出层。本文采用3次卷积和采样操作来完成网络的构建。虽然添加更多的采样和卷积层可以对更复杂特征进行表达，然而会大幅增加算法复杂度和学习时间。

在湖泊檢测上，不同方法的结果对比如表3所示。由表3可知：基于遥感图像的湖泊提取精度较低，如文献[1]方法、文献[2]方法和文献[3]方法;同时，采用本文提出的3D卷积神经网络比当下三维卷积神经网络[10]精度有所提高。

表3中，文献[1-3]方法是用来提取水体。文献[1]中的数据是地表反射率，检测对象是内陆湖泊;文献[2]中的数据是分辨率为2.5m的卫星图像，检测对象是湖泊和河流;文献[3]中数据是多源遥感数据（影像和波段），检测对象是高原湖泊。文献[10]方法与文献[15]方法是使用深度学习技术，在三维点云中对物体进行识别。文献[10]的研究中，数据主要是红绿蓝深度信息（Red-Green-Blue-Depth， RGB-D）点云，类别有7类，主要是室内场景，包括：墙、地板、椅子、办公桌、床、门和餐桌。文献[15]的研究中，数据是机载雷达点云，场景是城市环境，类别共有7类，包括：平面、树、建筑、车、杆、电线和其他。虽然每个实验数据不同，但是通过本文的精度评估可以看出，本文提出的湖泊识别算法的精度能满足三维物体识别要求。接着，基于提出的链码方法，在检测的湖泊区域获得各个边界提取结果，如图7所示。其中：图7（a）中湖泊Barker大小为2158m×1209m，共23万点;图7（b）中湖泊Eleanor大小为4807m×3199m，共205万点;图7（c）中湖泊Cherry大小为6465m×2745m，共222万点;图7（d）中湖泊Henry Hagg大小为12362m×11597m，共107万点;图7（e）中湖泊Bull Run大小为9436m×7570m，共129万点;图7（f）中湖泊Lost大小为5912m×4870m，共14万点。由图7可以看出，本文算法可以有效地提取出各个湖泊的边界，并能准确地描绘出湖泊中复杂的凹凸区域，接下来将对提取精度进行分析。

根据链码计算出的湖泊形状信息如表4所示。表4中，基于链码计算的方法与上述点云中提取形状分析方法不同，链码计算的长度是指水平方向上最长的两点间距离，宽度是指竖直方向上最长的两点间距离;而图7描述的长度是指目标物体水平方向的跨度，宽度是指竖直方向的跨度，采用的方式是用一个外接矩形来粗略地描述物体大致情况。在计算面积时，本文采用链码方式，从而精确地描述湖泊面积。

方法数据正确率/%文献[1]方法地表反射率数据89.84文献[2]方法高分遥感影像89.84文献[3]方法多光谱遥感信息87.93文献[10]方法CAD模型生成点云91.90文献[15]方法机载和车载扫描数据93.00本文方法机载激光扫描数据96.34

以表1中湖泊的面积为参考，进行回归分析，结果如图8所示，表明本文算法能够准确提取点云中湖泊并计算其面积。

5 结语

本文提出了一个三维卷积神经网络来识别湖泊区域，并设计一个链码提取算法来分析机载激光扫描数据中的湖泊。实验结果表明，三维点云中物体的形状特征可以通过提出的卷积神经网络来学习，本文提出的3D卷积神经网络能有效地过滤非湖泊区域，精度达到96.34%。此外，通过八方向的链码能精确地描述湖泊边界。湖泊的长度、宽度和面积均可以通过链码计算，最后基于线性拟合精确地计算出湖泊的面积。

下一步工作是对机载激光扫描点云中的其他水体进行提取分析，如溪流、运河、河口和海港等，通过提取其轮廓，对其变化进行检测。

参考文献 （References）

[1]李景刚，李纪人，黄诗峰，等.Terra/MODIS时间序列数据在湖泊水域面积动态监测中的应用研究——以洞庭湖地区为例[J].自然资源学报，2009，24（5）：923-933.（LI J G， LI J R， HUANG S F， et al. Application of Terra/MODIS time series data in dynamic monitoring of lake water area variations — a case study in Dongting Lake region， China [J]. Journal of Natural Resources， 2009， 24（5）：
923-933.）

[2]殷亚秋，李家国，余涛，等.基于高分辨率遥感影像的面向对象水体提取方法研究[J].测绘通报，2015（1）：81-85.（YIN Y Q， LI J G， YU T， et al. The study of object-oriented water body extraction method based on high resolution RS image [J]. Bulletin of Surveying and Mapping， 2015（1）：
81-85.）

[3]骆剑承，盛永伟，沈占锋，等.分步迭代的多光谱遥感水体信息高精度自动提取[J].遥感学报，2009，13（4）：604-615.（LUO J C， SHENG Y W， SHEN Z F， et al. Automatic and high-precise extraction for water information from multispectral images with the step-by-step iterative transformation mechanism [J]. Journal of Remote Sensing， 2009， 13（4）：
604-615.）

[4]王碧晴，王珂，廖伟逸.遥感图像分割下的青藏高原湖泊提取[J].遥感信息，2018，33（1）：117-122.（WANG B Q， WANG K， LIAO W Y. Extraction of Qinghai-Tibet plateau lake based on remote sensing image segmentation [J]. Remote Sensing Information， 2018， 33（1）：
117-122）

[5]朱小強，丁建丽，夏楠，等.一种稳定阈值的湖泊水体信息提取方法[J].资源科学，2019，41（4）：790-802.（ZHU X Q， DING J L， XIA N， et al. Temperature vegetation water index：
a novel stabilized threshold method for lake surface water mapping [J]. Resources Science， 2019， 41（4）：
790-802.）

[6]夏少波，王成，习晓环，等.ICESat-2机载试验点云滤波及植被高度反演[J].遥感学报，2014，18（6）：1199-1207.（XIA S B， WANG C， XI X H， et al. Point cloud filtering and tree height estimation using airborne experiment data of ICESat-2 [J]. Journal of Remote Sensing， 2014，18（6）：
1199-1207.）

[7]ZHOU Y， TUZEL O. Voxelnet：
end-to-end learning for point cloud based 3D object detection [C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway：  IEEE， 2018：
4490-4499.

[8]UY M A， LEE G H. PointNetVLAD：
deep point cloud based retrieval for large-scale place recognition [C]// Proceedings of the 2018 IEEE /CVF Conference on Computer Vision and Pattern Recognition. Piscataway：
IEEE， 2018：
4470-4479.

[9]QI C R， SU H， MO K， et al. PointNet：
deep learning on point sets for 3D classification and segmentation [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway：
IEEE， 2017：
77-85.

[10]QI C R， YI L， SU H， et al. PointNet++：
deep hierarchical feature learning on point sets in a metric space [C]// Proceedings of the 2017 International Conference on Neural Information Processing Systems. New York：
Curran Associates Inc.， 2017：
5099-5108

[11]WANG W， YU R， HUANG Q， et al. SGPN：
similarity group proposal network for 3D point cloud instance segmentation [C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway：
IEEE， 2018：
2569-2578.

[12]SHEN Y， FENG C， YANG Y， et al. Mining point cloud local structures by kernel correlation and graph pooling [C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway：
IEEE， 2018：
4548-4557.

[13]LANDRIEU L， SIMONOVSKY M. Large-scale point cloud semantic segmentation with superpoint graphs [C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway：
IEEE， 2018：
4558-4567.

[14]HUANG Q， WANG W， NEUMANN U. Recurrent slice networks for 3D segmentation of point clouds [C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway：
IEEE， 2018：
2626-2635.

[15]HUANG J， YOU S. Point cloud labeling using 3D convolutional neural network [C]// Proceedings of the 3rd International Conference on Pattern Recognition. Piscataway：
IEEE， 2016：
2670-2675.

[16]袁慶，楼立志，陈玮娴.基于加权总体最小二乘的平面点云拟合方法[J].测绘通报，2011（3）：1-3.（YUAN Q， LOU L Z， CHEN W X. Applying weighted total least-squares to the plane point cloud fitting of terrestrial laser scanning [J]. Bulletin of Surveying and Mapping， 2011（3）：
1-3.）

[17]SCHNABEL R， WAHL R， KLEIN R. Efficient RANSAC for point-cloud shape detection [J]. Computer Graphics Forum， 2007， 26（2）：
214-226.

[18]WHITESON S， STONE P. Evolutionary function approximation for reinforcement learning [J]. Journal of Machine Learning Research， 2006， 7：
877-917

[19]NAIR V， HINTON G E. Rectified linear units improve restricted Boltzmann machines [C]// Proceedings of the 27th International Conference on Machine Learning. Madison：
Omnipress， 2010：
807-814.

[20]KASS M， WITKIN A， TERZOPOULOS D. Snakes：
active contour models [J]. International Journal of Computer Vision， 1988， 1（4）：
321-331.

[21]OSHER S， FEDKIW R P. Level set methods：
an overview and some recent results [J]. Journal of Computational Physics， 2001， 169（2）：
463-502.

[22]FREEMAN H. On the encoding of arbitrary geometric configurations [J]. IRE Transactions on Electronic Computers， 1961， EC-10（2）：
260-268.

[23]陆应骐，童韬.链码和在边界形状分析中的应用[J].中国图象图形学报，2002，7（12）：1323-1328.（LU Y Q， TONG T. The application of chain code sum in the edge form analysis [J]. Journal of Image and Graphics， 2002， 7（12）：
1323-1328.）

[24]梁欣廉，张继贤，李海涛，等.激光雷达数据特点[J].遥感信息，2005（3）：71-76.（LIANG X L， ZHANG J X， LI H T， et al. The characteristics of LIDAR data [J]. Remote Sensing Information， 2005（3）：
71-76.）

[25]VEDALDI A， KAREL L. MatConvNet：
convolutional neural networks for Matlab [C]// Proceedings of the 23rd ACM International Conference on Multimedia. New York：
ACM， 2015：
689-692.

This work is partially supported by the National Key R&D Program of China （2016YFD0600101）， the National Natural Science Foundation of China （31770591）.

XU Shanshan， born in 1988， Ph. D. candidate， experimentalist. Her research interests include mathematical statistics， neural network， point cloud processing.

YAN Chao， born in 1983， Ph. D. candidate， associate professor. His research interests include mathematical statistics.

GAO Linming， born in 1978， M. S.， lecturer. Her research interests include image and graphics.

收稿日期：2019-04-29;修回日期：2019-06-26;录用日期：2019-07-24。基金项目：国家自然科学基金资助项目（61671339）。

作者简介：刘亚龙（1994—），男，江苏苏州人，硕士研究生，CCF会员，主要研究方向：深度学习、医学图像分割; 李洁（1972—），女，陕西西安人，教授，博士，主要研究方向：图像处理、智慧交通; 王颖（1981—），女，陕西西安人，副教授，博士，CCF会员，主要研究方向：影像处理与分析、模式识别; 仵赛飞（1995—），男，河南省周口人，硕士研究生，主要研究方向：机器学习、计算机视觉; 邹佩（1993—），女，湖北孝感人，硕士研究生，主要研究方向：影像处理与分析。文章编号：1001-9081（2019）12-3456-06DOI：10.11772/j.issn.1001-9081.2019049101