医学图像精细化分割方法研究
时间：2021-01-23 12:03:35 来源：达达文档网 本文已影响 人 
摘要：指出了深度学习方法在医学图像分刻中取得较大的进展，但医学图像处理的复杂性使得全自动分割方法难以取得较好的分割效果。在卷积网络分割的基础上，结合应用场景使用适当的后处理手段來提升图像的分割效果是一种比较有临床意义的研究方法。主要研究了基于概率图的全连接条件随机场模型和基于用户交互的深度编辑网络，并分析总结了这两种方法的实现原理和各自优势，并对未来的研究工作进行了一些展望。
关键词：医学图像;语义分割;条件随机场;用户交互;深度编辑网络
中图分类号：R318 文献标识码：A 文章编号：1674-9944（2020）04-0177-02
1 引言
近年来，神经网络技术的兴起极大地促进了医学图像处理研究的进展川。图像分割作为影像医学中的关键技术，不少基于卷积网络的新分割方法相继被提出并应用，如FCN、DeepLab和UNet等经典分割模型，其中UNet在医学图像分割中表现优异[2]。卷积神经网络能够自动提取图像隐藏的高级语义特征，一方面避免了人工设计方法提取特征的困难，另一方面，高级语义信息十分有利于像素级的分类任务。
然而，基于卷积网络的全自动分割方法在复杂情况下依然无法准确分割病变组织，甚至会存在噪声的影响，这也导致这些方法也难以直接应用于临床医学[3]。所以，在神经网络分割的基础上，如何自动编辑修复以精细化分割结果的研究将变得十分有意义。目前存在不少有效的解决方法，本文主要研究分析两种方法：基于全连接条件随机场（CRFs）[4]的方法和基于交互式深度编辑框架的方法[3]。
2 基于全连接条件随机场的方法
2.1 传统short-range CRFs
传统的short-range CRFs模型通常用于消除基于手工特征工程的弱分类器存在的错误预测，它们倾向于将空间上位置和颜色距离相近的像素归为一类，因此常起到平滑弱分类器分割噪声的作用[5]。而卷积神经网络作为一种强分类器，其分割结果往往比较平滑，不存在很突兀的错误分类情况，但缺点也明显，即目标的边界处也可能被过度平滑处理了。此时再使用short-range CRFs来进行后处理反而是不利的。
2.2 全连接CRFs
为了克服short-range CRFs的局限性Chen等在其DeepLab系统中引入全连接的条件随机场模型，其使用的势函数如下[4]：
其中x是像素的标签值。假设一元势函数为θi（xi）=-logP（xi），其中P（xi）为像素i通过DCNN计算得到的概率值。对势函数（pairwise potential）为θij（xi，xj）xj）= 1，否则为0。对势函数充分考虑了图像上任意两个不同像素i和j的关系，即该模型是全连接的概率图模型。每个高斯核函数依赖于从像素i和j提取到的特征，通常采用位置和颜色（亮度）信息作为特征向量，因此，核函数可表示如下
其中第一个核函数取决于像素的位置和亮度值，第二个核函数仅取决于像素的位置信息。
2.3 模型的学习和推理
信息传输（message passing）的更新过程是全连接CRFs模型的主要计算性能瓶颈，但该模型可通过均值场近似（mean field approximation）的方法来近似计算，以简化加速。高维滤波算法[5]极大提高了模型在每幅图像上的实际推理速度，该全连接CRFs模型在PascalVOC数据集上平均每幅图像不到0.5s的计算速度。
3 基于交互式深度编辑框架的方法
3.1 方法概述
虽然DCNN模型的分割效果相比大多传统方法更加出色，但对于复杂的医学图像往往也会出现一些错误预测的情况。所以用户常需要在自动分割结果的基础上进行人工编辑改善分割效果。而交互式深度编辑框架则是使用一个深度神经网络来模拟用户的编辑习惯，自动修复精细化模型的分割结果[3]。目前国内外在这方面的研究并不多，主要因为该方法需要以用户的编辑习惯作为训练数据，这样的数据采集标准高而且难度大，通常需要专业的医生来操作。
3.2 交互设计
一个好的分割编辑系统其交互方式应该尽可能简单，并且用户交互次数应该尽可能少。简单的交互设计一方面提供了高效的使用性能，另一方面也避免了训练过程的过拟合情况（复杂且过多的用户交互会导致网络过度的依赖用户交互）。基于这样的原则，同时结合应用场景的需求，Zhou等设计了如下3种简单的交互编辑工具[3]。
3.2.1 选择工具
用户可通过该工具来点击一个错分面积比较大的区域，来消除这些错误分割的大面积区域。在模拟用户的这个编辑习惯时，首先假设用户一般会点击一个大的错分区域的中心位置。基于此假设，将DCNN的初步分割结果与真实标签相减，对于错误分类的大连通区域，反复采用3D腐蚀操作，直到收缩至一个核心体块，然后从每个大连通区域的核心体块中选一个体素作为模拟用户可能点击的位置。
3.2.2 刷子工具
该工具用于调整修复处于分割边界上的中等程度错分区域。因为该笔刷工具是在横轴切片上进行的，因此模拟操作也是在该方向的2D切片实现。首先找到该切片上错分的最大区域或者连通域，然后以它们中任意两点间的最短路径作为模拟用户涂鸦的痕迹。
3.2.3 调整工具
该工具允许用户根据初步分割结果过分割或者欠分割的程度，输入一个标量值K，进而自动调整分割边割和真实标签的体积。
3.3 其他细节
在训练阶段，交互式深度编辑系统首先需要对比DCNN的分割结果与真实标签之间的差异性，然后通过系统的模拟交互工具，自动编辑标注图像中错误分类的区域，作为初步的模拟用户编辑行为的训练数据。接着将编辑标注后的分割图与原始图像一并输入系统的深度编辑网络，得到更精细的分割结果。如果该分割效果还是不够好，此时需要人工交互，提供用户的编辑标注数据来进一步训练网络，直到分割效果满足要求。而在测试阶段，真实的用户交互编辑数据和原始图像将被直接输入深度编辑网络中去修复分割结果，这时候不再限制用户交互的程度，从而很容易得到较好的改善效果。
4 结语
神经网络在医学图像处理中得到了较成功的应用，但全卷积语义分割网络在复杂的医学图像背景下依然难以取得较好效果。在卷积网络分割的基础上，可采用基于概率图的全连接条件随机场模型来全自动后处理，或者采用基于交互的深度编辑网络来半自动后处理，以精细化调整目标的分割边界。前者全自动化处理，速度较快，但精度提升幅度有限;后者需要用户参与交互分割过程，处理速度较慢，但能够获得更理想的分割效果。两者也可以结合使用。
此外，关于提高医学图像语义分割更细粒度的分割效果方面的研究，还有很多不同场景下的方法，如在全卷积语义分割网络中引入注意力机制、利用多尺度卷积特征和超像素表示等方法，如何结合当前应用场景来选择合适的方法至关重要。
参考文献：
[1]高智勇，万听.基于深度学习的肺结节识别[J].中南民族大学学报（自然科学版），2019，38（3）：393^396.
[2]Ronneberger O，Fischer P，Brox T.U—net：Convolutional net-works for biomedical image segmentation [C]//International Con-ference on Medical image computing and computer-assisted inter-vention.Springer，Cham，2015：234～241.
[3]Zhou B，Chen L，Wang Z.Interactive Deep Editing Frameworkfor Medical Image Segmentation [C]//International Conference onMedical Image Computing and Computer—Assisted Intervention.Springer，Cham，2019：329～337.
[4]Chen L C，Papandreou G，Kokkinos I，et al.Semantic image seg-mentation with deep convolutional nets and fully connected crfs[J].arXiv preprint arXiv，2014（4）.
[5]Krahenbiihl P，Koltun V.Efficient inference in fully connectedcrfs with gaussian edge potentials [C]//Advances in neural infor-mation processing systems，2011：109～117.
收稿日期：2020-01-15
作者簡介：黄金镇（1993-），男，硕士研究生，研究方向为视觉计算与医学图像处理。
