变革的开始，深度学习将如何改变医疗成像领域

深度学习在数据分析方面正在呈现持续增长的趋势，并被称为2013年的10项突破性技术之一 [1]。它是对的改进，包含更多的计算层，从而能够在数据中进行更高层次的抽象和预测 [2]。到目前为止，它正成为通用成像和计算机视觉领域领先的工具。

特别地，卷积（CNN）已经被证明是可用于许多计算机视觉任务的有利工具。深度卷积（Deep CNN）可以自动学习从原始数据（例如，图像）获得的中级和高级的抽象概念。最近的结果表明，从CNN提取的通用描述符（generic descriptor）在自然图像的对象识别和定位中非常有效。世界各地的医学图像分析组正在迅速进入该领域，并将CNN和其他的深度学习方法应用于广泛的应用当中。许多不错的成果正在涌现。

在医学成像领域，疾病的准确诊断或评估取决于图像采集和图像解译。近年来，随着技术的发展，设备能以更快地速率和更强大的分辨率来收集数据，这大大提高了图像采集的质量。，计算机技术对图像解译的改进，才刚刚开始。目前，大部分的医学图像解译都由医生来进行。可是，人类进行的图像解译因为其主观性、不同解读者的较大变化和产生的疲劳，往往是片面的。许多诊断任务需要初始搜索过程来检测异常，并且量化测量值和时间的变化。计算机化的工具，尤其是图像分析和，对改善诊断起到关键作用。他们通过帮助识别需要治疗的部位来支持专家工作流程。在这些工具当中，深度学习被迅速的证实了其作为基础的优越性，能够提高准确性。它还开辟了数据分析的新领域，并以一种前所未有的速度不断发展。

A. 历史上的网络

和深度学习背后的基本思想已经存在了几十年了 [3]。它们通常只有几个层。反向传播算法的出现，使得的性能有了显著的提升。，性能仍然不够。其他分类器逐渐发展开来，包括决策树、boosting和支持向量机。其中每一个都已经应用于医学图像分析，特别是用于检测异常，而且他们也在分割（segmentation）等其它一些相关领域得到了应用。尽管取得了这样的发展，相对高的假阳性率依然很普遍。

早在1996年在Sahiner等人的工作中，CNN（卷积）就被应用在医学图像处理上 [4]。在这项工作中，从乳腺X光照片中提取包含活检证实的肿块或者正常组织的ROIs（Region of Interests）。CNN包含一个输入层、两个隐含层和一个输出层以及使用的反向传播。在这个前GPU时代，训练时间被描述为「计算密集型」，却没有给出具体的时间。1993年，CNN被用于肺结节检测 [5]。1995年，CNN被用于检测乳腺X光照片上的微钙化 [6]。

一个典型的用于图像处理的CNN，其结构包含一连串卷积滤波器的层，夹杂着一连串数据压缩或者池化层。卷积滤波器（convolution filter）处理输入图像的一小块。类似于人脑的低级像素处理，卷积滤波器能够检测相关度高的图像特征，比如可以代表明显边缘的线或圆（例如用于器官检测）或者圆形（比如用于圆形的物体，像结肠息肉），然后是高阶特征比如局部或是全局形状和纹理。CNN的输出通常是一个或多个概率或者图像对应的类别的标签。卷积滤波器能够直接从训练的数据当中学习。这正是人们所需要的，因为它降低了对很花费时间的手动标记特征的需求。如果不用卷积滤波器，那么在预处理图像阶段，针对特定应用设计的滤波器以及一些需要计算的特征是离不开这些人工特征的。

CNN是高度并行化的算法。与单独的的CPU处理相比，使用CNN的实用性一大部分是来源于图像处理单元（GPU）促成的巨大的速度提升（大约40倍）。早期描述GPU 对训练的CNN 和其他技术价值的论文是在2006年发表的 [8]。在医学图像处理中，GPU 被引入用于分割、重建和配准，然后才是 [9]，[10]。有趣的是，虽然Eklund et al. [10] 在他们的2013年的论文中广泛谈论卷积，但卷积和深度学习一点也没有被提及。这突出了深度学习的重大改革对医学图像处理研究的迅速调整有多迅猛。

B. 今天的网络

由于CNN 的新变体的开发和针对现代 GPU 优化的高效并行求解器（parallel solver）的出现，深度最近已经获得了相当大的商业利益。CNN 的强大得益于它的深层架构，这让它在不同抽象级别上，提取一系列辨别特征。从头开始训练一个深层的卷积是一个巨大的挑战。，CNN 需要很大数量的标记数据，而这这在医学领域很难达到。这是因为请专家来进行标记是很昂贵的，并且疾病（比如，病变）的样本十分稀少。，训练深度 CNN 需要大量的计算和存储器资源，没有它们的话，训练的过程会非常耗时。第三，训练一个深度 CNN 经常由于过拟合和收敛问题而变得复杂化，通常需要对网络的学习参数或者架构重复调整以确保所有的层都以相当的速度学习。鉴于以上的困难，一些被称为「迁移学习（transfer learning）」和「微调（fine-tuning）」的新的学习方案被提出来提供解决方案，并且被越来越多的人接受。这些将在 II-C 节进一步讨论。

C. 医学领域的网络

领域深度学习（domain Deep learning）方法当应用到大型训练集时最为有效，但在医学领域，并不总能获得大的数据集。，我们面临着一系列重大的挑战，这包括，(a) 深度可以被有效地用在医学任务上吗？(b) 从一般意象到医学领域的转移学习是否相关？(c) 我们是否可以单独依靠学习的特征，还是可以将它们与人工制作的功能结合起来完成任务？这种关于医学成像的深度学习的 IEEE 成像 ( IEEE-TMI ) 特殊问题集中在这个新时代的进展以及它在医学图像处理领域的角色。这个问题介绍了最近 CNN 和其他深度学习应用在医疗任务方面的成就。它包含来自世界各地的各种调查员的50份论文中挑选出来的18篇文章，这对于 IEEE 的特殊问题是一个非常高的数字，并且这是在从论文征集公布到提交截止日期的时长比以往要短的时间内实现的。论文集中在从检测到类别化（例如，病变检测、图像分割、形状建模、图像配准）等 这些大量传统的任务，也有一些开放的新颖的应用领域。其中还包括了一些重点在网络探索的工作，并给出了对不同的任务、参数、训练集应该如何选择架构的看法。

期刊论文和主题概述

A. 病变检测

电脑辅助检测 ( CAD/Computer-aided detection ) 是一个完善的医学图像分析领域，非常适合深度学习。在 CAD 的标准方法 [11] 中，通过监督方法或者经典的图像处理技术（比如滤波和数学形态学（mathematical morphology））检测病变。候选病变通常被分割出来，而且通常由大量的手动设计的特征来描述。分类器将特征向量与对应的候选部位是实际病变的概率做映射。使用深度学习而不是手动设计的特征的直接方法是训练在以候选病变为中心的一组图像图像数据上操作的 CNN。本期的几篇文章都使用了这种方法。为了 获取3D 胸部 CT 扫描的肺结节的候选以及提取以这些候选部位为中心的9个不同的方向的2D 贴片，Setio et al. [12] 结合了先前开发的三种候选探测器。结合不同的 CNN 来对每个候选者进行分类。报告显示，与先前公布的用于相同任务的经典 CAD 的结果相比，这种方法取得了微小的进步。

Roth et al. [13] 将 CNN 用于改进3个现有的 CAD 系统用于检测结肠镜 CT 中结肠息肉的存在，以及利用体 CT，检测硬化脊柱转移和扩大淋巴结。他们也用了先前开发的候选检测器和3个正交方向的2D 贴片，以及多达 100个随机旋转视图。随机旋转的「2.5D」视图是一种从原始 3D 数据分解图像表示的方法。随后通过整合 在 2.5D 视图上的 CNN 的预测结果来获得额外的准确度提升。对于所有使用 CNN 的 3 个 CAD 系统，病变检测的灵敏度改善了 13 – 34%，这表明该方法是通用的可调整的。若使用非深度学习分类器 ( 例如支持向量机族 )，几乎不可能达到这种程度的改进。

Dou et al. [14] 从磁敏性加权磁共振成像扫描中检测出脑微出血。他们使用 3D CNN 并且用 CNN 替换原始的候选检测阶段，提出了两阶段方法。报告提出，在相同的数据集上重新实施、训练和测试，他们的 3D CNN 的结果与现有文献中的其他经典的方法和 2D CNN 方法相比，有了改进。

Sirinukunattana et al. [15] 在组织病理学图像中检测和分类细胞核。他们使用一个 CNN，使用一个小块作为输入，而不仅仅是预测小块的中心像素是否是细胞核，他们对输出进行建模，每个细胞核中心会产生一个峰值而其他地方较为平坦。这种空间约束的 CNN 与在测试阶段中的重叠贴片的融合相结合，产生了比先前基于 CNN 和基于经典特征方法的先前提出的技术更好的结果。

Anthimopoulos et al. [16] 侧重于利用 2D 胸部 CT 扫描图像来探测间质性肺病的模式。他们是研究这个问题的三个组之一 ( 其他两个是 Shin et al. [17] 和 van Tulder et al. [18]）使用来自 [19] 的公开数据集。他们训练 CNN，让其能区分 32 × 32 个像素的小块属于 7 个类中的哪一个。报告显示，他们的结果达到了比以前三个使用手动设计特征的方法更高的精度。

在研究此类问题的其他几篇文章中，病变检测也是一个感兴趣的话题，这些文章的侧重点在于更广泛或专注于特定的方法问题。这些论文将在下面简要谈论。

B. 分割和形状建模

对于一个由 2891 个心脏超声检查构成的集，Ghesu 等人结合了深度学习和边缘区空间学习来做物体探测和分割。「大参数空间的有效探索」与一种增强深度网络中的稀疏性的方法的结合增强了计算效率，且该方法相较于同一个小组发布的另一个参考方法将平均分割误差减少了 13.5%。

有三组研究人员关注于大脑结构分割或脑病变。多发性硬化症脑病变分割的磁共振成像（MRI）问题由 Brosch 等人解决。他们开发了一种 3D 深度卷积编码网络，这种网络能够结合相互关联的卷积与反卷积过程。卷积过程学习到更高层次的功能，而反卷积过程预测出体素水平分割。他们将这种网络应用到两个公用数据集和一个临床试验数据集中，并将自己的方法与 5 种公用方法进行了比较。报告称，称该方法的表现「可与当前最先进的方法相媲美」。

Pereira 等人研究了磁共振成像中的脑肿瘤分割。[ 22 ]。他们使用了小的内核、更深层的架构、灰度归一化和数据增强。不同卷积架构被用于低级别和高级别的肿瘤。该方法分别对肿瘤的增强部分和核心部分进行了分割。他们在 2013 年的数据集公共挑战赛上排名第一，并在 2015 年的现场挑战赛上排名第二。

对于大脑结构分割问题，Moeskops 等人的一项研究显示，卷积在涵盖了从早产儿到老年人的五个不同年龄组病人的数据集上表现出色。一种多尺度的方法被用于实现其可靠性。该方法在 8 种组织类别中取得了良好的效果，其中 5 个数据集的 Dice 相似性系数平均值为 0.82 至 0.91。

C. 网络探究

1）数据维度问题——二维 vs 三维我们看到的大部分数据研究采用的是二维分析。二维向三维的过渡经常遭到质疑——它是否会是性能大幅提升的一个关键所在。数据增强过程中存在一些变化，包括 2.5 维。例如在 Roth 等人的研究中，轴位、冠状位和矢状位图像以候选的结肠息肉或淋巴结中的体素为中心，并被输入到 cuda-conv 卷积中，该网络包含了通常用于表示一张自然光图像的红、绿、蓝三色通道。三维卷积被 Brosch 和 Dou 等人明确用在了这个问题上。

2）学习方法论——无监督型 vs 监督型当我们看网络文献时会明显发现，大部分研究为了实现分类而专注于监督型卷积。这种网络对许多应用来说非常重要，包括检测、分割和标记。仍有一些研究专注于无监督型方案，它们大多在图像编码、高效图像表征计划以及作为深入监督型方案的一种预处理步骤方面被证明是有用的。无监督型表征学习方法如受限波尔兹曼机（Restricted Boltzmann Machines/RBM）可能会超越标准的滤波器组，因为它们直接从训练数据中学习特征描述。RBM 由一个生成型学习目标来训练；这使得网络可以从未标记的数据中学习表征，但不一定会产生最佳分类特征。Van Tulder 等人进行了一项调查研究，它结合了卷积分类 RBM 中生成型和判别型学习目标的优点。该研究表明学习任务的组合形式优于纯粹的判别型或生成型学习。

3）训练数据注意事项卷积实现了对数据驱动型、极具表征性、分层递阶的图像特征的学习。在许多应用领域中（见期刊），这些特征已被证明是一个十分强大且可靠的表征。要提供这样一个丰富的表征和成功的分类，需要足够多的训练数据。所需数据量是一个有待探讨的关键问题。相关问题包括以下内容我们如何最有效地使用所拥有的训练数据？在无法获得数据的情况下我们能做些什么？以及是否存在获取数据并进行医学注释的替代方法？

其中一些问题由该期刊中的一些论文解决。Van Grinsven 等人试图通过动态选择训练期间被错误分类的负样本来改善和加速解决医学图像分析任务的卷积训练。卷积训练过程是一个连续的过程，需要多次迭代（或多个时期）来优化网络参数。在每一个时期，一个样本的子集是从训练数据中随机选择的，并通过反向传播和最小化代价函数来呈给网络以更新其参数。医学领域中的分类任务往往是一个正常型/病理型的判别任务。在这种情况下，正常型类别尤其会被过度表征；由于每张图像中正常型组织的重复型模式，大多数正常型训练样本是高度相关的。其中只有一小部分会包含有用信息。在学习过程中对这些数据进行同等处理会导致在无用的正常型样本上浪费许多次训练迭代，使卷积的训练过程花费不必要的时间。能够识别有用的正常型样本的一种方法（如该研究所示）提高了卷积学习过程的效率并减少了训练时间。

4）迁移学习和微调在像 ImageNet 一样全面注解的医疗成像领域中获取数据仍然是一个挑战。当没有足够多的数据可用时，有几种方法可以提供帮助1）迁移学习由自然的图像数据集或由一个不同医疗领域中所预训练过的卷积模型（监督型）被用于手头一个新的医疗任务。一种方案是，一个预训练过的卷积被施加到一张输入图像中，然后其输出从网络层中被提取出来。所提取的输出被当做特征并被用于训练一个单独的模式分类器。例如在 Bar 等人的研究中，预训练卷积被用来作为一个鉴定胸部病理的特征生成器。在 Ginneken 等人的研究中，基于卷积的特征与手动添加的特征被整合在一起，实现了一个结节（nodule）检测系统中的性能提升。2）微调确实有一个中等大小的数据集可用于手头任务，一个参考方案是，在进一步的监督型训练完成后，将一个预先训练的卷积作为几个（或全部）网络层的初始化来使用，在手头任务中使用新数据。

迁移学习和微调是在医疗成像应用中使用深度卷积的关键部分。对这些问题进行探讨的是 Shin 和 Tajbakhsh 等人的研究工作。其研究中的实验结果一致表明，使用带有微调的预训练能够达到最佳效果，无论是特定应用领域（Tajbakhsh 等人）还是所有网络架构（Shin 等人）。Tajbakhsh 等人的进一步分析表明，深度微调在性能提升方面优于浅度微调，而训练集尺寸的降低也使得使用微调的重要性得到提高。在 Shin 等人的研究中，GoogleNet 架构相比其他较浅深度架构实现了最先进的纵隔淋巴结检测。

5）真实标注数据（Ground Truth）——来源于专家与非专家对公开真实标注数据的缺乏，以及每次医疗任务中收集这些数据的难度，加上成本和时间开销，这些都是医疗领域中令人望而却步的限制因素。虽然众包实现了对现实世界图像的大型数据库的注释，但其在生物医学目的上的应用却需要一个更加深入的理解力，因而需要对实际注释任务有更精确的定义（Nguyen 和 McKenna 等人）。专家任务被外包给非专家用户的事实可能会导致杂乱的注释，引起用户之间的分歧。许多问题出现在医学专家与非专业人士的知识结合上，比如怎样结合信息源，如何由他们在性能和其他方面被事先证明过的准确性来评估和混合输入权重。这些问题由 Albarqouni 等人解决。他们提出一种结合了聚合层 aggregation layer 的网络，该聚合层被集成到卷积中，从而将源于群众注释的学习输入作为网络学习过程的一部分。显示结果对深度卷积学习的功能给出了有价值的见解。有关医学领域中众包研究最惊人的事实竟是这样一个结论一群非专业的、没有经验的用户实际上可以做得像医学专家一样好。Nguyen 和 McKenna 等人在放射图像的研究中也观察到了这点。

D.创新应用和新奇应用案例

Kallenberg[32] 的工作是以乳腺 X 片图像为输入数据源，运用无监督式特征学习来为乳腺的疾病风险打分。他们展示了一种从无标记数据来学习层次特征的方法，然后这些特征将会直接输入到一个简单分类器中。在这个分类器中，将会进行 2 类不同的操作1）乳房密度的图像分割，2）乳腺 X 片纹理的打分。分类器在这两方面的表现都非常优秀。为了控制训练模型的容量，通过一个稀疏正则化优化来控制稀疏的时间和范围。无监督式学习过程中卷积层其实可以看成是一个自动编码器 autoencoders；在监督学习部分，（预先训练好的）权值和偏差值会进一步运用 softmax 回归函数来微调。

Yan[33] 等人的工作中设计了一个多阶段（multi-stage）深度学习框架来处理图像分类问题并且将其用于人体局部特征识别。在预训练阶段，通过多示例学习（multi-instance learning）来训练卷积，从而获取当前训练数据切片中里最具有辨别力的局部图块和无效讯息的局部图块。在强化阶段，预训练好的卷积将进一步通过相应局部图像来训练图像分类器，从而强化他的分类能力。这个多示例深度学习方法的突出点在于可以自动的完成区分性的局部图像和无效讯息的局部图像的识别。，不需要事先的人工标注工作。

回归网络在医疗图像里的使用不是很常见。Miao 等人提出了一种基于卷积的回归网络，来实现实时的二维/三维配准。他们提出了三个算法来简化潜在的映射对象回归，并且在 CNN 回归模型中加入了一种强壮的非线性模型。从这个网络的输出结果来看，深度学习算法比之前的最优算法的结果更准确且鲁棒性更好，大幅度提升了基于灰度的二维/三维配准进程。

目前我们仍然在探索可以应用的领域，以及在哪些领域上他们的应用和任务维度上会产生持续的影响。在一个开创性的研究中，Golkov[35] 提出了一个原始化的论证，他运用深度学习来简化弥散 MRI（核磁共振）图像数据处理，优化后仅需一步。他们的研究表明，这种改进使得人们从一个先进的模型获取标量测量数据的扫描时间减少了 12 倍，并且不需要运用扩散模型就能识别异常。揭示扩散加权信号和显微组织特性之间的关系是值得正视的。Golkov[35] 表示，运用深度也许可以揭示这样的关系弥散加权成像（DWIs）可以直接被作为输入数据，而不是通过模型拟合获得的标量测量值来处理。这项研究表明基于逐个立体像素的显微组织预测，以及基于弥散加权成像值的自动无模型图像分割可以用于健康组织和 MS 病灶的模型训练中。扩散峰广为人知的是通过 12 个数据点、凸起方向弥散以及仅 8 个数据点的密度估计来得到。这个为临床研究提供了快速且鲁棒性更好的方法，也表明标准的数据处理过程可以用深度学习的方法来简化。

讨论关键问题和展望

已有的很多工作显示，深度网络的的使用提升了目前的最高水平，且这些提升在很多领域都是一致的。通常情况下，深度学习给出解决方案的所取得的进步是相对直接的，这一点我们可以从医疗计算领域看到这一明显的进步。在《医疗影像中的深度学习一项令人激动的新科技的综述和展望》一文中，提出了这样一些问题2012 年的大规模种类识别理论有了 10% 的进步，但如何在应用方面获得实质性的飞跃呢？所提出的问题正确吗？探索的方向正确吗？使用的图像表达技术足以支撑吗（比如，2D 还是 3D）？需要从每个医疗案例中获得更多的数据吗？还是转向深度学习更高效？还有更多的相关问题在这篇文章的第二部分被提出来。大部分的问题丞待解决。

在这篇文献中，可以看出，虽然通过深度网络可以接触到监督式学习和无监督式学习，似乎大部分的工作都在使用监督式学习。那么在医学领域呢？数据量是一个关键因素，在形式上就要求结合监督式学习和无监督式学习双方的优点。在医学领域，由于很难获取（人工标注难以获得），所以该领域需要更多的半监督式学习和监督式学习。

此文包括很多的网络构架。从当前已发表的论文中可以看出可变性是非常大的。选择已知的构架，设计任务稳定的构架，跨构架融合等都可能导致可变性。我们可以就此提出一个有趣的问题如果一个非常深层的残差网络，跨过了 152 层，在 ILSC 2015 层分类任务上表现最好，那么应用到医疗上也可以获得很好的结果吗？

深度学习一个很重要的方面就是它可以从大量的训练数据中获益。基于 ImageNET 数据集在 ILSC 竞赛后，获得了计算机视觉上的巨大突破（http://.image-./）。相比于其他论文中所用到的训练数据集和测试数据集，这个特殊问题所用到的数据集非常大（百万和一千一百相比）。如果我们能构建了类似这么大的公共医学图像数据集，我们的社会将受益很大。

为什么这项工作非常有挑战性呢？第一，很难为构建这样一个数据集筹措资金；第二，要对医学图像数据进行高质量的注解，就需要医学专业知识，这不仅非常稀缺且非常昂贵；第三，与自然图像相比，隐私问题使得医疗数据更难以获得；第四，医疗成像的应用广度需要收集更多不同的数据集。尽管存在着这么多障碍，我们还是在数据收集和共享数据方面有了很快的进展。许多公共数据集已经发布，并且现在在实践中使用它们了。例如，VISCERAL 和癌症成像档案，Roth et al. [13] 和 Shin et al.[17]，通过对 CT 扫描扩大的淋巴结图像进行分析而获得的数据集，已经在癌症成像档案上公开，同一研究组也在线上公开了胰腺数据集。

自 2007 年以来，在诸如 MICCAI，ISBI 和 SPIE 医学成像等医学成像会议上举办竞赛研讨会已经成为一种习惯。网站上有大量的数据集和正在进行的研究（http://.grand-challenge./）。使用这些公共基准数据集相对于仅使用公共数据集具有明显的优势竞赛提供了要解决的任务的精确定义，并且已经定义一个或多个评估度量，给各种算法提供了公平的评价标准。如果没有这样的评价标准，即使各个算法使用相同的数据集，也难以将相同问题的不同方法进行比较。例如，其中的三个研究（Anthimopoulos 等 [16]，Shin 等 [17] 和 van Tulder 等 [18]）使用带有医学注释的相同胸部间质性肺疾病 CT 扫描数据集，他们所报告结果却不同。

在这一方面，一项关于这个问题的研究 (Setio et al. [12]) 在一个对肺结节的挑战上初见成果。这项挑战是由 IEEE 和 ISBI 会议共同组织，所使用的是公开的 LIDC/IDRI 数据集，这篇文章中所提建立的系统可直接与其替代方法进行比较。

去年已经有了一个以医疗图像分析为平台，基于应用的比赛。Kaggle 组织了一次关于识别糖尿病患者眼底彩色图像的竞赛，奖金为 100000 美金。661 支队伍提交了结果，一共提供了 8000 张图片。这些数据被用于一项特殊研究 (van Grinsven et al. [24])。最近。第二届通过核磁共振图片测量心脏体积，得出射血分数图像医学图像分析竞赛结束了。一共 192 支队伍参加了比赛，奖金为 200000 美金。 在这两个比赛中，最优秀的竞争者都在使用卷积。在所使用的较为好的算法中，使用集和深度学习的参赛者显出了更大的优势，我们希望这种趋势能继续下去。在这种情况下，在接下来的一系列世界范围内关于提高各种成像的癌症筛查的准确性的竞争，可能会引起相关人士的关注。

Albarqouni 等人的研究显示，在线平台，例如比赛中的那些平台，可以用于多种目的。它们会促进新的合作，形成解决方案，也能够通过众包而获得大量数据的。

，我们感谢总编的指导，TMI 办公室的帮助，最重要的是作者和审稿人的巨大努力。这篇文章给出了医学影像，这个迅猛发展的领域的快照。我们希望你会喜欢它，并期待未来你对这个领域的贡献。