深度学习要另起炉灶 彻底抛弃反向传播

在深度学习刚刚崭露头角的时代，尚未如今日这般繁荣与成熟，回溯至2011年，Hinton等先驱便已深思一个问题：深度学习所依赖的反向传播算法，在生物学中是否存在合理性？他们质疑，神经系统是否能如我们所设计的算法一般，自动构建与正向传播相对应的反向结构，这无疑需要精准的导数计算、矩阵转置以及对链式法则的娴熟运用，在生物学解剖学中，我们未曾发现神经系统具备这样的结构。

尽管神经系统具有层次结构，如视觉系统中的V1、V2等分层，但生物神经网络不可能像现今的大型神经网络那样动辄成百上千层。生物神经传导的速度远慢于电子器件，这决定了其无法支持如此多的层级和如此快的反应速度。同步问题同样困扰着深度神经网络的发展。

有趣的是，研究指出人脑中存在一种名为Cortical minicolumn的柱状结构，它包含上百个神经元并呈现分层特性。这意味着人脑中的一层并非如我们所设计的神经网络中的一层那样简单，而是具有复杂的内部结构。

值得一提的是，Hinton并未预见到卷积神经网络（CNN）的火热发展。在当时，他的论文并未受到太多关注。随着CNN、LSTM、NTM等研究的深入，�们对深度学习的理解逐渐加深。但现今，CNN的发展似乎遇到了瓶颈：网络规模过大、易受对抗样本欺骗、需要大量训练数据以及无监督学习方面的进展有限。

在最近的一次分享中，Hinton重新审视了CNN的问题，主要集中在Pooling（他认为可以推广至下采样）上。Hinton认为Pooling应当带来的是不变性（invariance），即当内容发生微小变化或面临平移旋转时，CNN仍应稳定识别内容。他对此持怀疑态度。他引用了心理学实验的例子来说明人们的识别方式并非如CNN所理解的那样追求不变性。人们会尝试旋转图像以判断其是否重合来判断两个图像是否相同。而CNN则倾向于忽略这些变化。

Hinton所描述的Capsule，是一组神经元集合，其激发向量能够代表某一类实体的实例参数。这一概念，令人回想起他所提出的“专家积”理念，该理念在对比散度算法中得到了详尽解释。而Andrew Y. Ng在自动从视频中识别猫脸的实验中所涉及的内容，也与这种设想有着微妙的联系。这些实验共同表明，特定神经元群组可以象征性地代表某一物体的实例。单个神经元仅仅是一个简单的数学变换，无法独立起到决定性作用。虽然CNN等模型能够自动抽取图像特征的性质已广为人知，但究竟哪些神经元或结构在其中发挥关键作用，这个问题却难以给出明确答案。现代多数神经网络的架构较为宏观，内部具体作用机制的解释常常显得力不从心，因此神经网络被戏称为“黑盒模型”。

Capsule的提出，为我们打开了新的大门。我们或许能够以Capsule为单位，深入分析每个Capsule的具体职能，从而极大地提高模型的可解释性。这些Capsule代表的实例参数，可能包括某类物体出现的概率、物体的一般姿态等多个方面，如位置、方向、尺寸、速度和颜色等。

值得一提的是，Hinton在视频中重点谈到了因果性，这也是众多机器学习专家关注的焦点。当前神经网络更多是一种基于目标函数最大化的函数拟合，缺乏“推断”机制。我们虽然知道网络能够正确分类某张图片，但背后的原因却不得而知。是图片的哪个部分或哪些条件导致了网络的这一判断？如果分类出现错误，又是哪些部分或条件误导了网络？这些问题我们都无法明确回答，很多时候只能依赖参数调整来优化结果。而论文中提到的Dynamic Routing机制，旨在形成一种路径选择机制，让网络能够将适合的内容路由到相应的Capsule进行处理，从而形成一种推断链。Hinton形象地解释：“找到最佳处理路径就等于正确处理了图像”。

原先Pooling的方式更像是静态的routing，只是简单地将上层结果传递给下一层神经元。而Dynamic Routing（示意如图）则提供了一种更为动态、智能的路由方式。Hinton还强调了无监督学习的重要性（正如他所说，人类并不需要知道太多标签）。他有意在Capsule基础上进行无监督研究，之前已经用Capsule实现了自编码器。

近日，Hinton再次提及Capsule，其背后的原因不仅仅是因为Capsule在生物学领域得到了支持，更重要的是，Capsule具有实施dynamic routing算法等卓越特性，让Hinton看到了突破的可能。神经网络的起源可以追溯到最早出现的感知机时代，其遵循了Hebb's rule进行学习，非常贴近生物学原理。正是得益于Hinton和LeCun的共同努力，他们推出了脱离生物模型的反向传播算法，这一创新为深度学习的发展奠定了基础。Hinton基于热力学统计的玻尔兹曼机和受限玻尔兹曼机以及配套的对比散度算法，也对现今深度学习的蓬勃发展起到了巨大的推动作用。Capsule的重新提及，或许预示着深度学习领域新的突破点即将到来。

以上内容生动、文体丰富，保持了原文风格特点，希望对您有所帮助。