神经符号系统、跨学科交互，李飞飞等16名学者共

去年，纽约大学心理学和神经科学教授 Gary Marcus 和深度学习先驱、2018 年图灵奖得主 Yoshua Bengio 就 AI 技术的发展方向展开了一场现场辩论。

今年，Gary Marcus 与 Montreal.AI 负责人 Vincent Boucher 举办了第二场辩论。这次辩论共有包括李飞飞、Judea Pearl、Rich Sutton 在内的 16 位学者参与，大家围绕「Moving AI Forard: An Interdisciplinary Approach」这一主题展开讨论。Gary Marcus 表示「此次辩论旨在展示不同的观点。」

这场辩论包括「架构与挑战」、「神经科学与心理学带来的洞见」、「构建可信任的 AI」三个主题

Gary Marcus 回顾了去年与 Bengio 的那场辩论，并指出现在是时候讨论下一个十年了「如何将人工智能提升到下一个层次」。

之后，16 位学者分别谈论了自己的研究和观点，整场辩论持续 3 个多小时。

演讲主题汇总https://montrealartificialintelligence./aidebate2/readings.pdf

辩论视频https://montrealartificialintelligence./aidebate2/

架构与挑战

是第一个主题「架构与挑战」。参与讨论的学者有Yejin Choi、Luis Lamb、Fei-Fei Li、Robert Ness、Judea Pearl、Ken Stanley 和 Rich Sutton。

斯坦福大学计算机科学教授李飞飞率先发言，谈论了 AI「北极星」。她表示，「北极星」是与环境的交互。

随后，巴西南大河州联邦大学计算机科学教授 Luís Lamb 谈论了「神经符号 AI」。Lamb 表示，基于 Marcus 在《The Algebraic Mind》一书中提到概念的神经符号工作涵盖了基于神经网络操纵符号的需求，「我们需要将二者逻辑形式化的基础性方法」，如 Judea Pearl 的思想。

随后，DeepMind 杰出研究科学家 Rich Sutton 探讨了强化学习。他提到了神经科学家 David Marr 的计算视觉信息处理研究三层次计算理论、表示与算法、硬件实现。Marr 对计算理论很感兴趣，但「目前 AI 领域这方面的研究很少」。Sutton 表示，类似梯度下降这类思想是关于「ho」，而不是计算理论所需要的「hat」。

Sutton 表示「AI 需要大家认可的智能计算理论，而强化学习是最强劲的候选者。」

紧接着，图灵奖获得者、贝叶斯网络之父、畅销书《为什么》的作者 Judea Pearl 发表了主题为「The Domestication of Causal Reasoning」的演讲。他表示深度学习是个金矿，「我为推动因果革命而打造的新引擎可以表示心理状态的计算模型，即『深度理解』」。」

Pearl 表示，深度理解将成为回答「What is?」、「What if?」和「If Only?」这些问题的唯一系统。

接下来，机器学习研究科学家 Robert Ness 谈论了「因果推理与（深度）概率规划」。

Ness 表示「概率规划将是解决因果推理的关键。」概率规划可以构建能够反事实推理的智能体，而这是因果推理的关键。他认为这可以解决 Pearl 关于「If only?」的问题。

中佛罗里达大学计算机科学教授 Ken Stanley 则探讨了进化与创造性。「过去数千年来，从火到空间站，新的事物是基于之前事物发展的，这就是开放系统。」Stanley 表示，产生智能的进化是一个并行的「现象系统」（phenomenal system）。「我们从存在开始，就获得了之前数千年的创造力，我们应当尽力理解这些现象。」

随后发言的是华盛顿大学计算机科学系副教授 Yejin Choi。她谈到了语言的重要性，并表示语言是「生成任务的推理」。她认为「我们人类执行的是即时推理，这将成为未来 AI 发展的关键和根本性挑战之一。」

她认为未来新的语言模型，如 GPT-4/5/6 等，都远远不够。

在几位学者发表完各自观点后，Marcus 试图他们的共同关注点反事实、处理不熟悉和开放问题、集成知识、Judea Pearl 关于仅依靠数据并不足够的观点、常识的重要性（就 Yejin Choi 关于「生成式」的观点而言）。

Marcus 提问道「现在出现了六七种不同的观点，我们是否想要将它们融合起来？是否想要使强化学习兼容知识？」

Luis Lamb 表示，神经符号系统并不在于「如何去做」，重点是要明白，我们拥有相同的目标，即在学习方面建立非常稳固坚实的东西，表征要先于学习。

Marcus 请各位学者思考「模块化」（modularity）。Rich Sutton 表示他可以接受考虑整体问题的方法，而不仅仅是表征。他认为大家应该思考借助计算理论想要实现的整体目标是什么，「我们需要多种计算理论。」

Yejin Choi 指出人类有能力信任新奇的事物，并进行奇怪的因果推理。她问道「我们是否想要建立一个类人的系统？」她还提到了人类有趣的一点，即有能力通过自然语言交流大量知识，并通过自然语言展开学习。

Marcus 向李飞飞和 Ken Stanley 询问了「神经进化」领域的发展现状。

李飞飞表示，进化是智能中最伟大、最丰富的实验之一，智能背后隐藏着一系列统一的原则。，她表示自己不会受进化生物约束的掣肘，而是将原则提炼出来。

神经科学与心理学带来的洞见

辩论的第二个主题是「神经科学与心理学带来的洞见」，Danny Kahneman、Christof Koch、Adam Marblestone、Doris Tsao 和 Barbara Tversky 参与了讨论。

斯坦福大学心理学名誉教授 Barbara Tversky 认为，所有的生物都必须在空间中运动，运动停止，生命也就终结了。Tversky 还谈到了人们如何做手势，以及做出能够影响人类思维变化的空间 motor 运动。

她指出，「学习、思考、沟通、合作和竞争，所有这些都依赖行动和少量话语」。

接下来是诺贝尔经济学奖得主和 AI 推理问题权威书籍《快思慢想》（Thinking, Fast and Slo）的作者 Daniel Kahneman。他表示自己认同书中的两种思考范式System 1 和 System 2 思考。一种是直观形式，另一种是更高级的推理形式。

Kahneman 认为，System 1 包含了任意非符号事物，但这不意味着它是非符号系统。System 1 包含世界的表征，由此人们可以模拟自身生活的世界。大多数时候，人们都一成不变地生活着，发生的事情大多在我们的意料之中。System 1 模型将很多事件认定为「正常」，即使出乎意料之外。System 1 拒绝接收其他事件。紧接着 Judea Pearl 的观点，Kahneman 表示大量的反事实推理都在 System 1 中，其中对正常事物的天然理解主导着这种推理。

随后发言的是加州理工学院的生物学教授 Doris Tsao。她主要讲了反馈系统，回顾了早期关于麦卡洛克和匹兹（McCulloch and Pitts）神经元的研究工作。通过引用多层神经网络中的反向传播，她认为反馈至关重要。理解反馈或许能令人们构建鲁棒性更强的视觉系统，并且反馈系统也有助于理解幻觉等现象。，她表示自己对机器学习和系统神经科学的交互非常兴奋。

接下来是 MIT 的 Adam Marblestone，他先前是 DeepMind 的研究科学家，从事神经科学研究。他认为观察大脑并试图出大脑运行的原理，这些「到现在还处于非常原始的水平」。，他还认为卷积神经网络等不过是在复制人类行为罢了。

西雅图艾伦脑科学研究所研究员 Christof Koch 则断言「不要指望神经科学来帮助人工智能的发展」。他认为了解大脑还需要一两百年的时间，所以从大脑机械基质中寻求灵感来加速 AI 发展是错误的，这与 Marblestone 的观点形成了鲜明对比。他表示「这与人造物体的特性完全不同。」

对此，Marcus 提出了更多问题，如「多样性」。大脑皮层的单个部分能够让人们了解其他部分的什么属性呢？

Tsao 回答道，「相似性」更令人印象深刻，它可能揭示了大脑运行的真正深层的普遍原则。预测编码是一种「规范模型」，可以解释很多事情。「寻求这种普遍原则将产生重大影响。」

关于这一点，Koch 表示，细胞类型「大不相同」，例如视觉神经元与前额叶皮质神经元非常不同。

Marblestone 认为「需要更好的数据」，以便「从实证角度理解 Christof 谈论的计算意义。」

Marcus 还就「先天性」（innateness）进行了提问。他询问了 Kahneman 对「目标文档」（object file）的看法「你脑海中用于记录自己正在追踪的每件事情的索引卡，它是天生的架构吗？」

Kahneman 回答道，「目标文档」是大脑追踪物体过程中产生的永久性概念。他将其比作警方档案，在收集证据的过程中内容会因时而变。所以，目标文档「是天生的」。

Marcus 则认为深度学习中没有对等的「目标文档」。

构建可信任的 AI

此次辩论的第三个主题是「构建可信任的 AI」，Ryan Calo、Celeste Kidd、Margaret Mitchell 和 Francesca Rossi 各自发表了自己的观点。

加州大学伯克利分校教授 Celeste Kidd 所在实验室主要研究人类如何形成认知。Kidd 表示算法偏见是很危险的，它们「有时会以破坏性的方式影响人类认知」。她以内容推荐的 AI 系统为例，认为此类系统会使人们形成「更强大的、难以纠正的错误认知」。比如亚马逊和领英利用 AI 进行招聘，可能对女性候选者造成负面影响。

「AI 系统中的偏见强化了使用者的偏见，现在 AI 已经令人恐惧了。」Kidd 还提到了 Timnit Gebru 被谷歌解雇一事，称「Timnit 在谷歌经历的事情正是一种常态。」

谷歌高级研究科学家 Margaret Mitchell 表示「开发机器学习算法的典型方法是收集训练数据、训练模型、过滤输出，并让人们看到输出。」人类偏见是数据收集、标注和整个开发阶段中面临的重要问题，它还会进一步影响模型训练。后处理阶段也同样存在偏见。

「人们看到输出，它变成了一个反馈回路，我们试图打破这个系统，即洗刷偏见（bias laundering）。」Mitchell 表示「发展中不存在中立的东西，发展是价值负荷的。我们需要分解发展所包含的内容，以便人们可以反思它，并朝着『可预见的利益』努力，远离『可预见的危害和风险』。技术通常善于彰显技术的优势，但不擅长处理风险，也不考虑长期影响」。

IBM fello Francesca Rossi 讨论了创建可信任 AI 生态系统的任务。她表示「我希望它是准确的，但除此之外，我们还需要很多属性，包括价值观的一致性、公平性以及可解释性。可解释性非常重要，尤其是机器与人类一起工作的语境中。」

Rossi 回应了 Mitchel 关于「透明度」（transparency）的需求。她表示「原则还不够。它需要大量咨询，在帮助开发者了解如何改变做事方式以及机构内部伞式结构方面还有很多要做的事。」Rossi 说神经符号系统和 Kahneman 提出的 System 1 和 System 2 对于机器中模型的价值观非常重要。

一位演讲者是华盛顿大学的法学教授 Ryan Calo，他表示「我有一些关于原则的问题。原则不是自我执行的，违反原则也没有相应的惩罚。」

「我认为原则在很大程度上是没有意义的，因为在实践中，原则的目的是使决断没有争议。我认为我们不需要原则。我们要做的只是袖手旁观，评估人工智能对人类 affordance 的影响，然后针对此改变法律系统。不能对 AI 进行监管，并不意味着不能改变法律。」

Marcus 回答道「潘多拉魔盒现在已经打开，世界处于 AI 发展的最糟糕时期。我们拥有的这些系统却受制于没有知识的数据。」

接着，Marcus 询问了对「基准」的看法机器能否以某种可靠的方式使我们朝着常识的方向前进？Choi 回答称，基于实例的机器训练或自监督学习是陷阱。

Mitchell 指出，认知偏见会导致歧视，歧视和偏见在模型开发中「紧密相连」。Pearl 回应称，如果某些偏见可以被理解，则它们可以通过算法得到纠正。他表示「如果某些偏差可以被建模，则可以被修复。」他将这一过程称为「偏见洗刷」。

Kidd 表示，她的实验室工作是为了反思「误解」。在这个世界上，人们都会表现出偏见，即使有些无法用证据证明。Ness 则指出，认知偏见可能是有用的归纳偏置。他说，这意味着人工智能问题不仅仅是哲学问题，还可能是「非常有趣的技术问题」。

Marcus 问及大家对机器人的观点如今的大多数机器人仅执行少量的物理推理，比如房间导航等。我们应如何解决这个对人类非常有效的物理推理问题，并延伸至语言领域呢？

李飞飞表示具象化与交互是智能的一部分。我非常同意物理推理是发展智能的重要原则，但没必要去建造物理机器人，学习智能体可以满足一部分需求。

Marcus 接着询问了李飞飞实验室的模拟工作，尤其是「affordance」当谈到具象化时，很多都是关于物理 affordance，拿着铅笔，拿着电话等。我们离这还有多远？

李飞飞表示「非常接近，例如芯片巨头英伟达的物理建模工作。在 AI 发展的下一阶段中，我们必须做到这一点。」

Sutton 表示「我尽量不去思考知识的具体内容」，他倾向于把空间看作是思考其他事物的方式，它是关于从一种状态到另一种状态的转换。「我反对这个问题，我不想把物理空间看作是一种特殊情况。」

Tversky 则认为「人类可以从观察别人中学到很多东西。但我也想到了互动、模仿。对于幼儿来说，这不是确切的运动，而是目标。」

Marcus 对此的回复是「目标非常重要。」他以婴儿为例。14 个月大的婴儿会模仿——要么是精确的动作，或者他们会意识到这个人在以一种疯狂的方式做某事，与其进行重复动作，婴儿会做出别人试图做的动作。先天不等于出生，在生命早期，空间和目标的表现形式非常丰富，而在 AI 中我们还没有针对这个的优秀系统。」

Choi 重申了语言的重要性。「我们想把常识研究局限在婴儿身上，还是想建立一个同样能捕捉成年人常识的系统。语言对我们来说太方便了，它代表了成年人的常识。」

好奇心

Marcus 将话题转向好奇心「好奇心是人类能力的重要部分，可以以某种方式提高认知能力。」

Koch 认为「这不是人类独有的，幼年黑猩猩、小狗、小猫……，它们同样想要探索世界。」

Stanley 的观点是「这是一个很大的谜题，因为很显然，好奇心是早期发展、学习以及拥有人类智慧的基础，我们不清楚这种行为是如何形成的？」

「如果我们想拥有一个好奇的系统，我们必须解决一个非常主观的概念「什么是有趣的」，然后我们必须与主观性做斗争，而这正是我们作为科学家不喜欢的事」。Stanley 说。

Pearl 则提出了一个好奇心不完备理论。哺乳动物试图找到进入舒适和可控系统的路径，驱动好奇心的正是这类系统中的漏洞。「只要它有漏洞，你就会感到恼怒或不安，这会激发你的好奇心。当你填补这些漏洞时，你会感到一切都在掌控之中。」

Sutton 指出，在强化学习中，好奇心扮演了一个低级角色，用来驱动探索。「近年来，人们开始把『paly』看作一个更大的角色。我们设定的目标现在未必有用，但将来可能有用。『paly』可能是人类做的大事之一，玩是大事。」

在被问及「元认知」概念时，Rossi 回答道，「Kahneman 的 System 1 或 System 2 中肯定有某个地方是关于实体自身能力的推理，我可以用这种方式或其他方式进行回答，或者设计一个新的程序来回应外界的刺激」。Rossi 认为这种能力可能有助于激发好奇心和「玩」的概念。

李飞飞表示「作为一名科学家，我想在科学知识与 AI 原则方面进行深入探索。我仍然认为我们的 AI 时代是牛顿物理学之前的时代。我们还在学习现象学和工程学。总有一天，我们会开始理解智能的原则。作为一名公民，我希望这种技术可以在理想的情况下改善人类的生活条件。它是如此深刻，可以非常非常糟糕，也可以非常非常好。我希望看到这种技术的框架以最仁慈的方式开发和部署。」

Lamb 表示「我喜欢图灵的一句话。他说，我们只能看到前面很短的距离。正如 Fei-Fei 所说，作为一名科学家，我希望 AI 进步。，AI 影响很大，AI 的发展是我们的关键责任。正如 Gary 所说，我们必须寻求融合，让 AI 更公平、少些偏见，使其成为人类世界中的积极因素。我们需要以一种非常人性化的方式来看待我们的领域。我们必须以严肃的伦理原则、法律和规范为指导。我们正处在 AI 寒武纪大爆发的初期，需要非常清楚社会、伦理和全球影响。我们必须关注南北分裂，不能只从单一的文化角度来看待它。」

Sutton 认为「AI 听起来像是纯技术的东西，但我同意 Lamb 的观点，这可能是人类所有努力中最人性化的东西。我期待着我们能够加深理解，期待着一个充满不同类型的智能、增强人类、新人类、理解、多样性的新奇世界。」

Pearl 表示「 我的抱负相当有限。我想要的是一个智能、友好、能力超群的学徒。我想了解我自己，怎样思考、情感如何被唤起。关于我自己的一些科学问题（如意识和自由意志），我到现在还没有答案。如果我能造出一个具有像我一样自由意志的机器人，我会认为它是最伟大的科学成就，我预言，我们会成功的！」

Ness 表示「很多讨论是关于将人类工作自动化的。试想一下，用它来增强人类智能、提升人类体验应该很有趣。我已经看到人类用大型模型来写诗歌，但如果我们能创造一种帮助诗人创作新诗的工具不是更好吗？我喜欢流行音乐，但我们也需要听到一些新奇的尝试。第一批创建 PhotoShop 的工程师创建了那些虚拟现实人物的矩阵图像，但现在没有设计师不知道如何使用 Photoshop。我希望 AI 能像 Photoshop 为设计师所做的那样，为人类体验做贡献。」

Stanley 表示「对于我来说，有点像 Robert 说的，我们必须为自己做这件事。我们不想摆脱自己。有些事情没有别人的帮助是做不成的。当我看到伟大的艺术时，我知道它是伟大的，但我可以创造伟大的艺术。我们拥有的这些潜在能力可以通过助手更明确地发挥出来。所以，AI 可以做的就是放大我们的想法，帮助我们更好地表达自己。我想这就是我们想要做的吧。」

Choi「有两件事让我很兴奋。我们一直在谈论好奇心。现在有趣的是，好奇心如何在学习范式中阅读事物，然后让我们做出前所未有的惊人创造，这会给智能带来新的力量。我会保持乐观，我们能够走得很远。然后我会找到新的自己，公平与多样性深深地根植于我的内心。我为这将让世界更加美好而感到非常高兴。改善人们的偏见，通过创建 AI 来帮助人们了解自己的偏见，我们也许真的可以帮助人们摆脱偏见，我很期待看到明年将会发生的事情。」

Tversky「我看到很多试图模仿人类的 AI。那么人类是想让 AI 模仿自己的错误，还是想通过 AI 完善自己？我发现其他人似乎在使用 ast 工具，并担心这些工具中存在隐式偏见。创造力、音乐、诗歌，所有这些都是有帮助的。我研究人类的行为，并且一直对 AI 社区能够创造的东西感兴趣。」

Kahneman「我最开始对 Demis Hassabis 的新型 AI 感兴趣，他比几年前看起来谦虚了很多，这让我很震惊。这是一个美好的期盼，在最近几年中这种期盼似乎变得越来越遥远。我还观察到AI 学徒和人类的观念应该保持在可控的范围内。一旦 AI 或任何规则化系统具备堪比人类的判断力，那么它们最终将拥有人类的判断力，或许它们不再需要人类的想法。当 AI 掌握了一个领域，人类的想法在这个领域中就几乎没有必要了，这可能会非常复杂，而且后果非常糟糕。」

Tsao「我希望理解人类的大脑，我希望结合 AI 和神经科学，为大脑的工作原理提供最美观、最简单的解释。」

Marblestone「我希望人类的创造力能够有所增强，最优秀的科学家将有能力做更多的事情，一些孩子能够设计空间站。也许这会让我们获得普遍的基本收入，也许人类的后代将进入太空。」

Koch「作为一名科学家，我期待与 AI 一起了解大脑，了解这些奇妙的数据集。但正如李飞飞教授所强调的那样，许多 AI 都是幼稚的。人工智能的发展突飞猛进，技术是造成不平等的原因之一。社会不平等、种族主义、社会媒体纷争日益加剧。今天，我们谈论道德时，我感到非常惊讶，人们正在对是否制造杀手机器人的问题进行谈判。这会让军事问题日益激化。」

Kidd「我没有什么要补充的。这并不是问题的答案，但我认为我想从 AI 中获得的东西就是我想从人类中获得的东西。这也是我对 AI 含义和能力的不同理解。以疫苗为例，由谁获得疫苗以及决策过程，这会指向算法，但人们是落后于算法的。我们真正需要的是从 AI 转变为一种独立的东西，这可以归结为让人类对自己的发展负责。」

Mitchell「我想说的话很多和大家一样。我的目标是找到有趣且美好的事物，我们学术界非常擅长事后合理化。从根本上说，我们正在做的事情是娱乐自己，自我服务的拉动带来了这种情况，但这并不是件好事，像个书呆子。我希望 AI 能做的是纠正人类的偏见。如果 AI 能够理解性能评价中使用的语言，那么它就可以加入那些关于偏见的讨论中。我很希望 AI 能够反过来处理真正有问题的人类偏见。」

Rossi「我必须跟进 Margaret 所说的话。AI 能够解决棘手问题，帮助我们理解自己。我认为 Margaret 刚才所说的话非常重要。从我的角度看，在从事 AI 工作以前，我从未考虑过自己的价值观。AI 系统应该用于什么，不用于什么。我认为这不仅仅是我个人的反思，整个社会都有机会去做这件事。思考 AI 存在的问题，是反思我们自身价值观的一种方式。我们会意识到自己的局限性，并且更清楚自己的价值观是怎样的。」

Calo「我希望 AI 的成本和收益能够均衡分配，并且想让公众相信这是正在做的事情，我认为不修改法律就不可能实现这一点。」

，Marcus 说这场辩论比他预期的还要精彩，并用一句非洲谚语举全村之力（It takes a village）。他表示「今天这里就有 village」。