Bengio等人88页新论文：构建有意识的AI没有明显障碍

机器之心报道

编辑：张倩、杜伟

「目前，没有哪个人工智能系统是有意识的，但构建有意识的人工智能系统没有明显的障碍」

(资料图片仅供参考)

在 AI 领域，「意识」是一个充满争议的话题，很多研究者都会回避关于这个问题的讨论。

这是因为，首先，从定义上来说，科学界和哲学界对于什么是意识以及如何产生意识仍然存在广泛的争议和不同的理论，因此，在 AI 领域讨论意识很难达成共识，也容易产生混淆；其次，从实现难度来看，理解和模拟意识是一个极其复杂的科学难题，尽管 AI 在很多任务上已经取得了显著的进展，但要理解和复制人类意识的本质仍然是一个巨大的挑战；最后，部分研究者认为，过度关注意识可能导致我们忽视解决实际 AI 挑战的更重要的问题。

在去年年初的一次访谈中，图灵奖得主 Yann LeCun 甚至表示，「意识是一个非常模糊的概念，一些哲学家、神经科学家和认知科学家认为这只是一种错觉（illusion），我非常认同这种观点。」他还认为，「意识是我们大脑存在局限的结果。」

图源：《怼完 OpenAI，LeCun 回应：我认为意识只是一种错觉》

不过，也有不少研究者选择直面话题，另一位图灵奖得主 ——Yoshua Bengio 便是其中之一。早在 2017 年，Bengio 就在 arXiv 上发布过一篇题名为《意识先验》（The Consciousness Prior）的文章；在 2019 年的 NeurIPS 大会上，Bengio 又发表了题为「从 System 1 深度学习到 System 2 深度学习」的主题演讲，提出深度学习正在从直观的、无意识的静态数据集学习，向具有意识、推理和逻辑的新型架构研究转变。

「在许多科学社区，人们往往会避免谈及跟『意识』有关的概念。但是在过去的几十年中，神经科学家和认知科学家对『意识』的认识更加清晰了。」Bengio 在一次采访中说。

可见，人类对于「意识」的认识是一个「拨云见日」的过程，适当的讨论是必不可少的。因此，最近，Bengio 等人发布了一篇 88 页的系统性的论文，深入探讨了当前主流的意识科学理论以及构建有意识的人工智能系统的可能性。在论文中，他们得出结论：目前，没有哪个人工智能系统是有意识的，包括谷歌的 PaLM-E 等前沿具身智能研究，但构建有意识的人工智能系统没有明显的障碍。

论文地址：/pdf/

但这些结论也引发了一个新的问题：我们真的「想」构建有意识的 AI 吗？

这篇论文由来自哲学、神经科学和人工智能领域的 19 位作者共同完成，一作和通讯作者是来自牛津大学的 Patrick Butlin 和 Center for AI Safety 组织的 Robert Long。

以下是论文的内容简介。

人工智能与「意识」

AI 系统是否具有意识这一问题正变得越来越紧迫。随着 AI 领域以惊人的速度取得进展，领先的研究人员正受到人类大脑中与意识相关的功能的启发，努力增强 AI 的能力。与此同时，令人信服地模仿人类对话的 AI 系统的兴起可能让很多人相信与他们互动的系统是有意识的。

在这篇论文中，作者认为，要想知道 AI 中是否存在意识，最好是通过神经科学意识理论来评估。他们描述了此类著名的理论并探究了这些理论对 AI 的影响。

本文的主要贡献表现在以下几个方面：

首先，论文表明了 AI 中意识的评估在科学上是易于处理的，这是因为意识可以通过科学的方式进行研究，并且研究的发现适用于 AI； 其次，论文利用从科学理论中得出的一系列指标属性，提出了评估 AI 中意识的标准； 最后，论文提供了初步证据，证明使用当前技术可以在人工智能系统中实现许多指标属性，尽管当前 AI 系统似乎没有一个表现出了强烈的意识属性。

不过，作者也表示，他们提出的标准是临时性的，并预计随着研究的继续，包含的指标属性将发生变化。

研究 AI 意识的三个主要原则

具体来讲，作者用于 AI 意识研究的方法主要遵循以下三个原则。

首先，作者采用 计算功能主义 作为一种工作假设，即执行正确类型的计算对于意识而言是必要且充分的。该理论是心灵哲学的主流立场，不过仍存有争议。作者出于务实的考虑采用了这一假设：不同于其他观点，它意味着在 AI 中，意识在原则上是可能存在的，并且研究 AI 系统的工作原理与确定它们是否可能具有意识相关。这意味着，如果计算功能主义成立，那么考虑其对 AI 意识的影响将会是富有成效的。

其次，作者声称神经科学意识理论具有 有意义的实证支持 ，可以帮助评估 AI 中的意识。这些理论旨在确定对于人类意识必要且充分的功能，而计算功能主义意味着类似的功能对于 AI 中的意识也是充分的。

最后，作者认为， 偏理论的方法最适合研究 AI 中的意识 ，这包括研究 AI 系统是否执行类似于科学理论中与意识相关的功能，然后根据 (a) 功能的相似性、(b) 相关理论的证据强度和 (c) 一个人对计算功能主义的信任来分配信任度。这一方法的主要替代方法是使用意识行为测试，但并不可靠，毕竟 AI 系统可以被训练来模仿人类行为，同时以截然不同的方式工作。

目前，意识科学中存在多种理论，因此作者不支持任何一种理论。相反，他们从意识理论的调查中得到了一系列指标属性。这些指标属性中的每一个都被一个或多个理论认为是意识的必要条件，并且某些指标属性的子集一同存在时就被认为是充分的。然而， 作者认为拥有更多指标属性的 AI 系统更有可能具有意识 。为了判断现有的或拟议的 AI 系统是否具有意识，我们应该评估它们是否具有或将具有这些指标属性。

具体地，作者讨论的科学理论包括循环加工理论、全局工作空间理论和计算高阶理论等。作者没有考虑集成信息论，因为它与计算功能主义不兼容。他们还考虑了代理与具身成为指标属性的可能性，不过这二者必须根据它们暗示的计算特征来理解。指标属性列表如下表 1 所示。

作者还列出了这些属性所依据的理论，并在文中第 2 章节描述了支持这些属性的证据和论据，详细解释了表中的设想。

在制定了指标属性列表之后，作者在 节中讨论了如何利用每个指标属性来构建 AI 系统或已经构建的 AI 系统是怎么做的。在大多数情况下，标准机器学习方法可以用于构建拥有此列表中单个属性的系统，尽管需要实验来学习如何构建和训练结合多个属性的功能性系统。

作者表示，现有的 AI 系统（比如使用算法递归的输入模块 RPT-1）显然能够满足列表中的一些属性。其他研究者还实验了旨在实现特定意识理论的系统，包括全局工作空间理论和注意图式理论。

全局工作空间示意图。

在 节中，作者考虑了现有一些特定的 AI 系统是否拥有上表中的指标属性，包括基于 Transformer 的大型语言模型和 Perceiver 架构，并根据全局工作空间理论进行分析。作者还分析了 DeepMind 的 Adaptive Agent（一个在 3D 虚拟环境中运行的强化学习智能体）、谷歌的 PaLM-E（一个经过训练可以操纵机器人的多模态视觉语言模型）。这些 AI 系统被用作案例研究来说明有关代理与具身的指标属性。但结果并没有表明任何现有 AI 系统是有意识的「有力候选者」。

DeepMind 的 Adaptive Agent

谷歌的 PaLM-E。

当然，作者也指出，他们并没有通过这篇论文给出很多问题的最终结论，他们强烈建议大家进一步研究意识科学及其在人工智能中的应用。他们还呼吁社区尽快将构建有意识的人工智能系统的道德和社会风险纳入讨论。他们考虑的证据表明，如果计算功能主义是正确的，有意识的人工智能系统实际上可以在近期内建立起来。

更多细节内容请参阅原论文。

参考链接：/article/yeoc9zno7msacay9azab

关键词：