OpenAI的 Sora 又一次出圈，掩盖其它新的 AI 产品的锋芒，包括几乎同期发布的Google 的 Gemini 1.5 和 Meta 的 V-JEPA。很多 AI 从业者为此大抱不平，声称 “被Sora夺走风头的 Gemini 被低估了！” 特别是 Google 这次推出的 Gemini 1.5 Pro 是一种多模态大模型（涉及文本、视频、音频），性能水平与谷歌迄今为止最大的模型 1.0 Ultra 类似，并引入了长上下文理解方面的突破性实验特征。它能够稳定处理高达 100 万 Tokens（相当于1小时的视频和超过 3 万行代码），且极限为1000万 Tokens（相当于《指环王》三部曲），创下了最长上下文窗口的纪录。

近期，Gemini 背后的推手 Google DeepMind 的 CEO Demis Hassabis 高调地接受了著名的科技播客主持人 Dwarkesh Patel 的深度专访，从 AlphaGo，AlphaFold, RT-2, 聊到 Gemini，意犹未尽地爆料很多圈内特别是 DeepMind 背后的故事。他坦率地回答了一系列大家关心的问题，包括 Scaling-Law 为什么是一种艺术形式？Gemini 是怎样训练的？为什么需要在大型语言模型之上添加搜索、规划和 AlphaZero 类型的训练？既然大模型有规模优势，为什么训练 Gemini 模型的规模不再增加一个量级？为什么机器人学习训练数据贫乏是一种机会？怎样看待大模型的开源？怎样确保坏人无法窃取大模型的权重？怎样保证超级智能人工智能的对齐方式正确，并实现智能爆炸？什么原因让他兴奋地预测 AGI (通用人工智能) 离我们只有不到十年了？如需转载，请联系我们（ID：15937102830）。

这是我与谷歌 DeepMind CEODemis Hassabis的一集节目。

我们讨论了：

- 智能的本质

- LLMs 上的强化学习

- scaling和对齐

- 时间线和智能爆炸

- Gemini 训练

- 超级人工智能的治理

- 权重、开放源代码和安全性

- 多模态的进一步进展

- 走进谷歌 DeepMind

智能的本质

Dwarkesh：好的。今天，能够与DeepMind CEO Demis Hassabis进行交流，真是一种真正的荣幸。Demis欢迎来到这个播客节目。​

Demis：谢谢邀请。

Dwarkesh：首先问题是，考虑到你的神经科学背景，你是如何思考智能的？具体来说，你认为智能是一个更高级的通用推理电路，还是成千上万个独立的子技能和启发式的组合？​

Demis：嗯，这很有趣，因为智能是如此广泛，我们使用它的方式又是如此普遍。我认为这表明，大脑处理我们周围世界的一些高级共同的东西，可能有一些共同的算法主题。当然，大脑中还有专门做特定事情的部分，但我认为可能有一些潜在的原则支撑着所有这些。​

Dwarkesh：是的。然而，在这些LLM 中，当你在任何特定领域提供大量数据时，它们往往在该领域中获得了不对称的改善。我们不应该期望在所有不同领域都有一种普遍的改进吗？​

Demis：首先，我认为当你在特定领域中取得进步时，有时确实会在其他领域获得令人惊讶的改善。所以，例如，当这些大型模型在编码方面取得进步时，这实际上可以改善它们的一般推理能力。因此，有一些证据表明有一些转移。但同样，这也是人类大脑学习的方式。如果我们体验和练习了很多象棋或写作，或者其他任何东西，我们也倾向于专门化并在特定领域变得更好，尽管我们使用的是一般的学习技术和一般的学习系统来在该领域变得出色。​

Dwarkesh：是的。对于你来说，最令人惊讶的这种转移的例子是什么？比如你是否看到语言和代码，或者图像和文本之间的改进？​

Demis：是的，我认为可能是的。我希望我们将看到更多这种转移，但我认为像在编码和数学方面变得更好，然后总体上改进你的推理能力。这就是我们作为人类学习者的方式。但我认为看到这些人工系统中发生这种情况是很有趣的。​

Dwarkesh：你能否看到某种机械方式，比如在语言和代码的例子中，有一个在神经网络中同时对语言和代码都有所改善的地方？还是说这个问题太复杂了？​

Demis：是的，我认为我们的分析技术还不够成熟，无法专注于这一点。我认为这实际上是需要进行更多研究的领域之一，即对这些系统构建的表示进行机械性分析。我有时候喜欢称之为虚拟大脑分析。在某种程度上，这有点像对真实大脑进行 fMRI 或单细胞记录。对于这些人工智能的类似分析技术是什么？在这方面有很多很棒的工作正在进行。像 Chris Olah 这样的人，我真的很喜欢他的工作。还有很多计算神经科学的技术，我认为可以用来分析我们正在构建的这些当前系统。事实上，我试图鼓励很多我的计算神经科学朋友开始朝着这个方向思考，并将他们的专业知识应用于这些大型模型。​

Dwarkesh：是的。在你的神经科学背景下，其他人工智能研究人员对人类智能的理解中有些什么不明白的，而你却有一些见解？​

Demis：我认为神经科学已经做出了很大的贡献。如果你回顾一下过去大约 10-20 年，至少我们已经在此领域工作了这么长时间了，而我自己已经思考了 30 多年。我认为在人工智能新浪潮的早期阶段，神经科学提供了许多有趣的方向性线索。例如，将强化学习与深度学习结合起来。我们做过的一些开创性工作，比如经验回放，甚至是注意力的概念，这些都变得非常重要。很多最初的灵感都来自对大脑如何工作的一些了解，当然，并非具体细节，一个是工程系统，另一个是自然系统。因此，这并不是关于具体算法的一一对应映射，而更多地是一种启发性的方向，也许是一些关于架构、算法或表征性思想的想法。因为你知道，大脑是普通智能可能性的现实证明。我认为人类努力的历史就是一旦你知道某事是可能的，就更容易朝着那个方向努力，因为你知道这只是一个努力的问题，而不是一个是否的问题。这使得你能够更快地取得进步。所以我认为，至少在某种程度上，神经科学激发了我们今天的很多思考。但是在前进方面，我认为仍然有很多有趣的事情需要解决，尤其是关于规划。大脑如何构建正确的世界模型？例如，我研究了大脑如何进行想象，或者你可以将其视为心理模拟。那么，我们如何创建丰富的视觉空间模拟世界，以便我们更好地进行规划？​

RL 在LLMs 之上

Dwarkesh：是的，实际上，我很好奇你如何认为这将与 LLMs 交互。显然，DeepMind 处于前沿，多年来一直是如此，拥有诸如 AlphaZero 等系统，这些系统可以思考不同的步骤以达到一个目标。LLMs 是否有可能实现这种树搜索的方式？你是如何考虑这个问题的？​

Demis：在我看来，我认为这是一个非常有前途的方向。所以我们必须继续改进大型模型，必须继续使它们成为对世界更加准确的预测器。因此，实际上，这意味着使它们更可靠的世界模型。这显然是 AGI 系统的一个必要组成部分，但我认为可能不是足够的组成部分。然后在此基础上，我们正在研究诸如 AlphaZero 等规划机制，利用该模型制定具体的计划，以实现世界上的某些目标，并且可能将思维链或推理线连接在一起，并且可能使用搜索来探索可能性的大空间。我认为这在我们当前的大型模型中是缺失的。​

Dwarkesh：你如何跨越这种方法通常需要的巨大计算量？所以即使 AlphaGo 系统也是一种相当昂贵的系统，因为你必须在树的每个节点上运行一个 LLM。你预计这将如何变得更加高效？​

Demis：一个方面是摩尔定律往往会有所帮助。每年，当然会增加更多的计算量，但我们专注于高效的、样本高效的方法，并重新利用现有数据，比如经验回放，还有只是寻找更有效的方法。我的意思是，你的世界模型越好，你的搜索就越有效。所以，我总是拿 AlphaGo 举个例子，我们的系统可以下围棋、国际象棋和任何游戏，它在所有这些游戏中都比世界冠军级别的人类选手强大，并且使用的搜索比蛮力方法（如 Deep Blue）要少得多，比如说下国际象棋。传统的蛮力系统，比如 Deep Blue，可能会检查每个决策可能的移动数百万次。AlphaGo 大约只检查了数万个可能的位置，以便决定下一步该移动什么。但是，人类大师、世界冠军可能只会看几百个移动，甚至是顶尖的移动，以便做出他们非常好的决定。所以这表明，显然，蛮力系统除了关于游戏的启发式之外，没有任何真正的模型。AlphaGo 具有相当不错的模型，但是顶尖的人类选手对围棋或国际象棋有更丰富、更准确的模型。因此，这使他们能够在非常少的搜索中做出世界级的决定。所以我认为存在一种权衡。如果你改进模型，那么我认为你的搜索可以更有效，因此你可以在搜索中取得更大的进展。​

Dwarkesh：是的，我有两个基于此的问题。首先是关于 AlphaGo，你有一个非常具体的赢得条件，就是最终我是否赢得了这场围棋比赛？你可以在此基础上进行强化。当你只是考虑一个 LLM 提出的想法时，你认为最终会有这种能力来区分，是否这是一个值得奖励的好事情？​

Demis：当然，这就是为什么我们首创，并且 DeepMind 以使用游戏作为验证场地而闻名，部分原因是显然在这个领域进行研究是高效的。但另一个原因显然是，很容易指定一个奖励函数，赢得游戏或提高分数之类的东西通常内置在大多数游戏中。因此，这是真实世界系统的挑战之一，如何定义正确的目标函数、正确的奖励函数和正确的目标，并以一种通用但足够具体的方式指定它们，并实际上将系统引向正确的方向。对于真实世界的问题，这可能要困难得多。但实际上，如果你考虑一下，即使在科学问题中，通常也有一些你可以指定的目标。​

Demis：是的，好吧，我认为情况是不同的，因为我们的大脑并不是为了进行蒙特卡罗树搜索而构建的，对吧？这不是我们的有机大脑的工作方式。因此，我认为为了弥补这一点，像爱因斯坦这样的人就会产生，他们的大脑利用了他们的直觉，我们也许会谈到直觉是什么，但是他们利用了他们的知识和经验来构建极其准确的模型，就爱因斯坦而言，包括这些心理模拟。我认为如果你读一读爱因斯坦是如何想出这些东西的，他过去会进行可视化，并且真正地感受这些物理系统应该是什么样子，不仅仅是数学，而是对它们在现实中可能是什么样子有了一种直观的感觉。这使得他能够想到这些当时非常奇特的想法。因此，我认为我们正在构建的世界模型的复杂性，如果你想象一下，你的世界模型可以将你带到你正在搜索的树中的某个节点，然后你只需在那个叶节点周围做一点点搜索，这会带你到这些原始的地方。但是显然，如果你的模型和你对该模型的判断非常好，那么你就可以更准确地选择应该用搜索扩展的叶节点。因此，总体来说，你会进行更少的搜索。我的意思是，没有任何人能够对任何重要的空间进行蛮力搜索。​

Dwarkesh：是的。一个重要的开放性问题是，RL 是否会使这些模型利用自我对弈的合成数据来克服数据瓶颈。听起来你对此持乐观态度。​

Demis：是的，我对此非常乐观。首先，我认为还有更多的数据可以使用，特别是如果考虑到多模式、视频等等。显然，社会不断增加更多的数据。但我认为有很多可能性可以创造合成数据。我们正在以不同的方式进行研究，部分是通过模拟，例如使用非常逼真的游戏环境来生成逼真的数据，但也包括自我对弈。这是系统相互作用或相互交流的地方，在某种程度上，对我们来说效果非常好，比如 AlphaGo 和 AlphaZero，我们让系统相互对弈，并从彼此的错误中学习并积累知识。我认为有一些很好的类比。这有点复杂，但要构建一个普遍的世界。​

Dwarkesh：数据，你如何使这些模型产生的合成数据不仅仅是他们已经在数据集中拥有的东西的更多，而是一些他们以前没有见过的东西，你知道我是什么意思吗？以实际改善能力。​

Demis：是的。所以，在这方面，我认为需要整个科学，我认为我们仍处于起步阶段，即数据策划和数据分析。因此，实际上分析你的数据分布中存在的漏洞是重要的，这对于公平性、偏见和其他事项至关重要。从系统中去除这些是尝试确保你的数据集代表了你试图学习的分布的重要手段。而且有许多技巧可以使用，比如加权或重播数据的某些部分。或者你可以想象，如果你确定了数据集中的某些空白，那么就可以利用你的合成生成能力来填补这些空白。​

Dwarkesh：是的。现在人们正在关注DeepMind 多年前做过的 RL 方面的东西。有没有早期的研究方向或者是以前做过的事情，但人们只是没有关注的，你认为会成为重要的事情？​

Demis：对。​

Dwarkesh：就像有一段时间人们没有注意到扩展。现在有什么是完全被低估的吗？​

Demis：实际上，我认为过去几十年来的历史一直是事物时而流行，时而不流行。我觉得大约五年前，当我们首次使用 AlphaGo 进行开拓时，甚至在那之前，使用 DQN 进行开拓时，这是第一个在 Atari 上工作的系统，我们的第一个大型系统，现在已经超过十年了，它扩展了 Q 学习和强化学习技术来处理。将其与深度学习相结合，创建深度强化学习，然后使用它来扩展到完成一些相当复杂的任务，比如仅仅通过像素来玩 Atari 游戏。我实际上认为很多这些想法需要再次回来。正如我们之前讨论的那样，将其与新的大型模型和大型多模式模型的新进展结合起来，这显然也非常令人兴奋。因此，我认为有很多潜力将一些旧想法与新想法结合起来。​

Dwarkesh：是否有可能，AGI 最终会来自某个地方？仅仅是一个纯粹的 RL 方法。从我们讨论的方式来看，听起来 LLM 将形成正确的先验知识，然后在其上进行这种树搜索。还是完全可能，完全没有先验知识、没有数据，完全从头开始建立所有知识？​

Demis：从理论上讲，我认为没有理由不去全力以赴。谷歌 DeepMind 这里有一些人，以及 RL 社区的一些人在做这方面的工作，完全不考虑先验知识、没有数据，只是从头开始建立所有知识。我认为这是有价值的，因为当然，这些想法和算法也应该适用于当你拥有一些知识时。但话虽如此，我认为大概我的打赌是，达到 AGI 的最快方式，最有可能的合理方式是利用当前世界上关于诸如网络之类的知识，我们已经收集到的知识，以及我们有这些可扩展的算法，比如 transformers，能够摄取所有这些信息。我不明白为什么你不会从一个模型开始作为一种先验，或者作为一个用来建立和预测的起点。我只是认为不利用这一点是没有道理的。因此，我的打赌是最终的 AGI 系统将把这些大型多模态模型作为整体解决方案的一部分，但可能仅仅依靠它们本身是不够的。你需要在其上进行额外的规划搜索。​

Scaling 和对齐

Dwarkesh：好的，这听起来像是我即将问的问题的答案，我的问题是，作为一个长期从事这个领域的人，见证了不同的趋势的兴起和衰落，你是否认为强版本的扩展假设是正确的，以及它哪些方面是错误的？就是你只需要在广泛的数据分布上投入足够的计算资源，你就能得到智能。

Demis：是的。看，我认为这现在是一个经验性的问题。所以我认为对于几乎所有人来说，包括最早研究扩展假设的人，它的发展到了何种程度是相当令人惊讶的。在某种程度上，我看着今天的大型模型，我认为它们几乎是不合理地有效。我认为一些属性令人惊讶，比如，明显地，在我看来，它具有某种形式的概念和抽象等东西。我认为，如果我们是在五年前以上谈论，我会告诉你，也许我们需要一种额外的算法突破才能做到这一点。也许更像大脑的工作方式。我认为如果我们想要明确的抽象概念，像是清晰的概念，那么这仍然是正确的，但似乎这些系统可以隐含地学习到这一点。另一个非常有趣的，我认为是意料之外的事情是，即使这些系统没有多模式地体验世界，或者至少直到最近，当我们拥有多模态模型时。从语言中建立信息和模型的数量是令人惊讶的。我想我对为什么会这样有一些假设。我认为我们通过RLHF反馈系统获得了一些基础，因为显然，人类的评价者根据定义是有基础的人。我们都根植于现实。因此，我们的反馈也是基于现实的。因此，也许通过这种方式来获得一些基础。也许语言包含更多的基础，如果你能够摄取所有的话，那么比我们之前认为的，或者语言学家之前认为的，要多。因此，这实际上是一些非常有趣的哲学问题。人们甚至还没有真正触及表面。看到已经取得的进步，想象下一步会走向何方是相当有趣的。但就你关于大型模型的问题而言，我认为我们必须尽可能地推动扩展，这也是我们目前正在做的。这是一个经验性的问题，它是否会达到一个渐近点或者一个砖墙，不同的人对此有不同的争论。但实际上，我认为我们应该去测试。我认为没有人知道。但与此同时，我们也应该加倍创新和发明。这是谷歌研究、DeepMind 和谷歌大脑，我们在过去的十年里开创了许多东西的基本工作。这是我们的传家宝。你可以把我们一半的工作看作是做扩展，一半的工作是发明下一个架构、下一个算法，这些将是必需的，知道你有这个规模越来越大的模型正在到来。所以我现在的打赌，但这是一个宽松的打赌，是你两者都需要。但我认为你必须尽可能地推动两者。我们处于一个幸运的位置，我们可以这样做。​

Dwarkesh：是的。我想再问一下关于基础的问题。你可以想象两件事情可能会改变，这会使基础更加困难。一个是随着这些模型变得更加智能，它们将能够在我们无法生成足够的人类标签的领域中运作，仅仅因为我们不够聪明。对吧。所以如果它做了一百万行的拉取请求，我们如何告诉它？像这是在我们道德和我们想要的最终目标的约束之内，而这不是。另一个是，听起来你是在说更多的计算资源。到目前为止，我们一直在进行下一个标记的预测，从某种意义上说，它是一种防护，因为你必须像人类一样说话和思考。现在，如果额外的计算资源将以强化学习的形式出现，那么就像达到目标一样，我们真的无法追踪你是如何做到的。当这两者结合在一起时，你对基础消失的担忧有多大？​

Demis：好吧，看，我认为如果没有得到适当的基础，系统就无法正确地实现这些目标。对吧。我想，在某种程度上，你必须具有这种基础，或者至少有一些，才能使系统实际上在现实世界中实现目标。我实际上认为，随着这些系统和 Gemini 等系统变得更加多模态，我们开始摄取诸如视频和视听数据以及文本数据之类的事物，然后系统开始将这些事物联系起来。我认为这是一种适当的基础。我认为我们的系统将开始更好地理解现实世界的物理学。​

然后，人们可以想象，积极版本就是处于一个非常逼真的模拟或游戏环境中，你开始学习你的行为对世界的影响以及如何影响世界本身。世界保持不变，但也会影响你下一个学习片段的内容。因此，我们一直在研究和开创的这些 RL 代理，比如 AlphaZero 和 AlphaGo，它们实际上是积极的学习者。他们决定下一步要做什么，会影响到他们接下来要学习的数据或经验。因此，有这种非常有趣的反馈循环。当然，如果我们想在诸如机器人技术等方面表现出色，我们就必须理解如何在现实世界中行动。

Dwarkesh：是的。所以在某种程度上，有一种基础，即能力是否能够继续发展，或者它们是否与现实足够接触，以便能够做我们想要的事情。还有另一种意义上的基础，我们很幸运，因为它们是在人类思维上进行训练的，它们可能会像人类一样思考。当更多的计算资源用于训练时，以获取正确的结果，而不受你是否按照人类的方式进行下一个标记的保护，这种情况在多大程度上保持不变？也许更广泛的问题我会向你提出，这也是我问过 Shane 的，是什么导致了一个比人类更聪明的系统的对齐？也许会想出一些异域概念，并且你真的无法监控百万行的拉取请求，因为你真的无法理解整个过程，你也无法给出标签。​

Demis：看，这是 Shane 和我以及这里的许多其他人自 DeepMind 成立之前就一直放在心上的事情，因为我们计划得太成功了。在 2010 年，没人考虑过 AI，更不用说 AGI 了。但我们已经知道，如果我们能够取得这些系统和这些想法的进展，那么所创造的技术将是令人难以置信的变革性的。因此，我们早在 20 年前就在思考，那么，这将会有什么后果，无论是积极的还是消极的。当然，积极的方向是惊人的科学，比如 AlphaFold，在健康、科学、数学和科学发现方面都取得了令人难以置信的突破。但我们还必须确保这些系统是可理解和可控制的。​

我认为有几种，这将是一个单独的讨论，但有许多人有很多想法，从更严格的评估系统。我认为我们对于诸如系统是否能够欺骗你之类的行为还没有足够好的评估和基准。它能够窃取自己的代码，这种不良行为。然后有一些想法，实际上使用 AI，也许是狭义的 AI，不是一般性的学习系统，而是专门用于某一领域的系统，帮助我们作为人类科学家分析和总结更一般系统正在做的事情。狭义 AI 工具。我认为在创建硬化沙箱或围绕模拟的网络安全安排的模拟方面有很多前景，既可以将AI 保持在内部，又可以将黑客排除在外，这样你就可以在沙箱领域内更自由地进行实验。我认为很多这样的想法，还有很多其他的想法，包括我们之前谈到的分析方面的东西，我们可以分析和理解这个系统正在构建的概念，它的表示是什么样的，所以它们对我们来说可能并不那么陌生，我们实际上可以追踪到它正在构建的知识。

时间线和智能爆炸

Dwarkesh：是的。稍微退后一步。我想知道你的时间表是什么。Shane 说他的，我认为模态结果是 2028 年。我想这可能是他的中位数。你的时间表是什么？​

Demis：是的，我没有具体的预定数字，因为我认为有太多未知和不确定因素，而且人类的聪明才智和努力时常会带来意想不到的惊喜。这可能会实质性地改变时间表。但我可以说，当我们 2010 年创办 DeepMind 时，我们把它看作是一个 20 年的项目。实际上，我认为我们正在按计划进行，这在 20 年的项目中是令人惊讶的，因为通常它们总是在 20 年后才能实现。这是一个关于无论是量子 AI 还是其他任何东西，总有 20 年的笑话。但我认为我们正在按计划进行。因此，如果在未来十年内拥有类似 AGI 的系统，我也不会感到意外。​

Dwarkesh：你是否相信这样一个模型，一旦你拥有一个 AGI，你就有了一个基本上可以进一步加速 AI 研究的系统？也许不是在一夜之间，但在几个月和几年的时间里，你会比以前有更快的进展？​

Demis：我认为这有可能。我认为这在一定程度上取决于我们作为一个社会决定将最初的初期 AGI 系统，甚至原始 AGI 系统用于什么。所以即使当前的大型语言模型似乎在编码方面表现不错，我们也有 AlphaCode 等系统。我们还有定理证明系统。所以可以想象将这些想法结合在一起并将它们变得更好。然后我可以想象这些系统在设计和帮助我们构建未来版本时会相当不错。但我们也必须考虑到这样做的安全性问题。​

Dwarkesh：我很好奇你是怎么想的。我不是说这一年会发生这种情况，但最终你会开发一个模型，其中在开发过程中，你认为有一些机会，一旦这个模型完全开发出来，它将能够进行智能爆炸式的动态。在那个时候，该模型必须满足什么样的条件，以至于你会放心地继续系统的开发。​

Demis：好吧，看，我认为在我们今天对这些系统的了解远远不够之前，我需要更多地理解这些系统，甚至才能向你解释我们需要在那里打勾。所以我认为我们在未来几年的时间里，以及在这些系统开始出现之前，我们必须想出正确的评估和指标，也许最好是正式的证明。对于这些类型的系统来说，这将是困难的，但至少在这些系统可以做的事情周围有一些经验上的界限。这就是为什么我认为欺骗之类的事情是根源性的特征，你不希望有的，因为如果你确信你的系统暴露了它实际上是怎么想的，那么这就打开了使用系统本身向你解释自己的一些方面的可能性。我对此的想法实际上是，如果我要和 Gary Kasparov 下一盘国际象棋，他是有史以来最了不起的国际象棋选手之一，我不会能够提出一个他可以的棋步，但他可以向我解释为什么他提出了那一步，并且我事后能够理解，对吧？这是我们可以想象的我们可以利用这些系统的一种能力，让它们向我们解释甚至也许是为什么他们在想着某些事情的证明，至少在数学问题上。​

Dwarkesh：明白了。你有没有想过相反的答案会是什么？所以什么情况下才是真的？明天早上你会说，“哦，天哪，我没有预料到这个。”明天早上你看到了一些具体的观察结果，我们必须停止 Gemini2 的训练。具体会是什么……​

Demis：是的，我可以想象。这就是像沙盒模拟这样的东西的作用。我们在一个安全的、安全的环境中进行实验，然后发生了一些非常意外的事情，一个新的意外的能力或者我们明确告诉系统我们不想要的东西，但它却说谎了。这些都是我们希望用当今的系统仔细挖掘的事情，在我看来，今天这些系统并不危险，但在几年后可能会有潜力，然后你最好暂停，并真正弄清楚在继续之前它为什么会做这些事情。​

Gemini 训练

Dwarkesh：是的。回到Gemini，我很好奇在开发过程中的瓶颈是什么。如果扩展效果很好，为什么不立即使其规模增加一个数量级。​

Demis：首先，存在实际限制。你实际上可以在一个数据中心容纳多少计算资源？实际上，你在与非常有趣的分布式计算挑战相对抗。幸运的是，我们有一些世界上最优秀的人才来应对这些挑战，跨数据中心的训练，所有这些问题。非常有趣的挑战，硬件挑战，我们不断地设计和建造我们的TPU等硬件。所以这是所有的。然后，扩展定律不是通过魔法就可以发生的。你仍然需要扩大超参数，并且每一次新的规模都会有各种创新。不仅仅是在每一个新的规模上重复相同的配方。你必须调整配方，这在某种程度上是一种艺术形式。你必须几乎获得新的数据点。如果你试图将你的预测扩展到几个数量级。有时候它们不再成立了，因为新的能力有新能力的跃迁，有些事情保持不变，而有些事情不是这样。所以通常你确实需要那些中间数据点来纠正一些超参数优化和其他事情，以便扩展定律继续成立。所以有各种各样的实际限制，因此一个数量级是你希望在每个时代之间进行的最大限度。​

Dwarkesh：哦，这太有意思了。在GPT 四的技术报告中，他们说他们能够预测训练损失，比 GPT 四少计算数万倍。他们可以看到曲线。但你提出的观点是损失所暗示的实际能力可能并不如此。​

Demis：下游能力有时并不是由此而来的，你经常可以预测核心指标，比如训练损失之类的指标，但它实际上并不会转化为你关心的MMLU或其他一些实际能力。它们并不总是线性的，因此存在非线性效应。​

Dwarkesh：在 Gemini 的开发过程中，最让你惊讶的是什么？​

Demis：嗯，我不会说有一个很大的惊喜，但尝试在那样的规模上训练东西是非常有趣的，从组织上来说，了解如何照顾这样的系统，并跟踪它。我认为更好地理解你正在优化的指标与你想要的最终能力之间的关系是非常有趣的，但仍然不是完全理解的映射，但我们越来越擅长这样做。​

Dwarkesh：是的，有一种看法，即其他实验室可能比 DeepMind 在 Gemini 项目上更加高效利用计算资源。我不知道你对这种看法有何看法。​

Demis：我不认为是这样。事实上，Gemini one 使用的计算资源大致与传闻中的 GPT 四相当，或许略多一些。我不知道确切的使用量是多少，但我认为大致在同一个数量级上。我们非常高效地利用我们的计算资源，我们将计算资源用于许多方面。其中一个不仅是扩展，还有之前提到的更多创新和理念。一个新的创新、一个新的发明，只有在它也能够扩展的时候才有用。所以，在某种程度上，你也需要相当多的计算资源来进行新的发明，因为你必须在至少一定规模上测试许多事物，并确保它们在那个规模上能够运行。此外，一些新的想法可能在玩具规模下无法工作，但在更大规模下可以工作。事实上，这些更有价值。所以如果你考虑一下这个探索过程，你需要相当多的计算资源来做到这一点。好消息是，我们在谷歌很幸运，我认为今年，我们的计算资源绝对是所有研究实验室中最多的。我们希望在扩展和我们系统的能力以及新的发明方面能够非常有效地使用它。​

Dwarkesh：是的。如果你回到2010年当你刚开始 DeepMind 的时候，对于人工智能的进展看起来是什么样子的，你会感到最惊讶的是什么？那时你是否预料到，在某种大程度上，会投入数十亿美元到这些模型中，还是你对它会是什么样子有不同的看法？​

Demis：我们认为，实际上，我知道你曾经采访过我的同事 Shane，他总是认为，从计算曲线的角度来看，然后可能大致与大脑的规模进行比较，以及有多少神经元和突触，非常粗略地说，但我们现在实际上处于这种情况，大脑中突触数量和我们所拥有的计算资源的数量大致相同。但我认为更重要的是，我们始终认为我们的赌注是放在普遍性和学习上的。所以这些总是我们将使用的任何技术的核心。这就是为什么我们三角测量强化学习、搜索和深度学习这三种类型的算法，这些算法将会扩展并且会非常普遍，并且不需要大量手工制作的人类先验，我们认为这是构建人工智能的失败模式，实际上是在 MIT 等地方构建人工智能的努力中，那里有非常基于逻辑的系统，专家系统，大量的手工编码，手工制作的人类信息进入其中，结果是错误的或者太过刻板。所以我们想摆脱这一点。我认为我们早早地发现了这一趋势，显然我们将游戏作为我们的试验场，我们在那方面做得非常好。我认为所有这些都非常成功。我认为也许激发了其他人去思考一些事情，就像 AlphaGo 是激发许多其他人去思考的一个重要时刻一样。实际上，这些系统已经准备好扩展了。然后，当然，随着我们在谷歌研究和 Brain 的同事发明了变压器，那种允许我们摄取大量信息的深度学习，当然真正加速了我们今天所处的位置。所以我认为这一切都是同一血统的一部分。我们无法预测每一个转折和变化，但我认为我们所走的总体方向是正确的。​

Dwarkesh：是的。事实上，这很有趣，因为如果你阅读你们的旧论文或 Shane 的旧论文，比如 2009 年的 Shane 的论文，他说，我们测试人工智能的方法是，你能压缩维基百科吗？而这确实就是损失函数领域，或者，就像你在 2016 年的一篇论文中所说的，在变压器之前，你说你正在比较神经科学和人工智能，他说注意力是必需的。

Demis：确实。所以我们早就预见到了这些东西，事实上，我们有一些早期的注意力论文，但它们不像变压器那样优雅，最终变压器成为了更好、更普遍的架构。

超级人工智能的治理

Dwarkesh：是的。当你将所有这些向前推进并思考超人类智能时，你认为那个景观是怎样的？它仍然由一家私营公司控制吗？那么具体的治理应该是什么样子的？

Demis：是的，看，我认为这项技术非常重要。我认为它远远超出了任何一家公司，甚至整个行业的规模。我认为这必须是一个大型合作，参与者包括来自公民社会、学术界、政府等多个利益相关者。好消息是，我认为最近聊天机器人系统的普及已经唤醒了社会的其他部分，人们开始意识到这一点，以及与这些系统互动的情况会是怎样的。这很好。因此，这为非常好的对话打开了许多门。我想举一个例子，就是几个月前在英国举办的安全峰会，我认为那是一个巨大的成功。开始进行这种国际对话，我认为整个社会都需要参与其中，决定我们想要部署这些模型用于什么？我们想要如何使用它们，我们不想使用它们做什么？我认为我们必须努力在这方面达成一些国际共识，然后还要确保这些系统的好处造福于每个人，造福于整个社会。这就是为什么我如此努力推动诸如为科学而使用人工智能这样的事情，我希望通过像我们的子公司同构这样的事情，我们将开始利用人工智能治愈疾病，并加速药物发现，这些都是惊人的事情，气候变化等等。我认为我们面临的是人类和人类的挑战。实际上，是巨大的挑战，但我对我们能够解决这些挑战持乐观态度，因为我们有这个非常强大的工具即将到来，那就是人工智能，我们可以应用它，我认为可以帮助我们解决许多这些问题。你知道的，理想情况下，我们会在这个问题上达成共识，并在联合国层面进行大讨论。

Dwarkesh：如果你知道，有一个有趣的事情是，如果你和这些系统交谈，它们非常强大和聪明，但有趣的是它们还没有自动化大部分经济。而如果五年前我向你展示了Gemini，你可能会说，哇，这完全会影响很多事情。那么你如何解释这一点？为什么它还没有产生更广泛的影响？​

Demis：是的，我认为这只是表明我们还处于这个新时代的开端。我认为对于这些系统来说，有一些有趣的用例，你可以使用这些聊天机器人系统为你总结信息，也许进行一些简单的写作，也许是更多类似于模板的写作，但这只是我们每天所做的工作的一小部分。因此，我认为对于更一般的用例，我们仍然需要新的能力，比如规划和搜索，但也可能需要个性化和记忆，情节性记忆。不仅仅是长期的上下文窗口，而是实际上记住我们100次对话前谈论的内容。我认为一旦这些开始出现，我真的很期待像推荐系统这样的东西，帮助我找到更好、更丰富的材料，无论是书籍、电影、音乐等等。我会每天使用那种类型的系统。所以我认为我们只是触及到了这些人工智能助手实际上能为我们在日常生活中以及工作背景中做些什么的表面。我认为它们还不够可靠，不能用于科学研究。但我认为有一天，一旦我们解决了事实性、基础和其他问题，我认为它们可能最终会成为世界上最好的研究助手。对于你作为科学家或。

Dwarkesh：临床医生，我想问一下关于记忆的事情。顺便说一句，你在2007年发表了一篇引人入胜的论文，其中谈到了记忆和想象之间的联系，以及它们在某种意义上是非常相似的。人们经常声称这些模型只是在记忆。你如何看待人们提出的这种说法？仅仅记忆就足够了吗？因为在某种深层次上，那就是压缩？或者你在这里有什么直觉？​

Demis：是的，我是说，在极限条件下，也许可以尝试记住一切，但它不会推广到你的分布之外。我认为这些系统显然是...我认为对于这些早期系统的早期批评是它们只是在重复和记忆，但我认为显然新时代，Gemini GPT-4类型的时代，它们绝对是在推广到新的构造。但实际上，在我的论文和那篇论文中，特别是那篇开启神经科学想象力领域的论文，它表明，首先，记忆，至少是人类记忆，是一个重构过程。它不是一个录像带。我们从似乎熟悉的组件中重新组合它。这让我想到想象力可能也是同样的东西。只不过在这种情况下，你使用相同的语义组件，但现在你正在以你的大脑认为是新颖的方式将它们组合起来。为了特定目的，比如规划。我确实认为这种想法在我们当前的系统中可能仍然缺失，这种从你的世界模型中汲取不同部分来模拟新事物，然后帮助你规划的想法，这就是我所说的想象力。​

安全、开源和权重保障

Dwarkesh：是的，当然。现在，你们拥有世界上最好的模型。对于 Gemini 模型，你们是否计划推出一些类似其他两个主要 AI 实验室的框架？一旦我们看到这些具体的能力，除非我们有这些具体的保障措施，否则我们不会继续开发或不会发布产品。​

Demis：是的，我们已经有很多内部的检查和平衡，但实际上我们将开始发布，关注我们即将推出的一系列博客文章和技术论文。我们将在接下来的几个月内发布，类似于负责任的scaling定律等内容。我们在内部有这些内容的隐含安排，在各种安全委员会等方面，例如Shane 主席等。但我认为现在是我们更加公开讨论这些问题的时候了。因此，在今年的过程中我们将进行这样的讨论。​

Dwarkesh：听到这个消息很好。我还想知道的另一件事是，不仅是部署模型的风险会被人们用来做坏事，而且还有流氓行为者、外国特工等，能够窃取权重，然后微调它们以做出疯狂的事情。你如何考虑保护权重，确保这种事情不会发生，确保一群非常关键的人能够获得权重等等？​

Demis：是的，这很有趣。首先，有两个部分。一个是安全性，一个是开源，也许我们可以讨论一下。但安全性我认为非常关键，就像一般的网络安全类型的事情。我认为我们在 Google DeepMind 很幸运。我们在谷歌的防火墙和云保护之后，我认为在企业界是世界最佳的。因此，我们已经有了这种保护。然后在这之后，我们在我们的代码库中有特定的 DeepMind 保护措施。所以这是一种双重的保护。所以我对此感觉相当不错，但是在这方面你永远不能自满。但我认为在网络防御方面，我们已经是世界最好的了，但我们必须继续改进。而且，像硬化沙箱这样的东西也可能是一种做法。甚至也许还有专门的安全数据中心或硬件解决方案，我们也在考虑这个问题。我认为在未来三、四、五年内，我们可能也会需要空气隔离和其他一些安全社区已知的东西。所以我认为这很关键。我认为所有前沿实验室都应该这样做，因为否则，国家和其他事物，流氓国家和其他危险的行为者，显然会有很大的动机来窃取像权重这样的东西。然后，当然，开源是另一个有趣的问题，我们非常支持开源和开放科学。我是说，几乎每一个。我们已经发布了数千篇论文，像 AlphaFold 和变形金刚，当然还有 AlphaGo。我们把所有这些都分享到了世界上，发布和开源，最近我们的天气预测系统 Graphcast 也是如此。但是当涉及到核心技术、基础技术以及非常通用的技术时。我想要问的问题是对于开源的支持者来说，如何阻止坏人、个人或流氓国家采用同样的开源系统，将其重新定位，因为它们是通用的，可以用于有害的目的？对此我们必须回答。我不知道答案是什么，但我还没有听到一个令人信服、清晰的答案，从只是开源化一切的支持者那里。所以我认为在这方面必须要有一些平衡。但显然，这是一个复杂的问题，关于什么是平衡。​

Dwarkesh：是的，我觉得科技没有得到应有的赞扬，因为它资助了数千亿美元的研发，显然你们 DeepMind 有像 AlphaFold 这样的系统。但是当我们谈论保护权重时，正如我们所说的，也许现在这不会导致世界末日或其他什么事情，但随着这些系统变得越来越好，一个外国特工或其他什么人获取了它们的担忧，目前可能有几十到几百名研究人员可以访问这些权重。如果需要访问它们，如何进入情况室，让权重处于情况室的状态？这是一个非常艰苦的过程。没有人能真正将它们带走。

Demis：是的，我的意思是，人们必须在允许合作、推进速度的同时权衡这一点。实际上，另一个有趣的事情是，当然，你希望来自学术界或英国 AI 安全研究所等独立杰出的研究人员能够对这些系统进行红队测试。因此，人们必须在一定程度上暴露它们，尽管这不一定是权重。然后我们有很多流程来确保只有当你需要它们时，才能让那些需要访问的人访问。目前，我认为我们仍处于这类系统面临风险的早期阶段。随着这些系统变得更强大、更通用、更有能力，我认为人们必须关注访问的问题。​

Dwarkesh：一些其他实验室已经在相对于安全性的不同方面专门研究，比如 Anthropic，他们专注于可解释性。你有没有一些想法，你们可能在哪些方面具有优势，这样一来，现在你们拥有了前沿模型，你们将扩展安全性，你们将能够提供最好的前沿安全性研究？​

Demis：我认为我们帮助开创了RLHF 等等，这些也显然可以用于性能，但也用于安全性。我认为很多自我对弈的想法和这些东西也可以用于自动测试很多新系统的边界条件。问题的一部分在于，对于这些非常通用的系统，它们的行为涵盖了如此广泛的领域。所以，我认为我们将需要一些自动化的测试，而且再次，通过模拟和游戏等，非常真实的环境、虚拟环境，我认为我们在那方面有着悠久的历史，并且利用这些系统构建 AI 算法。因此，我认为我们可以利用所有这些历史。而且在谷歌内部，我们非常幸运。我们拥有一些世界上最好的网络安全专家、硬件设计师。因此，我认为我们可以为安全性和安全性带来这一点。​

多模态进一步的进展

Dwarkesh：很好。让我们谈谈Gemini。现在你们拥有了世界上最好的模型。我很好奇。迄今为止，与这些系统交互的默认方式一直是通过聊天。现在我们拥有了多模式和所有这些新的功能，你预计这将如何改变，或者你认为情况仍将是这样？​

Demis：是的，我认为我们刚刚开始真正理解完全多模式模型系统，与它进行交互可能会有多么令人兴奋。这将与我们今天与聊天机器人所熟悉的情况大不相同。我认为未来一年、18个月内的下一个版本，也许我们将在环境周围有一些上下文理解，通过摄像头或其他设备，比如手机。我可以想象这是下一个步骤。然后我认为我们会开始变得更加灵活，理解。让我们从视频中进行采样，让我们使用语音，甚至最终可能会使用触摸等。如果你考虑到机器人技术和其他方面，传感器，其他类型的传感器。所以，我认为世界即将变得非常令人兴奋。我认为在接下来的几年里，随着我们开始习惯于真正的多模式意味着什么，尤其是在机器人领域。​

Dwarkesh：当我在播客上时，伊利亚说 OpenAI 放弃机器人技术的原因是因为他们在这个领域没有足够的数据，至少在他们追求的时间内是这样。我的意思是，你们发布了不同的东西，比如机器人变压器和其他东西。你认为这仍然是机器人技术进步的瓶颈，还是我们将在原子世界和世界的进步中看到进步？

Demis：嗯，我们对 Gatto和 RT 这样的事物的进展非常兴奋，这是两个机器人变压器。所以，我们一直很喜欢机器人技术，我们在这方面有着惊人的研究，而且我们现在仍在进行研究，因为我们喜欢它是一个数据稀缺的领域，因为这推动了我们朝着非常有趣的研究方向，我们认为这些方向无论如何都会很有用，比如在模拟中的采样效率和数据效率，以及从模拟中的迁移学习，将其转移到现实中，所有这些非常 sim-to-real，所有这些非常有趣的通用挑战，我们希望解决。所以控制问题。所以我们一直在这方面努力。实际上，我认为伊利亚是对的，由于数据问题，这更具挑战性。但我认为我们开始看到这些大型模型开始在机器人领域具有可转移性的迹象，学习在通用领域，语言领域和其他领域的东西，然后将 Gatto 这样的令牌视为任何类型的令牌。令牌可以是一个动作，可以是一个单词，可以是图像的一部分，一个像素，或者其他任何东西。我认为这才是真正的多模式。起初，训练这样的系统比训练一个简单的文本语言系统更困难。但实际上，回到我们早期关于迁移学习的讨论，你会发现真正的多模式系统，其他模式会有所好处。所以你对语言的理解会更好，因为你现在对视频有了一点了解。所以，我认为启动起来更难，但实际上，最终，我们将拥有一个更通用、更有能力的系统。​

Dwarkesh：Godot发生了什么？你们当时可以让它玩游戏，也可以做视频，还可以做其他的。

Demis：是的，我们仍在研究那种类型的系统，但你可以想象我们只是在尝试。我们正在试图将那些想法融入我们未来几代的 Gemini 中，以便能够做所有这些事情。以及机器人变压器之类的东西。你可以把它们看作是对那些的跟进。

Dwarkesh：我们是否会看到向特定领域的不对称进展，即你所谈论的自我对弈类的东西将会特别强大？数学和代码，显然，最近你们发表了关于这方面的论文。你们可以利用这些东西做一些非常酷的新事物。他们只会成为超级人类的编码员，但在其他方面，它们可能仍然不如人类，或者你对此有什么看法？

Demis：在某种程度上。是的。所以，我认为我们在数学、定理证明和编码方面取得了很大的进步，但是如果我们一般来看创造力和科学努力。我认为我们已经到了这一阶段，我们的系统可以帮助最优秀的人类科学家更快地取得突破，几乎可以对搜索空间进行分类，或者像 AlphaFold 那样找到一个解决方案来解决蛋白质结构的问题。但它们还没有达到可以自己提出假设或提出正确问题的水平。任何顶级科学家都会告诉你，这是科学中最困难的部分，实际上是提出正确的问题，将空间减少到什么是关键问题？我们应该解决关键的问题，然后以正确的方式制定问题来解决它。这不是我们的系统真正了解如何做的事情，但如果可以用明确的、客观的函数来指定问题，它们就适合搜索大的组合空间。所以，对于我们今天处理的许多问题来说，这是非常有用的，但并不是最高级别的创造性问题。

Dwarkesh：DeepMind 在不同领域加速科学方面发布了各种有趣的东西。在如果你认为 AGI 将在未来 10 到 20 年内实现的情况下，为什么不等待 AGI 为你做这些事情呢？为什么要构建这些领域特定的解决方案？

Demis：嗯，我们不知道 AGI还要多久。即使在我们开始 DeepMind 的时候，我们也总是说我们不必等待 AGI 才能为世界带来令人难以置信的好处。尤其是我个人对 AI 在科学和健康领域的热情。你可以看到，比如 AlphaFold 和我们在不同领域的各种自然论文以及材料科学工作等等。我认为有很多令人兴奋的方向，而且还有产品方面的影响。我认为这非常令人兴奋，这是我们作为谷歌的一部分独特的机会，他们拥有数十亿用户的产品，我们可以立即将我们的进步推向这些产品，然后数十亿人可以改善他们的日常生活，丰富他们的日常生活和提升他们的日常生活。因此，我认为这是在所有这些方面都产生影响的一个奇妙的机会。

我认为从 AGI 的角度来看，另一个原因是它可以检验你的想法，对吧？所以你不想陷入一个研究掩体，你只是在理论上推进一些事情，但实际上，你的内部指标开始偏离人们关心的真实世界事物，对吧？或者真实世界的影响，所以你会从这些真实世界的应用中直接得到很多反馈，然后告诉你你的系统是否真的在扩展，或者我们是否需要更加数据有效或样本有效？因为大多数真实世界的挑战都需要这样做。对吧。所以这让你保持诚实，推动你保持推进研究方向的正确道路。所以我认为这是很棒的。当然，世界在这个过程中受益。社会在这个过程中受益，也许在 AGI 到来之前的许多年里都会受益。

进入谷歌 DeepMind 内部

Dwarkesh：是的，实际上，Gemini的开发非常有趣，因为它恰好是在合并这些不同组织——Brain和DeepMind——之后出现的。是的，我很好奇，那里面都有哪些挑战？有哪些协同效应？而且从成功的角度来看，你们拥有了世界上最好的模型。现在，这是怎么样的？

Demis：嗯，看，过去一年确实非常棒。当然，像任何一次大型整合一样，做到这一点是具有挑战性的，但你在谈论两个世界级组织，长期的、悠久的历史，他们发明了许多重要的东西，从深度强化学习到变压器。因此，实际上将所有这些资源集中起来并更加紧密地合作是非常令人兴奋的。我们过去总是在合作，但更多地是基于项目的基础上，而不是像我们现在这样更深入、更广泛的合作。Gemini 是这种合作的第一个成果，包括名字 Gemini，实际上意味着双胞胎。当然，还有很多其他方面变得更加高效，比如将计算资源、思想和工程汇集在一起，我认为在我们目前所处的阶段，需要进行大量世界级工程来构建前沿系统。我认为协调更加合理。

Dwarkesh：我的意思是，你和Shane 成立 DeepMind 的部分原因是因为你们对安全性感到担忧。你们认为 AGI 的出现是一个实际可能性。你认为以前是 Google 的一半，现在是 DeepMind 的一半的人，他们对此是否持有相同的态度？在这个问题上是否存在文化差异？

Demis：是的，总的来说，这也是为什么我认为我们在 2014 年与谷歌联合的原因之一，我认为整个谷歌和 Alphabet，不仅仅是 Brain 和 DeepMind，都非常认真地对待这些问题，我们的一种口号是试图在这些系统中大胆而负责任。所以我会把它归类为，显然我是一个巨大的技术乐观主义者，但鉴于我们共同带来的这种变革性力量，我希望我们对此持谨慎态度。我认为这将是人类将会发明的最重要的技术之一。所以我们必须把所有的精力投入到做对的事情上，对我们即将到来的系统及其不确定性的了解和不了解，我们必须谨慎地思考，也要谦虚，我们的系统会带来哪些不确定性。在我看来，当你面临巨大的不确定性时，唯一明智的做法是持谨慎乐观态度，使用科学方法尽可能多地预见和理解即将发生的事情以及这些事情的后果。你不希望在这个世界上用这些非常有力的系统进行实时 A/B 测试，因为意想不到的后果可能相当严重。所以我希望我们的领域能够摆脱快速推动事物并破坏一切的态度，这在过去可能为硅谷服务得很好，显然也创造了重要的创新。但我认为在这种情况下，我们希望能够在积极的方面大胆尝试，确保我们实现医学和科学等积极事物的同时，尽可能负责任和周到地减轻风险。

Dwarkesh：是的，这就是为什么负责任的扩展政策似乎是一种非常好的经验方法，可以预先承诺这些事情。

Demis：是的，确实如此。

Dwarkesh：我很好奇，例如，当你进行这些评估时，如果发现你的下一个模型可能帮助一个普通人建立一个生物武器级别的大流行病，你会如何考虑？首先，你会如何确保这些权重是安全的，以免泄露？其次，对于您来说，如果不暴露潜在的能力，那需要什么条件才能让您放心部署该系统？你会如何确保这种潜在能力不被暴露？

Demis：嗯，首先，我认为保护模型部分我们已经通过网络安全覆盖到了，确保它是世界级的，你正在监测所有这些事情。我认为如果通过红队测试或政府机构、学术界或其他独立测试人员的外部测试发现了这样的能力，那么我们将不得不修复这个漏洞，取决于是什么样的漏洞，对吧？如果需要更多不同类型的，也许是宪法或不同的限制条件，或者更多的 RLHF 来避免这种情况，或者删除一些训练数据，这取决于问题的性质，我认为可能有几种缓解方法。所以第一部分是确保你提前发现它，所以这就涉及到正确的评估、正确的基准测试和正确的测试。然后问题是在你部署之前如何修复它。

Dwarkesh：当然。

Demis：但我认为在通常情况下，在暴露表面出现之前，它需要在部署之前进行修复。

：好的，最后一个问题。您在 2010 年曾经以 AGI 的最终目标来思考，而其他人认为这是荒谬的。现在我们看到这种缓慢的起飞，我们实际上看到了这些泛化和智能，这种心理上的感受如何？这感觉就像你的世界模型已经定价了，所以对你来说不是新鲜事物吗？还是说看到它真实发生时，你会惊叹不已，感觉真的发生了些变化，或者是怎么样的？

Demis：是的，对我来说，是的，这已经是我预料到的技术发展方向，至少是从技术方面来说。但显然，我们并没有预料到一般公众会在这个序列的这么早的阶段对此产生如此大的兴趣。对于这些事情，或许可以想象，如果我们没有生产出更多的东西，如果说 Chat GPT 和聊天机器人没有得到他们最终获得的兴趣，这对每个人来说都是相当令人惊讶的，尽管它们在某些方向上还存在不足。它们虽然令人印象深刻，但我们可能会生产更多的专业系统，比如 AlphaFold 和 AlphaGo 等，以及我们的科学工作。然后我认为一般公众可能只会在几年后，当我们有更加普遍有用的助手型系统时才会关注，所以这很有趣。所以这创造了一个我们现在所有人都在其中运作的不同类型的环境。这是一个更加混乱的环境，因为有这么多的事情在发生，有这么多的风险投资进入，每个人都几乎在为此疯狂。我唯一担心的是，我希望作为一个领域，我们对此采取负责任、周到和科学的态度，并以我所说的一种乐观而谨慎的方式来对待这个问题。我一直认为这是处理像 AI 这样的事物的正确方式，我只希望这种方法在这场巨大的变革中不会被忽视。

Dwarkesh：当然，当然。好，我认为这是一个很好的结束。

本文转载自​ ​MoPaaS魔泊云​ ​，作者：Dwarkesh