OpenAI 总裁TED演讲

我们在7年前创办了openai，因为我们觉得AI正在发生一些非常有趣的事情，我们想帮助它朝着积极的方向发展。

老实说，看到整个领域自那时起取得了如此巨大的进展，真的是令人惊叹。而从像 Raymond 这样的人那里听到他们正在使用我们正在构建的技术以及其他技术来做许多美妙的事情，这确实让人感到满足。我们听到了兴奋的人的声音，也听到了担忧的人的声音，还听到了那些同时感受到这两种情绪的人的声音。老实说，这正是我们最主要的感受。现在，我们似乎正在进入一个历史性的时期，在这个时期里，我们将定义一项对我们社会非常重要的技术。

我相信，我们可以善加管理这项技术。今天，我想向您展示这项技术的当前状态以及我们所珍视的一些基本设计原则。

chatgpt目前的现状

第一件事情，我想要向你展示的是，如果你在构建一个工具时，是为了人工智能而不是人类，那它会是什么样子。所以我们有一个新的DALL·E模型来生成图像。我们将其作为一个应用程序公开，供Chat GPT代表您使用。

接下来，你可以让它为你推荐一个美味的TED演讲后的餐点，并画一张它的图片。现在，您可以从 ChatGPT 中获得所有的想法和创意，并为您照顾所有的细节。让我们来看。不仅仅是提供餐点的构思，而是一个非常详细的餐食菜单。所以，让我们看看会得到什么。但是，在这种情况下，Chat GPT不仅仅生成文本，而且还生成图像。这实际上扩展了它代表您执行意图的能力。我要指出的是，这全部是现场演示。这一切都是由AI在我们讲话的同时生成的。所以，实际上我甚至不知道我们将看到什么。看起来很棒。Mmhmm.现在看着就让人口水直流。现在，我们还扩展了与其他工具的对话功能。例如，保存到记忆中，以便稍后使用。有趣的是，这些工具非常易于检查。因此，您会看到这里弹出了一个小窗口，提示使用DALL·E app。

顺便说一句，这将在未来几个月内推出到所有Chat用户。您可以查看其内部机制，了解它实际上是如何编写提示的，就像人类一样。这使得我们有能力检查机器使用这些工具的方式，从而向它们提供反馈。

现在，我把这些信息保存起来，展示如何将其与其他应用程序整合。你可以说，“现在我要为之前建议的美食制作购物清单，并让AI处理一下，将其推文给所有TED的观众。如果你真的制作了这道美食，我肯定想知道它的味道如何。你可以看到，Chat GPT不需要我明确地告诉它在任何情况下要使用哪些工具，它会自动选择不同的工具。

我认为这展示了一种新的用户界面思考方式。我们习惯于认为我们有这些应用程序，我们在它们之间切换，复制粘贴它们之间的内容，只要你知道菜单和所有选项，通常在应用程序内部使用是一种很好的体验。是的，我希望你去。是的，请继续礼貌总是好的。通过在工具之上有这个统一的语言界面，AI能够从你身上收集所有这些细节。所以你不必是那个说出每一个应该发生的事情的人。

正如我所说，这是一个现场演示。所以有时候意想不到的事情会发生在我们身上。但是让我们看看instacart的购物清单。你可以看到我们向instacart发送了一份配料清单。这是你需要的一切。真正有趣的是，传统的UI仍然非常有价值，对吗？如果你看这个，你仍然可以点击它并修改实际数量。我认为这表明他们不会消失。传统上，我们只是有了一种新的增强方式来构建UI。

现在我们已经起草了一条推文供我们审查，这也是一件非常重要的事情。我们可以点击运行。And there we are.我们是经理。我们可以检查，如果我们愿意，我们可以改变AI的工作。所以我，在这次演讲之后，你将能够自己访问这个。我们去那里.Cool.所以谢谢大家。所以我们将回到幻灯片上。

训练chatgpt的方式

现在。重要的是我们如何构建它，不仅仅是构建这些工具。教会AI如何使用它们也非常重要。当我们提出这些高级问题时，我们究竟希望它做什么？为了做到这一点，我们使用了一个古老的思想。如果你回到Alan Turing在1950年的那篇论文中对图灵测试的描述，他说：你永远不可能编写出这个问题的答案。

相反，你可以通过学习，像一个人类孩子一样建造一台机器，并通过反馈来教它，就像人类老师通过奖惩来评价它尝试的事情，以及做的好或做的坏。这正是我们训练 Chat GPT 的方式。它是一个两步的过程。

首先，我们通过无监督学习的过程生成了图灵所谓的"child machine"。我们向它展示整个世界，整个互联网，让它预测你从未见过的文本中下一步会是什么。

这个过程赋予了它各种奇妙的技能。

例如，如果你展示给它一个数学问题，实际上唯一完成该数学问题的方法就是解决该数学问题。

但是我们还必须进行第二步，即教 AI 如何使用这些技能。为此，我们提供反馈。我们让 AI 尝试多种可能的答案，然后人类对它们进行评估，说这一个比那一个更好。这不仅强化了 AI 说出的具体事物，而且非常重要的是，增强了 AI 用于生成答案的整个过程。这使它能够推理你的意图，并将其应用于它之前从未见过、没有接收到反馈的场景中。

有时，我们需要教 AI 的东西可能出乎意料。例如，当我们第一次向可汗学院展示 GPT-4 时，他们说：“哇，这太棒了。我们将能够教学生很多东西。”只有一个问题，它不会检查学生的数学。如果有错误的数学公式，它会高高兴兴地假装 1+1=3，并继续执行。因此，我们不得不收集一些反馈数据。Sal con 本人非常慷慨地提供了他自己的 20 小时时间，与我们的团队一起为机器提供反馈。经过几个月的努力，我们能够教 AI 在特定情况下向人类提出反驳。

我们实际上通过这种方式做出了许多改进。当您在 ChatGPT 中按下那个向下的拇指，实际上就像向我们的团队发出蝙蝠信号，告诉我们这是一个需要收集反馈的弱点区域。因此，当您这样做时，我们确实会倾听我们的用户，并确保我们正在为每个人构建更有用的东西。

训练chatgpt遇到的困难和解决方法

有时候，为 AI 提供高质量的反馈是一件很困难的事情。

如果你想让孩子打扫房间，如果你只是检查地板，你并不知道你是否只是教会了他们把所有的玩具塞进壁橱。顺便说一下，这是一张很好的 Dolly 生成的图像。

对于 AI 来说，同样的推理也适用。随着我们将任务转移到更困难的领域，我们将不得不扩展我们提供高质量反馈的能力。但是对于此，AI 自身很乐意提供帮助。它很乐意帮助我们提供更好的反馈，并随着时间的推移扩展我们监督机器的能力。让我给你展示一下我的意思。

例如，你可以向 GPT 提问像这样的问题，这两个关于无监督学习和从人类反馈中学习的基础日志之间经过了多长时间？模型回答说已经过去了两个月，但这是正确的吗？这些模型并不是100％可靠的，尽管每次我们提供反馈时，它们都会变得更加可靠。但是我们实际上可以使用AI来事实检查，并让它检查自己的工作。

您可以说“事实检查这个问题”。在这种情况下，我实际上给了AI一个新的工具。这是一个浏览工具，模型可以发出搜索查询并进入网页。它实际上会写出它整个的思路链。在这个过程中，它会说，我要搜索这个。然后它实际上进行了搜索，然后在搜索结果中找到了发布日期。然后它发出另一个搜索查询，要点击博客文章。所有这些工作你都可以做，但这是一项非常繁琐的任务。人们真的不想做这件事。更有趣的是，你可以处于掌控的位置，像经理一样，如果需要，可以三重检查工作和引文的结果。所以你实际上可以非常容易地验证整个推理链中的任何部分。事实证明，两个月是错误的，正确的是两个月零一周。

AI与人类协作解决问题

我们回到幻灯片上。整个过程中，最令我感到有趣的是这是人类和人工智能之间的多步协作，因为使用这种事实检查工具的人是为了为另一个人工智能生产数据，以使其对人类更有用。我认为这真正展示了我们在未来应该期望更为常见的某种形状，即我们非常细心和谨慎地设计人类和机器如何适应问题以及如何解决问题。我们确保人类提供管理、监督、反馈，而机器以可视化和可信的方式运行。通过协作，我们甚至能够创建更加值得信赖的机器。

我认为，随着时间的推移，如果我们正确地进行这个过程，我们将能够解决不可能的问题。为了让您了解我所说的有多么不可能，我认为我们将能够重新思考我们与计算机互动的几乎每个方面。

例如，想想电子表格。自从40年前的VisiCalc问世以来，它们以某种形式存在。我认为它们在这段时间内并没有太大的变化。这里是一个特定的电子表格，列出了过去30年来归档在arXiv上的所有人工智能论文，大约有167,000篇。你可以在这里看到数据。但是让我给你展示一下chatgpt如何分析这样的数据集。我们可以让 GPT 访问另一个工具，一个 Python 解释器。这样它就能像数据科学家一样运行代码。你可以上传一个文件并问问题。它很有帮助地知道文件的名称，知道这是一个逗号分隔值文件。它会帮你解析它。这里唯一的信息是文件名、列名和实际数据。从这些数据中，它能够推断出这些列实际上是什么意思。这样的语义信息并没有在文件中，GPT 不得不结合它的世界知识来理解，比如知道 archive 是人们提交论文的网站，这些是论文的信息，这些是整数值，因此这些是论文上的作者数量。所有这些工作都是人类的工作，而 GPT 很乐意帮忙。

现在，我甚至不知道我想要问什么。所以幸运的是，你可以问问机器，能不能生成一些探索性的图表？再次强调，这是一个非常高级的指令，有很多意图在其中，但我自己都不知道自己想要的是什么。AI必须推断出我可能感兴趣的内容，因此，它提出了一些好的想法。例如：柱状图、每篇论文的作者数量、每年的论文时间序列、论文标题的词云图。我认为这些图表会非常有趣。而且AI真的可以生成它们。看一个漂亮的钟形曲线。你可以看到3是最常见的数字。随后，它将绘制年度文章数量的图表。然而在2023年有些疯狂的事情发生了，看起来我们曾经处于指数增长的状态，但是它突然下跌了。那里可能会发生什么呢？顺便说一下，这些代码都是用Python编写的。然后我们将观察词云。可以看到这些标题中出现的所有美妙的事情。

但我对这2023的事情感到相当不满。它让今年看起来很糟糕。当然，问题在于今年尚未结束。所以我打算对这台机器进行反击。那么我相信4月13日是截止日期。你能使用这个吗？展示一下你的推测结果？

我们拭目以待。这是一种雄心勃勃的想法。我觉得这台机器还能做更多。我真的希望它注意到这件事情。也许对于推断的两个数据点，它可能有一点过于自信，认为这就是我想要的结果。但我输入了我的意图，提供了这个额外的指导信息。在底层，AI只是编写代码而已。如果你想检查它在做什么，这是完全可能的。现在它做出了正确的预测，甚至更新了标题。虽然我没有要求，但它知道我想要什么。

现在我们回到幻灯片上。再次展示了一个比喻，来描述我对未来技术应用的愿景。一个人带着他病得很重的狗去看兽医，但兽医却做出了错误的决定，建议“再观察一下”，如果他听从了这个建议，狗狗就不会在今天在这里了。于是，他提供了狗狗的全面医疗记录和血液检测结果给GPT 4，但它说，我不是兽医，你需要与专业人士交流。 接下来有一些假设。他将这些信息带给第二个兽医，并用它来挽救狗狗的生命。

现在，这些系统并不完美。你不能过于依赖它们。但我认为这个故事表明，当人类与医疗专业人士以及Chat GPT作为头脑风暴的伙伴时，能够实现其他情况下无法实现的结果。我认为这是我们所有人都应该反思和考虑的问题，如何将这些系统整合到我们的世界中去。

我深深相信，正确使用人工智能将需要每个人的参与。这意味着决定我们希望它作为何种角色，这意味着制定AI的规则，明确它会做什么和不会做什么。如果有一件事可以从这次演讲中带走的话，那就是这项技术看起来是不同的，它与任何人们预期的事物都不同。因此，我们都必须变得会使用它。这也是我们发布ChatGPT的原因之一。我相信，通过我们的努力，我们可以实现OpenAI的使命，确保人工通用智能造福于全人类。谢谢。

发明chatgpt的关键

Thank you.感谢您的分享, Greg.我想，除此之外，每个人内心都有一种震撼的感觉。我怀疑，在这里观看这个视频的很多人，看到这个，想必就会感到惊讶，几乎我工作方式的每一个方面，我都需要重新考虑了。新的可能性对吧？谁认为我们必须重新思考我们做事情的方式？我想这是令人惊奇的，但同时也带来了一些惊恐。因此，让我们谈谈，Greg，We have.Absolutely.

实际上，我第一个问题是:你们是如何做到这一点的？OpenAI有几百名员工，Google有数千名员工从事人工智能工作。为什么是你们发明了这个震惊世界的技术呢？

嗯，说实话，我们都是站在巨人的肩膀上建立的。这是毫无疑问的如果你看看计算机的进步、算法的进步、数据的进步，所有这些都是整个行业的成果。但我认为，在OpenAI内部，我们从早期就做出了很多明智的选择。第一个选择是直面现实。我们非常努力地考虑，要取得进展需要什么？我们尝试了很多行不通的方法，所以，你只能看到成功的东西。我认为最重要的是，让非常不同的人们组成团队，和谐地共同工作。顺便说一句，我们可以把水带到这里来吗？我认为我们需要它。

这是一个让喉咙发干的话题，但难道你们没有看到这种语言模型的潜力吗？只要你继续投资并发展它们，某个时刻一定会出现一些新的东西，这不是很明显吗？

yes.老实说，我认为这个故事相当有说明性。在一个高层面上，我们始终知道我们想成为一个深度学习实验室。我们需要确切的步骤来实现它。但我们并不知道该如何做。在早期，我们尝试了很多方法。

其中一个人正在训练一个模型来预测亚马逊评论中的下一个字符。他得到了一个结果，这是一个语法过程。人们期望这个模型能够预测出逗号放在哪里，名词和动词在哪里。但事实上，他得到了一个最先进的情感分析分类器，这个模型可以告诉你一条评论是积极的还是消极的。现在我们可能会觉得这是很简单的事情，但这是第一次看到这种语义从这个底层的语法过程中出现。从那时起，我们知道了必须要将这个东西扩展起来，看看它会走向何方。

因此，我认为这有助于解释那些让每个人都感到困惑的谜题。因为这些东西被描述为预测机器。然而，我们从它们身上看到的东西却感觉不可能来自于一个预测机器，就像你刚才展示的那些东西一样。而“涌现”的关键思想是，当你有更多的东西时，不同的东西就会突然出现。这种情况经常发生。

像蚂蚁群落一样，单只蚂蚁在周围乱跑，但你聚集足够多的蚂蚁，你就会看到完全不同的行为出现的蚂蚁群落。

或者像一座城市，几座房子只是几个房子而已。但当你增加了房子的数量时，像郊区、文化中心和交通堵塞这样的东西便出现了。

chatgpt的泛化能力

现在，请你告诉我，你看到过哪一个瞬间出现的东西让你非常惊讶，你之前完全没有想到？

你可以在 ChatGPT 中尝试这个。如果你加上 40 位数字和 40 位数字，该模型将会计算。这意味着它已经学会了如何执行这个内部电路。而真正有趣的事情是，如果你让它相加一个 40 位数字和一个 35 位数字，它经常会出错。因此，你可以看到它正在学习这个过程，但它还没有完全泛化。就像你不能记住 40 位加法表一样，那比宇宙中的附加项还多。所以它必须学习一些通用的东西，但它还没有完全学会，也就是它还没有完全领悟到。

哦，我可以将这个泛化到任意长度的任意数量的数字相加。在这里发生的事情是，你让它扩展并查看了大量文本。它正在学习一些你原本不知道它能够学习的东西。Well.这也更加微妙，因为我们开始真正擅长预测一些新兴的能力。而为了做到这一点，我认为这个领域中一个非常被低估的事情是工程质量。

就像我们不得不重建整个技术栈，就像当你考虑建造一架火箭时，每个公差都必须非常微小。

在机器学习中也是如此。你必须使技术栈的每一个部分都得到正确的工程设计，然后才能开始进行这些预测。这里有所有这些令人难以置信的平滑缩放曲线。它们向你展示了智能的根本本质。如果你看我们GPT的博客文章，你可以在里面看到所有这些曲线。现在我们开始能够预测，例如，在处理编码问题时，我们实际上使用的是比原模型小10000倍或1000倍的一些模型。因此，虽然现在还处于早期阶段，但这其中确实存在一些平滑缩放的特点。

公众的反馈与监督可以帮助AI更好的发展

因此，这里就出现了一个大问题。如果随着你的扩展，会出现一些你可能能够以某种信心水平预测的事情，但它也有可能让你感到惊讶。 为什么不会有巨大的风险出现一些真正可怕的东西？

Well,我认为所有这些都是程度、规模和时间的问题。我认为人们忽略的另一件事是与世界的整合。此外，这种极其新兴的非常强大的事物也是如此。因此，这就是我们认为逐步部署非常重要的原因之一。

因此，我认为，如果您看一下这个演讲，我所关注的很多方面都是提供高质量的反馈。在今天，我们做的任务，你可以进行检查，对吧？很容易看到那道数学问题的答案并说：“不，机器，正确答案是 7。但即使是总结一本书，那也是一件难以监督的事情。你怎么知道这个书摘要是否好呢？你必须读整本书。没有人想这么做。因此，我认为重要的是我们一步一步地进行，并且我们要说，随着我们进入书籍摘要领域，我们必须适当监督这项任务。我们必须与这些机器建立起一条记录，以确保它们能够真正地执行我们的意图。我认为我们将不得不生产出更好、更高效、更可靠的方式，来扩展这种让机器与人类相协调的技术。

因此，在本次会议的后面，我们将会听到一些批评者的声音，他们认为这种技术内部并没有真正的理解。我们永远无法确定它是否产生错误，是否拥有常识等等。您是否相信，在某个特定的时刻，这是正确的，但是随着规模的扩大和您提到的人类反馈，它会逐步走向真理、智慧等方面，并且具有高度的信心？

嗯，我认为，简短的答案是，是的，我相信这是我们所要走的道路。而且，open ai采用的方法一直都是：直面现实。这个领域就像是充满了不遵守承诺的领域，所有这些专家都在说x会发生。它是如何运作的？人们已经说神经网络不会工作70年了。他们迄今为止都还是错误的。他们可能是对的。或许需要70年加一年的时间。但我认为我们的方法始终是要将这项技术推到极限，以真正看到它的效果，因为这可以告诉我们如何转向新的范式，并且我们还没有挖掘出这项技术的全部潜力。

您采取了一个颇具争议的立场，认为正确的方式是公开发布这些模型并利用其巨大的影响力。相较于只有团队反馈，现在全世界都能提供反馈。如果出现了不良结果，它将被广为人知。当OpenAI成立为非营利组织时，我曾听闻过这样一个故事：您是对那些在AI领域进行未知、可能邪恶的行为的大型公司进行审查的关键力量。您将建立模型，以某种方式追究它们的责任，如果需要，甚至能够减缓该领域的发展速度，至少在一定程度上是这样的。然而，可以说发生的情况恰恰相反。特别是GPT的发布，给科技界带来了巨大的冲击，现在谷歌、Facebook等公司都在争相追赶。他们的一些批评是，您强迫我们在没有适当防护措施的情况下公开这些技术，否则我们就会被淘汰。您如何证明您的做法是负责任的，而不是鲁莽的？

我们一直在认真思考这些问题，一直都在思考。我认为我们不可能总是做得正确。那就是考虑如何构建人工通用智能，让其真正造福于全人类。怎么做才是正确的呢？如果你采用默认计划，即在秘密中构建这个超级强大的东西，然后再去考虑安全性，然后推出去并希望一切都是正确的，我不知道该怎么执行这个计划。也许其他人可以，但对我来说，这总是令人恐惧的，感觉不对劲。因此，我认为这种替代方法是我所看到的唯一的其他路径，即直面现实。我认为你需要给人们时间提供意见。在这些机器变得完美之前，在它们变得超级强大之前，你确实有能力看到它们的行动。

我们已经从GPT-3中看到了这一点。我们真的很担心人们会用它做的第一件事就是生成选举虚假信息。但实际上，它最主要的应用却是生成垃圾邮件。所以，垃圾邮件虽然不好，但有些事情比它更糟糕。

我有一个思想实验给你，假设你坐在一个房间里，桌子上有一个盒子。你相信那个盒子里面有可能是一些非常光辉灿烂的东西。可以用来送给你的家人和每个人。但实际上，小字里还写着“潘多拉”。有可能这个东西实际上会释放出无法想象的邪恶来侵害世界。你会打开这个盒子吗？

毫无疑问，我认为你并不应该这样做。我认为你说的那种做法并不可取。我将为你讲一个以前从未讲过的故事，即在我们刚刚创立OpenAI不久之后，我记得我在波多黎各参加人工智能会议。我坐在旅馆房间里，看着这美妙的水景，所有人都在享受着快乐的时光。稍微思考一下如果你可以选择潘多拉的盒子离我们现在是5年之后还是500年之后被打开，你会选择哪一个呢？一方面，你可能会认为对于你个人来说，5年后是更好的选择如果它到了500年后，人们有更多的时间来完善它，你会选择哪个？我在那一刻真切地感受到了。当然，你应该真正地选择500年。就像有很多人，比如我哥哥当时在军队里，你会想到他们会冒着比我们在电脑上打字开发技术时更真实的生命危险。因此，我真正相信你必须正确地对待这个问题，但我认为这并不是事实。

如果你看一下计算机技术的整个历史，我真的认为这是一个行业范围甚至是人类技术发展的整体转变。如果你不把这些因素综合起来，我们仍在制造更快的计算机，我们仍在改进算法，所有这些事情都在发生。如果不将它们组合在一起，就会出现过载，这意味着如果有人设法连接到电路，那么你就会突然拥有这个非常强大的东西。没有人有时间去调整。谁知道你能得到什么样的安全预防措施呢？因此，我认为我得到的一个结论是，即使你考虑到其他技术的发展，比如核武器，人们谈论的是人类能力的0：1变化。但实际上，我认为如果你看看人类能力的提高，这一过程是相当平稳的。我认为，我们开发的每种技术的历史都是逐步进行的，你必须为每一步增加管理。

我听到的是，你的模型几乎是这样的，我们已经诞生了这个非凡的孩子，可能拥有超能力，将人类带到一个全新的境界。。我们有集体的责任为这个孩子提供护栏，共同教导它变得聪明而不是走向毁灭。这基本上是你的模型，对吗？

我认为这是正确的。可以说这可能会改变，对吗？我们必须在遇到每一步时采取行动。今天，我们都必须熟悉这项技术，找出如何提供反馈，决定我们想从中得到什么。我希望这将继续是最好的道路。但是我们能够进行这样的辩论其实是非常好的，因为如果它不被公开，我们就不会有这样的机会进行讨论。

Greg brockmann, 非常感谢您来到TED并震撼了我们的思维。Thank you.Appreciate it.