摘要：英伟达创始人黄仁勋，近期接受Youtube频道No Priors专访，介绍计算性能指数级增长、数据中心规模计算、训练与推理基础设施等重要性，预测AI对科学、工程、各行各业变革性影响，包括AI在芯片设计中应用、AI具身化、AI员工等，描绘由AI驱动的未来世界，强

英伟达创始人黄仁勋，近期接受Youtube频道No Priors专访，介绍计算性能指数级增长、数据中心规模计算、训练与推理基础设施等重要性，预测AI对科学、工程、各行各业变革性影响，包括AI在芯片设计中应用、AI具身化、AI员工等，描绘由AI驱动的未来世界，强调英伟达角色定位，从简单的电脑制造商，转变为构建AI工厂的企业。

OpenAI CEO Sam Altman，与YC总裁Garry Tan，近期开展一场创业对谈，Sam强调AGI并非遥不可及，AGI到来可能比很多人预想要快，描述从聊天机器人，到智能体、推理器，再到创新者的AGI发展路径。Sam鼓励初创公司利用AI赋予创新力，实现小团队、高效率运作模式，设想未来将出现员工少于100人、甚至仅由1个人与强大算力组成的公司。

本期长期主义，选择黄仁勋接受Youtube频道No Priors专访、Sam Altman与YC总裁Garry Tan对谈，瓜哥AI新知发布，六合商业研选精校，分享给大家，Enjoy！

正文：

全文23,110字

预计阅读47分钟

黄仁勋专访：像交付iPhone一样交付开箱即用的AI数据中心、租用AI芯片设计师为自己工作

时间：2024年11月8日

字数：10,112

2024年11月7日，Youtube频道No Priors发布黄仁勋专访内容。

内容导读：

计算指数级增长：NVIDIA目标是在未来10年内，每年将计算性能，以数据中心规模衡量翻倍或三倍，将成本与能耗降低一半或1/3，这将导致超摩尔定律的增长曲线。实现这一目标的关键，在于协同设计co-design与数据中心规模的计算。

协同设计与全栈方法：为实现指数级增长，NVIDIA采用协同设计方法，优化算法与架构，包括在不同精度级别FP64~FP4之间进行切换，将网络作为计算结构的一部分。

数据中心规模的计算：NVIDIA将网络视为计算结构，通过技术如NVLink，将数百个GPU整合为一个虚拟GPU，实现极低延迟与高吞吐量，平衡这两个通常相互冲突的需求。他们将数据中心视为计算的基本单元，构建全面、垂直整合的数据中心解决方案。

训练与推理基础设施的可互换性：为训练构建的基础设施，同样适用推理。大型模型用于训练与知识蒸馏，产生更小、更高效模型，用于特定任务。

CUDA生态系统与软件生产力：CUDA提供稳定的基础，允许在软件层面快速迭代。NVIDIA致力维护软件，确保在不同硬件与平台兼容性，最大限度提高软件开发者生产力。

快速部署大型AI集群的能力：NVIDIA展示为xAI快速部署拥有10万GPU超级集群的能力，受益于在供应链、软件集成、数字孪生方面的预先规划与准备工作。

未来超级集群的挑战：构建更大规模的超级集群，例如，20万、50万，甚至100万GPU，将面临能源、供应链、资本等多重挑战，NVIDIA认为这些挑战并非不可克服。

AI对科学与工程的影响：AI与机器学习，正在彻底改变各科学与工程领域，从芯片设计到材料科学、生物技术等，NVIDIA认为AI正成为这些领域发现与创新的基础。

AI芯片设计：AI已经成为芯片设计关键工具，能探索比人工设计更大的设计空间，找到更好的局部最优解。

NVIDIA的未来：从电脑到工厂，NVIDIA已经从简单的电脑制造商，转型为构建AI工厂的企业，生产用于各种应用的智能，无论是机器人、软件，还是其他形式智能。这种转型，将对各行业产生深远影响。

AI具身化：NVIDIA认为，AI与机器人技术即将融合，创造出例如自动驾驶汽车与具身机器人等应用，最终实现更广泛AI具身化。

AI员工出现：未来，AI将成为各种角色的员工，协助人类工作，从营销到供应链管理等各领域。这些观点共同描绘NVIDIA对未来AI与计算的愿景，强调指数级增长、协同设计、数据中心规模计算，AI对各行业与科学领域变革性影响的重要性。

完整纪要：

主持人Sarah：我们上次与英伟达创始人、CEO黄仁勋对话1年后，我们再次与他相聚。

英伟达市值超过3万亿美元，它是引领AI革命关键力量。我们很高兴来到英伟达总部，讨论前沿模型、数据中心规模计算、英伟达在未来10年所做的押注。

英伟达已经发展30年，展望未来10年，你认为哪些重大押注仍然需要进行？未来是否一切都将围绕规模化展开？在如何从现有架构中挤出更多计算内存方面，我们是否遇到瓶颈？你目前关注的是什么？

黄仁勋：我们如果回顾所做的事情，会发现，我们从编写代码到机器学习，从编写软件工具到创建AI，所有这些，之前都运行在为人类编码设计的CPU上，现在运行在为AI编码，是机器学习设计的GPU上，世界已经发生变化。

我们进行计算的方式，整个技术栈都发生变化。我们可以解决问题的规模，也发生很大变化。如果可以在GPU并行化你的软件，你就为在整个集群上，或者在多个集群或多个数据中心上进行并行化奠定基础。

我认为我们已经准备好，以从未想象过的水平，来扩展计算能力、开发软件，我们正处于这一阶段开始。

接下来10年里，我们希望能每年将规模化的性能提高一倍或三倍，而不是仅提高芯片性能；能将成本降低两倍或三倍，将能耗降低两倍或三倍，每年如此。

当你每年都这样做，每年都翻倍或三倍时，几年后就会累积起来，它的增长速度非常快。如果人们对摩尔定律看法是每隔几年翻一番，我毫不怀疑，我们将遵循某种超摩尔定律曲线，我们将继续这样做。

主持人Elad：你认为是什么驱动因素，使得这一速度甚至超过摩尔定律？我知道摩尔定律某种程度上是自我实现的预言，这是他说的，人们努力实现它。

黄仁勋：两个基本支柱，一个是Dennard缩放，另一个是Carver-Mead的VLSI缩放。这两种技术都是严谨的技术，这些技术已经走到尽头，现在我们需要新的缩放方式。新的缩放方式，与协同设计有关。除非你可以修改或改变算法以反映系统架构，改变系统以反映新软件架构，反复进行。

除非你可以控制两方面，否则你没有希望。如果你可以控制两方面，可以做一些事情，比如从FP64到FP32、到BF16、到FP8、到FP4，甚至到谁知道是什么，我认为协同设计是其中非常重要的一部分。

第二部分，我们称之为全栈。第二部分是数据中心规模，除非你可以将网络视为计算结构，将大量工作推入网络，将大量工作推入结构中。

你正在进行压缩，在非常大的规模进行压缩。这就是为什么我们收购Mellanox，开始如此积极融合InfiniBand与NVLink的原因，现在看NVLink将走向何方。

计算结构将扩展出看起来像一个不可思议处理器的东西，叫GPU。现在我们得到数百个GPU，将一起工作。现在我们面临许多计算挑战中，最令人兴奋的是推理时间缩放，它与以极低的延迟生成Token有关。

黄仁勋：正如你刚才提到的，你是在进行自我反思。我意思是，你将进行树搜索，进行链式思维，可能还会在脑海中进行一定程度模拟。

你还会反思自己答案，会默默提示自己并生成文本，希望在一秒内做出回应。

唯一能做到这一点的方法，是你的延迟极低。

与此同时，数据中心仍在产出高吞吐量的Token，你仍然想要降低成本，想要保持高吞吐量，想要获得回报。

工厂的这两个基本要素，低延迟与高吞吐量，相互矛盾。

为创造出在这两方面都非常出色的东西，我们必须发明一些新的东西，NVLink正是我们实现这一目标的方式。

现在你拥有虚拟GPU，它具有难以置信的浮点运算能力，你需要它来处理上下文。你需要大量内存，工作内存，拥有难以置信的Token生成带宽。

主持人Elad：我想，与此同时，所有构建模型的人，也在对这些东西进行非常显著的优化。David与我的团队提取的数据显示，过去大约18个月里，用于GPT-4等效模型的百万Token成本，下降240倍。在这方面，也进行了大量优化与压缩。

黄仁勋：仅在我们这一层，在我们工作的这一层。我们非常关注的一件事，是我们堆栈的生态系统与软件的生产力。

人们会忘记这一点，你有了CUDA基础，这是坚实的基础，其上的一切都可以改变。

如果基础在你脚下发生变化，在上面建造建筑物很困难，也很难在其上创造任何有趣的东西。

CUDA使我们能如此快速迭代，就在2023年，我认为我们回顾，基准测试Llama首次发布时的性能，我们将Hopper性能提高5倍，而无需更改顶层的算法。

1年5倍提升，使用传统计算方法不可能，借助加速计算与这种代码设计方式，我们能发明各种新事物。

主持人Sarah：你们最大的客户，在多大程度上考虑在其大型训练与推理之间基础设施的可互换性？

黄仁勋：如今的基础设施是分散的。Sam刚告诉我，他最近退役Volta。

他们有Pascal、Ampere，各种不同配置的Blackwall。

有些针对风冷优化，有些针对液冷优化。你的服务，必须利用所有这些。

英伟达的优势在于，你今天为训练构建的基础设施，明天将非常适合推理。

我相信大部分ChatGPT，都在最近训练的同类型系统上进行推理。

如果可以在其上训练，也可以在其上进行推理，你留下了一条你已知将非常擅长推理的基础设施轨迹。

你可以完全确信，你可以将你已有的投资回报，投入到新基础设施中，进行扩展，你知道你将留下一些有用的东西。

你知道英伟达与生态系统的其余部分，将致力改进算法，以便你的其余基础设施在短短1年内，就能提高5倍，这种发展态势不会改变。

人们对基础设施的思考方式，我今天是为训练而构建它，它也必须适合训练，我们知道它将非常适合推理，推理将是多尺度的。

首先，为蒸馏更小模型，拥有更大模型来蒸馏，是很有好处的。

你仍然会创建令人难以置信的前沿模型，它们会被用于开创性工作。你将使用这些模型，大型模型来训练小型模型，蒸馏成小型模型，你可以做很多不同的事情。

最终，你将拥有从大型模型到小型模型的所有模型。小型模型将非常有效，泛化能力不如大型模型，但仍然非常有效。它们将在一个特定小领域内，非常出色执行一项任务。

我们将从一个小小的模型中，看到在一个小小的领域内，完成超人水平的任务。

也许它不是一个小语言模型，而是一个微型语言模型，TLM或其他什么。我认为我们将看到各种规模的模型，我们希望如此，这就像今天的软件一样。

我认为在许多方面，AI使我们能在创建新应用程序的便捷性方面，取得新突破。计算的方方面面，在很大程度上保持不变。

例如，维护软件的成本极其昂贵。一旦你构建了它，你希望它能在尽可能广泛的安装基础上运行，你希望不要重复编写相同软件。

很多人仍然有同样想法，你希望让你工程师继续前进。如果架构允许你一方面创建今天运行的软件，明天随着新硬件出现运行得更好，那就太好了。

或者你明天创建的软件，你明天创建的AI，可以在广泛的安装基础上运行，你认为这很棒。这种对软件的思考方式，不会改变。

主持人Sarah：英伟达已经转向更大规模的，比如说，客户支持单元。我认为它从单个芯片发展到服务器，再到机架与VL72。你如何看待这种发展？下一步是什么？英伟达应该建设完整的数据中心？

黄仁勋：我们构建完整的数据中心。我们构建一切的方式，除非你正在构建，如果你是开发软件，你需要计算机的完整体现。

我们不会只制作PPT，并交付芯片，我们会建造一个完整的数据中心。

在我们构建完整的数据中心之前，你怎么知道软件是否有效？你架构是否有效？你期望的效率，你怎么知道它在规模上是否真正有效？这就是为什么看到某人的实际性能，可能远低于PPT中所示的峰值性能。

计算不再是过去的样子，我认为新的计算单元是数据中心，这对我们来说如此。这就是你必须交付的，也是我们所构建的。

现在，我们构建完整的东西。对每一件事、每一种组合，风冷、x86、液冷、Grace、以太网、InfiniBand、NVLink、无NVLink，我们构建每一种配置。

英伟达今天拥有5台超级计算机。2025年，我们将轻松再建造5台。如果你认真对待软件，你就需要自己构建计算机。如果你认真对待软件，你将构建整台计算机，我们大规模构建它，这部分非常有趣。我们大规模构建它，垂直整合。我们对其进行全栈优化，我们将所有东西解耦，将其分拆出售。这部分是我们所做工作的真正非凡之处，复杂性简直令人难以置信。

这样做的原因是，我们希望能将我们基础设施，移植到GCP、AWS、Azure、OCI。它们所有的控制平面、安全平面都不同，它们对集群大小的考虑方式完全不同。

我们仍然使它们能适应NVIDIA架构，以便CUDA能无处不在。

最终，这才是唯一的思想，我们希望拥有一个开发人员可以使用，大致一致的计算平台，这里或那里可能有10%的差异，人们基础设施略有不同，这里或那里可能有10%差异。他们构建的所有内容，都可以在任何地方运行。

这是一种软件原则，永远不应放弃，我们非常珍惜它。它使我们软件工程师能一次构建，随处运行。

这是我们认识到，软件投资是最昂贵的投资，它易于测试。

看整个硬件行业规模，再看世界各行各业规模。它在这个万亿美元的行业之上，还有100万亿美元，这说明了一些问题。

你构建的软件，必须维护到你生命结束的那一天，我们从未放弃任何软件。CUDA被使用的原因，是我告诉每个人，我们将维护它，直到我们生命结束。我们是认真的，我们仍在维护。

我前几天，才看到一篇评论。NVIDIA Shield，我们的Android电视，它是世界上最好的 Android电视。我们7年前发布了它，它仍然是人们，任何喜欢看电视人排名第一的Android电视。我们在上周更新软件，人们为此写了一篇新报道。

GeForce，我们在全球拥有3亿游戏玩家，我们从未放弃过其中任何一个。我们架构能在所有这些不同领域间兼容，这使得我们可以做到这一点。否则，如果没有这种架构兼容性，我们软件团队规模将是今天公司规模的100倍。我们对此非常重视，这转化为对开发人员的益处。

主持人Elad：最近的一个令人印象深刻的佐证，是你们如何快速为xAI建立集群。如果你想谈这个，这在规模与速度方面都令人瞩目。

黄仁勋：很多功劳都要归功于马斯克。

我认为，首先，决定做某事，选择场地，为其配备冷却系统与电力，决定建造拥有10万GPU的超级集群，这是单体规模最大的同类集群。

倒推回去，我们开始一起规划他启动所有设备的日期。

他启动所有设备的日期，是在几个月前就确定的。

所有组件、所有原始设备制造商、所有系统、我们与他们团队进行所有软件集成、所有网络模拟，我们模拟所有网络配置。

我意思是，就像我们预先准备所有东西作为数字孪生体一样，我们预先准备所有供应链，我们预先准备所有网络布线，我们甚至建立一个小型版本，就像，只是一个初始实例。

地面实况、参考零、系统零，在其他所有东西出现之前。当所有东西出现时，一切都已准备就绪。所有练习都已完成，所有模拟都已完成。

大规模集成，那样大规模集成也是一项壮举，庞大的团队日夜不停互相配合，连接好一切。

几周之内，集群就启动了，这真正证明他的意志力，他如何能思考机械方面的事情、电气方面的事情，克服显然是非凡的障碍。

在那里所做的事，是第一次以这种速度完成如此大规模的计算机。

除非我们两个团队都在合作，从网络团队到计算团队，到软件团队，到训练团队，基础设施团队，从电气工程师到软件工程师，所有团队都在一起工作，这真是令人惊叹的壮举。

主持人Sarah：工程角度看，哪个挑战最有可能成为阻碍？

黄仁勋：只是必须整合在一起的大量电子设备。我意思是，也许值得测量一下，这是吨位计的设备，这很不寻常。

通常这样的超级计算机系统，你会计划几年。从第一个系统交付的那一刻起，到你可能提交所有内容进行一些严肃工作的那一刻，如果是1年时间，不要感到惊讶。

这种情况经常发生，并不异常。现在，我们负担不起那样做，几年前，我们公司启动一项名为数据中心，即产品的计划。

我们不把它作为产品出售，我们必须像对待产品一样对待它。关于它的所有规划，启动它、优化它、调整它、保持它的运行。目标是它应该就像打开你漂亮的新iPhone一样，你打开它，一切都会自动运行。让它像那样需要技术奇迹，我们现在具备这样的能力。如果你对数据中心感兴趣，只需给我一个空间、一些电力、一些冷却系统，我们将在30天内帮助你安装好，这非常了不起。

主持人Sarah：太疯狂了。

如果你想想，展望未来，拥有20万、50万、100万超级集群，或者那时你称之为其他的东西。

你认为最大障碍是什么？资金？能源？某一方面的供应？

黄仁勋：你刚才提到的规模，没有任何一样是正常的，但没有什么是不可能的。没有，没有任何物理定律的限制，但一切都会非常困难。

值不值得？简直难以置信。

要得到我们能认作是计算机的东西，如此轻松、如此能完成我们要求它做的事情，或者某种AGI。

我们可以争论，它真的是AGI吗？仅接近它，就是奇迹。我们知道这一点，我认为有五六种努力，可以尝试实现这一目标。

我认为，OpenAI、Anthropic、xAI、还有谷歌、Meta、微软。这个前沿领域，攀登这座山接下来的几步至关重要。

谁不想成为这座山上的第一人？

我认为，彻底重塑智能的奖赏，重要性实在太大，不容错过。我认为没有任何物理定律的限制，一切都会非常困难。

主持人Sarah：1年前，我们一起谈话时，我们问你对英伟达接下来在AI与其他领域最期待的应用是什么。

你谈到你是如何让你最苛刻的客户引导你前进，以及一些科学应用。

我认为在过去1年里，这已经成为你的主流观点。你仍然最兴奋的是科学、AI在科学中的应用？

黄仁勋：我喜欢我们拥有数字化的AI芯片设计师，我喜欢我们有AI软件工程师。

主持人Sarah：如今AI芯片设计师的效率如何？

黄仁勋：非常高。如果没有AI，我们无法构建Hopper。

它们可以探索比我们更大空间，它们拥有无限时间，它们运行在超级计算机上。

我们使用人类工程师的时间非常少，因此我们没有探索我们应该探索的那么多的空间，我们也无法组合探索它。我无法在我的探索中包含你的探索，以及你的探索。

我们芯片非常大，不像设计成一个芯片，它几乎像一千个芯片一样设计，我们必须对每一个芯片进行独立优化。你真的想把很多芯片一起优化，进行跨模块协同设计，在一个更大空间内进行优化。我们将能找到隐藏在局部最小值后面的局部最大值，我们可以找到更好的答案。没有AI工程师，你做不到，根本做不到，我们没有足够的时间。

主持人Elad：自从我们上次集体谈话以来，还有一件事发生变化，我查了一下，当时英伟达市值约5,000亿美元，现在已超过3万亿美元。过去18个月里，你们市值增加2.5万亿美元以上，每月有效增加1,000亿美元以上，或者说是2,500个Snowflake项目，或者是Stripe公司加一点，或者你怎么想都可以，一两个国家。

在你构建内容的重点等方面，许多事情保持一致。今天早些时候在这里走动时，我感受到我15年前在谷歌工作时的氛围，你能感受到公司充满活力与兴奋的氛围。

在此期间，如果有什么变化，是什么变化？在英伟达的运作方式、你对世界的看法或你能承担的赌注规模方面，有什么不同？

黄仁勋：我们公司不可能像股价那样快速变化，让我们明确这一点。

很多方面，我们没有改变太多。我认为要做的，是退一步问自己，我们在做什么？

我认为，对公司与国家来说，这真的是重要的观察、认识、觉醒，那就是实际发生的事情。我认为我们前面谈到的，从我们行业角度看，我们重塑了计算。

现在，它已经60年没有被重塑，这就是它有多大的事。我们已经将计算边际成本降低，在过去10年里，可能降低百万倍，以至我们只是说，我们让计算机彻底编写软件，这就是一个重要认识。

很多方面，我们对芯片设计，也表达同样看法。我们希望计算机能发现我们自己无法发现的关于芯片的东西，探索我们芯片，并以我们自己无法做到方式对其进行优化，就像我们希望数字生物学或任何其他科学领域一样。

我认为人们开始意识到，当我们重塑计算时，这到底意味着什么？我们突然创造了叫智能的东西。

计算发生了什么？我们从数据中心开始。传统数据中心是多租户的，存储我们文件。我们正在创建的这些新数据中心，不是传统数据中心，它们不是多租户，它们不存储我们任何文件。它们只是在生产一些东西，它们在生产Token。

这些Token，被重建成看起来像是智能的东西，各种各样的智能。它可能是机器人运动的表达，可能是氨基酸序列，可能是化学链，可能是各种有趣的东西。

我们创造新的工具，新的机器，在很多方面，是生成式AI。与其说是生成式AI，不如说是AI工厂，这是生成AI的工厂，我们正在以极大的规模做到这一点。

人们开始意识到，也许这是新的产业，它生成Token，生成数字。

你退一步再问自己，英伟达情况如何？

一方面，我们重塑我们所知的计算，需要对价值数万亿美元的基础设施进行现代化改造，这只是其中一层。

最重要的一层是，我们正在构建的这种工具，不仅用于我们正在现代化的数据中心，用于生产某种新商品。

这种新的商品产业规模有多大，很难说，它可能价值数万亿美元。

我认为，如果你退一步，我们不再制造计算机，我们制造工厂。

每个国家都需要它，每个公司都需要它。

给我举一个公司或行业的例子，它们会说，我们不需要产生智能，我们已经有很多了。

我认为这就是核心思想，一种抽象的工业视角。

总有一天，人们会意识到，半导体产业在很大程度上，并非只是关于制造芯片，而是关于构建社会的基石。

突然之间，每个人都会恍然大悟：我明白了，这可是件大事，它不仅是关于芯片。

主持人Sarah：你现在如何看待具身智能？

黄仁勋：让我非常兴奋的是，很多方面，我们已经接近AGI，也接近通用机器人技术，Token就是Token。

问题是，你能否将其Token化？正如你们所知，Token化并非易事。

如果你能将事物Token化，并将其与大型语言模型、其他模式对齐，如果我能生成一段视频，显示Jensen伸手拿咖啡杯，为什么我不能提示机器人生成相应Token来拿起。

直觉上，你会认为对计算机，问题陈述相当相似，我认为我们已经非常接近，这令人难以置信兴奋。

现在，两种棕地机器人系统，棕地指的是你不需要改变环境，分别是配备数字司机的自动驾驶汽车与具身机器人。通过汽车与人形机器人，我们可以将机器人技术带到世界各地，无需改变世界，我们已经为这两样东西构建了一个世界。

棕地机器人系统Brownfield Robotics System，指的是将机器人技术集成到已经存在、未经机器人技术优化的基础设施或环境中。

绿地机器人系统Greenfield Robotics System，是在专门为机器人技术设计的环境中部署机器人。

棕地机器人系统、绿地机器人系统，是两种不同的模式。

马斯克专注这两种形式的机器人技术，可能并非巧合，它很可能具有更大潜在规模，我认为这很令人兴奋。

数字版本同样令人兴奋，我们正在谈论数字员工或AI员工，我们将拥有各种各样AI员工。

我们前景，是一些生物员工与一些AI员工，我们将以相同方式提示他们。

大多数时候，我都会提示我的员工，提供背景信息，要求他们执行任务。他们会去招募其他团队成员，然后回来，我们再进行沟通。

与各种数字与AI员工相比，这有什么不同？我们将有AI营销人员、AI设计师、AI供应链人员等。我希望英伟达将来在生物方面会更大，从AI角度看，也会大得多得多，这就是我们未来的公司。

主持人Sarah：如果1年后，我们再来与你谈，你认为公司哪部分的AI化程度最高？

黄仁勋：我希望是芯片设计，这是最重要的部分，我应该从最能推动发展的地方开始，也是我们能产生最大影响的地方，这是一个非常困难的问题。

我与美国电子设计自动化EDA软件供应商Synopsys CEO Sassine、美国EDA软件与半导体设计服务商Cadence CEO Anirudh一起工作。我完全可以想象，他们拥有我可以租用的Synopsys芯片设计师。他们对某个特定模块及其工具有所了解，他们训练一个AI来精通它。

每当我们处于芯片设计的那个阶段时，我们会雇用很多AI设计师。我可能会租用100万名Synopsys工程师来帮助我，再租用100万名Cadence工程师来帮忙。

对他们来说，这是多么令人兴奋的未来，他们拥有所有这些位于工具平台之上的代理，这些代理使用工具平台，并与其他平台协作。

Christian将在SAP上这样做，Bill将在ServiceNow上这样做。人们说这些SaaS平台将被颠覆，我认为恰恰相反，他们掌握金矿，他们将迎来代理的繁荣，这些代理将专门从事Salesforce，我认为他们称之为Lightning，SAP是BAP。

每个人都有自己的语言，我们有CUDA，我们还有Omniverse的OpenUSD。

谁将创建擅长OpenUSD的AI代理，是我们，没有人比我们更关心它。

我认为，在很多方面，这些平台将随着代理的兴起，而蓬勃发展，我们将把它们互相介绍，它们将协同工作，解决问题。

主持人Sarah：你看到很多不同人在AI各个领域工作，你认为哪些方面被低估了，或者你希望有更多企业家、工程师或商业人士参与其中？

黄仁勋：首先，我认为人们误解，或者说低估，正在受到AI与机器学习影响的突破性科学、计算机科学、工程科学的幕后活动与表面之下的活动。

我认为你根本无法走进任何一个科学系，任何一个理论数学系，AI与机器学习以及我们今天讨论的那种工作，都不会在明天改变一切。

如果他们，如果你把世界上所有工程师、所有科学家都聚集起来，你说他们今天的工作方式是未来趋势的早期预兆，因为显然是，你将会看到一场海啸。

生成式AI，AI的海啸，机器学习的海啸，将在一小段时间内改变我们所做的一切。

现在，记住，我看到计算机视觉的早期迹象，以及与多伦多的Alex、Ilya、Hinton，以及Yann LeCun，还有斯坦福的Andrew Ng合作的工作，我看到了它的早期迹象。

我们很幸运从观察到将检测猫的能力，推断到计算机科学与计算的彻底改变，这种推断对我们来说是幸运的。

现在我们对此感到非常兴奋，非常鼓舞，以至我们改变我们做事方式。

这花了多长时间？从观察到那个玩具AlexNet，我认为按照今天标准，我们认为它是一个玩具，到在目标识别方面达到超人能力，花了6年时间，仅几年时间。

现在正在发生的事情，所有科学领域的浪潮，没有一个科学领域被落下。

我意思是，非常清楚的说，从量子计算到量子化学，每一个科学领域，都参与我们正在讨论的方法。

如果我们给自己，他们已经做了2~3年。如果我们再给自己2~3年时间，世界将会改变。

不会只有一篇论文，不会只有一项科学突破，一项工程突破，生成式AI不会成为其基础，我现在相当肯定这一点。

我认为有很多疑问，我不时听到有人说这是否是一种时尚。计算机，你只需要回到第一性原理，观察实际发生的事情。计算堆栈，我们进行计算的方式已经改变。如果编写软件的方式发生变化，我的意思是，这相当核心。

软件是人类编码知识的方式，我们以此编码算法。现在我们编码方式已经大相径庭，这将影响一切，没有什么会保持不变。

我想我是在对同道中人讲话，我们都在自己合作的初创企业、我合作的科学家与工程师身上看到了同样现象：没有任何东西会被落下，我们将携手共进。

主持人Sarah：我认为，来自计算机科学领域，放眼所有其他科学领域，最令人兴奋的事情之一是，我现在可以参加机器人会议、材料科学会议、生物技术会议，我会想，我理解这个。并非理解科学的每一个层面，但在推动发现的过程中，所有算法都是通用的。

黄仁勋：存在一些普遍、统一的概念。

主持人Sarah：是的。我认为，当你看到它在每个领域有效性时，令人难以置信的兴奋。

黄仁勋：绝对是这样。

我非常兴奋自己每天都在使用它，我不知道你们是不是也这样，它现在是我导师。

我的意思是，我不会在不先求助AI的情况下，学习任何东西。为什么要费力学习，直接问AI就行了。我直接问ChatGPT，或者有时会用Perplexity，这取决于我的问题措辞。

我从那里开始学习，如果愿意，你总是可以深入研究。这太不可思议了，我几乎了解的所有东西，我都会反复核实。我知道这是一个事实，我认定是基本事实，我是专家，我仍然会问AI，核实一下，让我再检查一下。

太棒了，我几乎所有的事情都会用到它。

主持人Sarah：我想这是一个很好的结束语。

黄仁勋：非常感谢你们抽出时间，我很享受这次谈话，很高兴见到你们。

主持人Sarah：感谢，Jensen。

Sam Altman与YC总裁对谈OpenAI创业历程、预测未来公司可能是1人+1万GPU

时间2024年11月9日

字数：12,998

Sam Altman接受YC 专访，2024年11月8日发布。

内容导读：

AGI并非遥不可及：AGI的到来，可能比许多人预想的要快，甚至可能在几年内实现显著突破。Same基于OpenAI的进展、与模型能力的快速提升，例如从GPT-3到GPT-4，做出这一判断。

规模的重要性：强调规模在深度学习中关键作用，认为持续扩大模型规模，能带来能力的指数级提升，这与当时许多人看法相悖。他将这种信念，比作对深度学习的宗教式信仰。

深度学习潜力被低估：深度学习潜力远未被充分挖掘，许多业内人士对它能力持有怀疑态度，甚至认为继续大力投入是错误的。

专注单一方向的重要性：OpenAI成功的一个关键，在于专注单一方向深度学习与规模化，不是分散资源到多个领域。体现创业中重要策略：极度专注有前景的赌注。

YC独特之处：赞扬YC鼓励大胆的科技乐观主义、与非凡的创业精神，强调同行群体的重要性；认为在YC找到志同道合的同伴，对个人成长至关重要。

OpenAI早期目标与策略：描述OpenAI成立初期的目标无监督学习、强化学习与团队规模控制，组建团队的经历；强调当时追逐AGI目标的非主流性。

OpenAI成功并非一蹴而就：承认OpenAI道路并非一帆风顺，经历许多挫折与错误，强调团队坚持不懈、勇于纠错的能力。

完整纪要：

主持人Garry：今天我们有幸邀请到Sam Altman，感谢你的加入。这是你如何构建未来系列节目的重启版，欢迎回到YC。

Sam Altman：你开始这个系列节目，大概8年前的事，我一直在回想这件事。

主持人Garry：大概是那样，太不可思议了，我很高兴它重启了。

让我们谈你关于智能时代的最新文章，现在是不是创业的最佳时机？

Sam Altman：至少可以说，这是迄今为止最好的时机，希望将来会有更好时机。

我有点觉得，每一次重大技术革命，都能比以前做得更多。

我希望公司会更加令人惊叹、更有影响力等，我认为这是迄今为止最好的时机。

当事情发展缓慢、不够动态时，大公司更有优势。

当像这次这样的事情发生，或者移动互联网、互联网、或半导体革命发生，或者可能像工业革命时期那样。那时，初创企业就有它们的优势。这就像，我们已经很久没有经历过这样的事情，这真的很令人兴奋。

主持人Garry：在这篇文章中，你说了一件非常重要的事ASI，超级AI，距离我们还有数千天。我的意思是，这是我们的希望，我们的猜测，不管怎么说。

Sam Altman：这是一个非常大胆的声明。我意思是，这很重要，这真的非常重要。

我可以看到一条路径，我们正在做的工作会持续积累。我们在过去3年取得的进展速度，会持续未来3、6或9年，或者更久。9年，大约是3,500天。

如果我们能保持这种进步速度，甚至加速度，这样的系统，将能做很多事情。

我认为，像o1这样系统，也能做很多事情。

仅从在特定领域封闭式、明确定义的任务中，展现出的原始认知智商看，我想o1就是非常聪明的东西，我认为我们离进步的极限，还差得很远。

主持人Garry：我意思是，那是一种架构上转变，这种转变解锁很多东西。我听到的是，这些东西将会不断积累。

Sam Altman：我们可能会遇到意想不到的障碍，或者我们可能遗漏什么，但对我们来说，看起来还有很多积累的空间。

主持人Garry：这篇文章，可能是所有我见过的东西中，最技术乐观主义的。我们期待的一些事情包括：解决气候问题，建立太空殖民地，发现所有物理学知识，拥有近乎无限的智能与丰富的能源。

Sam Altman：我认为所有这些事情，我们甚至无法想象的更多事情，可能并不遥远。

我认为，现在我们甚至可以半认真谈论这些事情，非常令人兴奋。

我一直最喜欢YC的一件事是，它鼓励略微不切实际的技术乐观主义。仅相信，你可以解决这个问题。

在一个我认为总是告诉人们这行不通、你不能做这件事、你不能做那件事的世界里，我认为那种早期保罗·格雷厄姆的精神，仅是鼓励创始人放眼长远一点，这在这个世界上是一件特别的事情。

主持人Garry：丰富的能源，似乎是一件非常重要的事。如果我们真的实现丰富的能源，就存在路径A与路径B，这似乎是一个真正的突破。

几乎任何工作，不仅是知识工作，是真正的体力工作，都可以通过机器人技术，以及随时可用的语言与智能来实现，这是一个真正的丰裕时代。

Sam Altman：这些就像我们想要的一切关键性输入，是两大关键性输入，还有很多其他重要的因素。

如果我们能获得真正丰富的智能、与真正丰富的能源，这将开启全新的局面，我们能更快想出更好主意，在现实世界中实现它们。

更不用说，能运行大量的AI，也会是一件好事，这同样需要能源，我认为这将是巨大的突破。

我不确定是应该对这一切发生感到惊讶，还是这只是技术进步速度不断加快，带来的自然结果，这绝对是令人兴奋的时代，也是创业的好时机。

主持人Garry：我们大致经历这个丰饶的时代，也许机器人能实际制造，做任何事情，几乎所有的体力劳动都能带来物质进步，不仅是对最富有的人，而是对所有人。

如果我们没有释放无限的能源，会发生什么？如果，有一些物理定律阻止我们做到这一点？

Sam Altman：太阳能+储能的轨迹足够好，我们没有取得重大的核能突破，我们也能过得还不错。

可以肯定的是，降低能源成本，提高能源丰富度，对生活质量有直接影响。

最终我们会解决物理学中每一个问题，我们一定会找到解决办法，只是时间问题，我们应得这一切。

总有一天，我们讨论的将不再是核聚变或其他什么，而是戴森球，也将会很棒。

这是一个时间点，对我们来说，感觉充足的能源，对我们曾孙们来说可能根本不够用，宇宙很大，有很多物质。

主持人Garry：我想稍微换个话题，谈你之前提到的保罗·格雷厄姆，他把我们大家聚集在一起，创建YC。

他喜欢讲述你如何加入YC的故事，你当时是斯坦福大学大一新生。

他说，这是2005年第一批YC，你是大一新生，YC还会在，下次再来。

你说：我是大二学生，我这就来。

在我们社区里，你被广泛认为是最杰出的人之一。

你认为这源于哪里，我认为这个故事，我会很乐意听。

Sam Altman：如果这个故事就此过去，我会很高兴。它被永久记载在这里，就在这里。我对这件事的记忆是，我需要改期一次面试之类的事情。

保罗·格雷厄姆试图说，2006年再来之类。我想我说了一些比较委婉的话，比如我是大二学生，我这就来。

这些事情，会变得有点不准确，很有趣。我这么说，并非虚伪谦逊，我根本不喜欢把自己定义为杰出的人，我认为我在很多方面并非如此。

我只是有点，我不明白为什么事情必须按照它们方式进行，我只是做从第一性原理看，似乎不错的事情，我对此一直感觉有点奇怪。

我记得我当时认为YC如此棒的一点，现在仍然如此，就是它像是怪人聚集地，他们都只是说，我要做我的事。这其中与我真实自我认同相符的部分是，我认为你可以尝试很多事情，我认为尝试得越多越好。

主持人Garry：我想，我们俩在YC都发现了一群人，他们都相信你可以做到……

Sam Altman：很长时间以来，我一直试图弄清楚是什么让YC如此特别。

我认为，你有一个非常优秀的人告诉你，你可以做到，我相信你。

作为一名年轻的创始人，这感觉如此特别与鼓舞人心。当然它趋势如此。

我直到很久以后，才明白，是来自其他也在这样做的人的同伴群体。

我现在给年轻人的最大建议之一是，尽早找到这个同伴群体，对我来说非常重要。

我当时没有意识到这很重要，我当时想，我会自己想办法。与鼓舞人心的同龄人在一起，真是太有价值了。

主持人Garry：有趣的是，我们都曾在斯坦福大学待过。

我是毕业了，我可能不应该这样做，但我做了。

你通过辍学，走上了一条回报率更高的道路。

但那个社区，据称也拥有很多这些特征，我仍然对在一个房间里与一群创始人在一起所产生的强大力量感到惊讶。

Sam Altman：我也正想这么说，我很喜欢斯坦福。

我没有感觉自己被让我想要变得更好、更有野心的人包围着，如果我有这种感觉，你与你的同龄人竞争的东西就是，谁会在哪家投行获得实习机会？

我很不好意思的说，我掉进这个陷阱，这就是同伴群体有多强大。

在看到YC的氛围之后，不去上学，是非常容易的决定。

主持人Garry：我很喜欢荣格一句很有力量的引言：世界会来问你，你是谁，如果你不知道，它会告诉你。

看起来，尽早认真思考你想成为谁，你想与谁在一起，非常重要。

Sam Altman：这绝对是我的一大收获，至少对我自己，没有人能免受同伴压力的影响。你所能做的，就是选择好的同伴。

主持人Garry：你后来创建Loopt，出售它，去了Green Dot，我们最终一起在YC工作。

跟我说说YC研究的早期情况，你给YC带来一件非常酷的事，是这种实验精神。

我记得你回到合伙人办公室，谈论你与Larry、Sergey这样的人一起参与的一些项目。

当时AI似乎触手可及，但那已经是10年前的事。

Sam Altman：我一直认为最酷的退休工作，是经营一个研究实验室，当时还没具体到AI领域。

当我们开始讨论YC研究时，它不仅会，最终资助一大堆不同项目。

我希望我能讲述一个关于AI的成功，以及它将成为主流这件事，是否显而易见的故事。

但那时我们也尝试很多失败项目，那段时间里，我读了几本关于施乐帕克研究中心与贝尔实验室历史之类的书。

我认为当时在硅谷时代，很多人觉得我们需要再次拥有优秀的研究实验室，我只是觉得这会非常酷。

这有点类似YC做法，你将把资金分配给聪明人，有时会成功，有时不会，我只是想尝试一下。

AI肯定经历了一个小高潮，大概是2014年末、2015年、2016年初，当时正流行超级智能的讨论，比如《超级智能》这本书，作者是博斯特罗姆。

DeepMind也取得一些令人印象深刻的成果，方向略有不同。

我一直是个AI迷，我当时想，尝试做一些事情会很酷，但这很难说。

ImageNet那时已经出现了吗？

主持人Garry：ImageNet已经出现了，当时已经出现一段时间。

你可以判断它是不是热狗，有时可以。那时已经快实现了，是的。

你是如何确定最初参与YC研究与OpenAI的人选？

我的意思是，格雷格·布罗克曼是……

Sam Altman：回想起来，感觉就像电影蒙太奇一样，一开始就像抢银行电影里那样，到处寻找合适的人选。然后他们说，我愿意加入。

比如伊利亚，我听说他非常聪明，我看了他一些视频，他真的非常聪明，是名副其实的天才与远见者，还有着令人难以置信的个人魅力。

我看了他在YouTube上一段视频，心想我必须认识这个人。我给他发了邮件，他没回复。我去他演讲的一个会议，我们见了面。之后，我们开始频繁交流。

然后是格雷格，我从Stripe早期就认识他一点。

主持人Garry：像这样的对话：我非常喜欢你关于AI的想法，我想建立一个实验室。

Sam Altman：是的。

回顾过去，我们从一开始就说要追求AGI，这在当时行不通，听起来太疯狂，谈论它，几乎是不负责任的。

这立刻引起他的注意，它吸引所有优秀年轻人的注意，以及平庸老人们嘲笑与不屑。

我觉得某种程度上是好兆头，非常有力。

我们是一群乌合之众，我年纪最大，大概30岁左右。

这些人就像，这些不负责任的孩子，什么都不懂，却说这些荒谬的话。

而那些对此非常感兴趣的人，我想，和那些会说我大二，我来试试的人，是同一类人。

他们说：让我们一起做这件事，让我们尝试一下。

我们一个接一个见人，然后以不同组合方式分组。

这件事，断断续续进行大约9个月，然后它开始了，它真的开始了。

我最喜欢OpenAI记忆之一是，伊利亚某些原因与谷歌有冲突，我们无法在那里启动。

我们在2015年12月宣布成立，直到2016年1月才能正式启动，大概是2016年1月3日左右，或者月初，大家放假回来后，我们去格雷格公寓。大概有10个人左右，我们围坐在一起，感觉我们为启动它，做了一件了不起的事。

每个人都问：接下来我们做什么？真是个很棒的时刻。

这让我想起创业公司创始人努力融资，他们会想，我完成一件伟大的事，我们做到了，我们做到。然后你坐下来说，我们现在得弄清楚，接下来要做什么。

主持人Garry：现在不是庆祝的时候，这是发令枪响了，现在我们必须跑了。

Sam Altman：你根本不知道这场比赛，会有多艰难。我们花了很长时间，才弄清楚我们要做什么。

我对伊利亚尤其印象深刻，还有所有早期成员，我们走了很多弯路，才走到今天，但最初想法的大方向，是如此正确。

这些想法，写在格雷格公寓的翻页图表或白板上，我不记得是哪个。

我们去做了一些其他事，有些成功，有些失败，最终我们有了这个系统……

回顾过去，我们从那时走到现在，经历如此多曲折，感觉非常疯狂，非常不可思议，我们到达我们所指向的地方。

最初白板上，是否已经包含深度学习，是的。

更具体说，比如做一个大型无监督模型，然后解决强化学习问题，这在白板上。

一张来自更早一次非正式会议的白板，我认为这是正确的。

我相信当时这项工作的目标，有三个：弄清楚如何进行无监督学习，解决强化学习问题，人员规模不超过120人。

第三个目标没有实现，对的，预测性方向。

主持人Garry：前两个目标，已经做得相当不错。是深度学习，第二个重要目标听起来像是规模化，也就是你可以实现规模化的想法。这也是一个异端的想法，人们甚至觉得它具有冒犯性，我记得当时你们受到很多批评。

Sam Altman：当我们开始时，核心信念是深度学习有效，随着规模扩大，变得更好。

我认为这两个信念，当时都有些异端。

当时我们不知道它随着规模扩大，会好到什么程度，直到几年后，才出现。

一开始只是一个直觉，你得到数据来证明，它有多么可预测。

在我们开始之前，人们已经知道，如果你让这些神经网络更大，它们就会变得更好，我们对此很确定。

让我一直想到的是，这是一种近乎宗教信仰般的信念，即这种情况不会停止。每个人都有理由说，它不是真正的学习，它不是真正的推理，它不能真正做到这一点，它只是一个把戏，而这些都是该领域的杰出领导者。

他们不仅是说你错了，他们说的是，你错了，这是一种错误的信念，或是一件错误的事情。他们认为你会引发AI寒冬，你会做这、做那。

我们只是看着这些结果，说它们一直在变得更好，我们得到规模化结果。

到现在，这也打破了我的直觉。

某种程度上，你必须看看规模化定律，然后说，我们将继续这样做，我们认为它会这样做。

当时开始感觉，深度学习某些方面，是一种非常重要的涌现现象，我们没有在实践中完全理解所有细节，我们没有，现在也没有，也有一些真正基础的东西正在发生。

我们把它比作是在元素周期表中，发现新的方格，我们真的想推动它。

我们资源，远少于DeepMind与其他公司，我们说，他们会尝试很多事情，我们只需要选择一件事情，集中精力，这就是我们可以获胜的方式，这完全是正确的创业方法。我们说，我们不知道我们不知道什么。

我们知道有一件事有效，我们将专注于此。我认为其他一些努力，试图在太多方面都过于聪明；我们只是说，我们将专注眼前的事，不断努力。

规模是我一直以来都感兴趣的事，它在很多方面都具有涌现特性，对初创公司、深度学习模型、许多其他事物都是如此。

我认为这是非常被低估的特性，值得追求。

我认为，如果遇到疑问，如果你拥有一些似乎随规模而改进的东西，我认为你应该扩大它的规模。

主持人Garry：我认为人们希望事情遵循少即是多的原则，但多即是多。

Sam Altman：我们相信这一点，我们想坚持下去。

我认为，人们可能不太了解OpenAI的一件事是，我们鲜为人知时，我们拥有一支极其优秀的研究人员团队。如果你拥有世界上最聪明的人，你就能全力以赴做一件事。

主持人Garry：是的。

他们很有动力，或者说你创造了世界上为数不多的几个他们可以做到这一点的地方。

我听说过的一个故事是，是获得计算资源，在今天也是非常困难的事，融入一些来自业界前辈的批评，他们认为，你会浪费很多资源，某种程度上会导致AI寒冬，人们不会再提供资源。

Sam Altman：有趣的是，人们一直不确定我们是否会浪费资源，或者说我们是否通过投入过多资源，做了一些有点不道德的事，你应该将资源分散到多个赌注上，而不是专注一个赌注。

世界上大多数人，仍然不理解对一个赌注进行相当极端程度专注的价值。我们说，我们有证据，我们相信这件事。当通常的做法是我们将分散到这个赌注、那个赌注，与另一个赌注上时，我们想要坚持下去。

主持人Garry：你是十足的乐观主义者。

Sam Altman：在许多成功的YC初创公司中，你会一次又一次看到这种情况。

主持人Garry：听起来很对。

当世界给你施加压力，这种压力对你毫无意义时，你应该继续做，完全正确。

Sam Altman：我非常感激从初创公司世界中获得的许多经验，那就是你一次又一次看到这种情况。

我认为，加入YC之前，我深信世界上有成年人负责，房间里有成年人，他们知道发生了什么。

有人掌握所有答案，如果有人反对你，他们可能知道发生了什么。

我现在理解的程度是，就像前面说的那样，你可以做事情，你可以尝试事情，没有人掌握所有答案。

房间里没有成年人，会神奇告诉你确切该做什么。你只需要快速迭代，找到自己方法。

对我来说，理解这一点，是人生中重要的顿悟。

坚定信念本身，与坚定信念，是有区别的。

如果你错了，你没有适应，你没有试图追求真理，它仍然非常……无效。

我们试图做的事情，真的只是相信结果告诉我们的任何事情，真正尝试做我们眼前的事情。

有很多事情，我们非常坚定相信，却是错误的。一旦我们意识到自己错了，我们努力完全接受它。坚定信念很好，直到你得到一方或另一方的数据，许多人会在得到数据之后，仍然坚持自己信念。

主持人Garry：这是迭代式的，它不仅是他们错了，而我对了，你必须展示你的工作。

Sam Altman：有一段时间，你必须愿意在没有数据情况下运作。这一点上，你必须依靠信念行事。

主持人Garry：听起来，这其中包含一个聚焦的方面。

就像你必须做出选择，这个选择最好是，你没有无限选择，优先级本身就是一个使你更有可能成功的练习。

Sam Altman：我希望我能告诉你，我们确切知道会发生什么。，我们从一开始就对语言模型有了这个想法，我们直接朝这个方向努力。

很明显，OpenAI的故事是，我们做了很多事情帮助我们发展了一些科学理解，我们并没有走捷径。

如果我们当时知道现在所知道的事情，我们本可以令人难以置信的速度完成整个过程，但事情并非如此，你不可能每次猜测都正确。

我们一开始有很多假设，关于技术走向，还有我们将成为什么样的公司，我们将如何运作，AGI 将如何发展，所有这些事情。

我们已经被证明是错误的，很多、很多、很多次了。我们优势之一，是能在被打脸之后，站起来继续前进。这适用于科学上的赌注，也适用于我们愿意在关于我们认为世界将如何运作、以及产品形状将是什么的许多其他事情上犯错。

我们不知道，或者至少我不知道，也许Alec Radford知道，我不知道语言模型会成为最重要的事情。

我们开始研究机器人与玩电子游戏的智能体，以及所有其他事情。几年后，GPT-3出现了，当时这并不是显而易见。

Alec Radford是在AI领域，特别是深度学习领域做出突出贡献的研究人员。他最广为人知的贡献，是参与开发生成对抗网络GAN的关键改进版本，以及Transformer架构应用，这两者都对现代AI发展产生深远影响。

请务必阅读免责声明与风险提示

来源：六合商业研选一点号