“我已经过时了!”83岁图灵奖大师在大模型时代的技术焦虑

360影视 国产动漫 2025-04-05 10:57 1

摘要:在计算机科学领域,Jeffrey Ullman 是一个无法忽视的名字。这位 83 岁的斯坦福大学荣誉教授,既是《编译器:原理、技术和工具》(俗称“龙书”)的合著者、数据库理论的奠基人,也是 2020 年图灵奖得主。他的职业生涯贯穿了计算机科学发展的关键时期——

转自InfoQ,版权属于原作者,用于学术分享

在计算机科学领域,Jeffrey Ullman 是一个无法忽视的名字。这位 83 岁的斯坦福大学荣誉教授,既是《编译器:原理、技术和工具》(俗称“龙书”)的合著者、数据库理论的奠基人,也是 2020 年图灵奖得主。他的职业生涯贯穿了计算机科学发展的关键时期——从编译器开发到数据库理论构建,再到算法研究突破,他的工作深刻影响了计算机科学的发展,尤其通过《编译器:原理、技术和工具》和《数据库系统原理》等经典教材,塑造了无数程序员的思维方式。

前几天,这位白发苍苍的学者在一次采访中展现出了令人敬佩的坦诚。他在对话中多次提到,技术是年轻人的游戏,而随着年龄的增长,他自己也越来越难以适应新技术。例如,他谈到使用大模型时有些时候自己不太理解其逻辑,以及在使用手机导航和连接车载系统等日常技术时遇到的挑战。这番感慨恰如其分地映照出当下技术变革的独特性:当一位曾定义过“技术标准”的宗师级人物,也开始在 AI 浪潮中重新寻找方向,这本身便成为了关于技术进化的深刻隐喻。

在本次专访中,Ullman 教授还系统回顾了自己跨越半个多世纪的学术生涯,分享了他对技术迭代的思考,并强调了技术发展的不可预测性。他指出,许多重大的技术变革在出现之前常常是无法预见的。举例来说,1992 年他与其他学者讨论“信息高速公路”时,几乎没有人提到万维网,而当时瑞士的万维网技术已经出现。这表明,许多技术突破往往在专家和业内人士未曾意识到之前悄然到来。

在展望未来技术时,他说软件工程领域最大的转变是从机器语言到高级语言(如 Fortran)的演变,而如今大模型直接生成代码,这一变革的意义甚至超过了当初的变化。他认为,软件工程正在经历从“算法”到“算法 + 数据”的转变,并行化的引入也肯定会逐渐改变我们对计算机能做什么的思考方式。

并行计算对计算机科学的深远影响

主持人:很高兴与您交谈。我知道您有着丰富而多样的职业经历。您最近又有什么新见闻?我注意到您说您所做的很多事情都已经是“老古董”了。那您如何描述当下的自己?

Jeffrey Ullman:我基本上已经退休了,已经是个“过气”人物了。没错,我们总得面对现实,计算机科学是年轻人的游戏,而我已经不再年轻了。

主持人:这话也对。不过,我认觉得您所做的一些事情在这个快速变化的领域中仍然有着惊人的生命力。当我向别人提到“我将要采访 Jeffrey Ullman”时,他们立刻就会说:“哦,〈龙书〉,我知道〈龙书〉。” 我想花几分钟时间谈谈这本书。虽然它有些年头了,但当我与新的计算机科学毕业生交谈时,他们仍然在谈论《龙书》。您觉得这本书为什么会如此成功?

Jeffrey Ullman:我想答案就在名字里。它的封面很酷。很明显,人们喜欢拿着这本印有龙图案的书在校园中走来走去,甚至因此而选择计算机科学专业。这可能就是我一生中做出的最大贡献——让一些原本可能浪费生命在物理学等领域的聪明孩子转而投身计算机科学。

主持人:说起编译器,我知道在您开始研究时,那会编译的语言可能要比今天的主流语言简单得多。语言设计和编译器方面也经历了一系列发展。多年来,您在语言设计和编译器方面有没有发现什么特别有趣的变化?

Jeffrey Ullman:我觉得最大的变化在于,我们现在主要是为并行机器编译,包括八核处理器啦、大型超级计算机之类。 这些问题在《龙书》的最后一版中才开始被提及,主要是因为 Monica Lam 专门研究这个领域——也就是并行编译。但在我们撰写前三版时,甚至都没有真正考虑过这个问题,可能当时这确实也不值得考虑。毕竟那会是 1977 年,并行编译真的没那么重要。

主持人:是的。而且我在研究您的职业生涯和著作时发现了一个贯穿始终的主题,您会从基本的理论抽象开始思考,考虑不同层次的抽象,然后将它们应用到实际问题中,从非常抽象的理论方法逐步深入到更高层次的上下文或实现细节。我很好奇,随着我们向更多的并行计算转变,我们所需要的抽象是否发生了变化?

Jeffrey Ullman:当然,如果是为串行机器编译,就不需要处理并发控制等问题的任何抽象。我认为 MapReduce 就是并行计算的一个有趣抽象,这些东西在 20 世纪 70 年代是没有任何意义的,也完全没有任何实用价值。

主持人:没错,MapReduce 是一个很好的过渡——我看到您最近的一些工作确实跟大规模数据挖掘和处理网络规模的数据有关。您在这个领域也写了一本书,其中将 MapReduce 作为分析案例。随着我们不断扩展规模上限,您认为还有哪些关键部分被整合进去了?

Jeffrey Ullman:很明显,将世界上所有的数据整合在一起给了我们一种惊人的力量,这是之前从未有过的。

我指的自然就是大语言模型。当然,其中仍然有一些粗糙的细节需要打磨。但无论如何,它已经赋予了人们做出各种奇妙事情的力量。同样的情况也发生在 5 到 10 年前,那时候首次出现了大规模神经网络。

让它们发挥作用的原因不仅是出现了廉价的大规模计算设备,还有大规模数据集的诞生。当然,人们常常忽视数据的重要性。这不仅仅是算法的问题,数据同样重要。比如我听说人们现在担心大语言模型已经达到了极限,因为我们已经吸收了所有人类创作的文字,再也没有更多素材了。

这个问题很有意思,我估计会在几年内看到这种观点是否属实,或者说,大家会想办法制造从未真正存在过的数据。比如说,如果你想通过机器学习来识别肿瘤,你可以拍摄一张肿瘤图像,将其放大 10% 或旋转 10%,从而创建额外的可用数据,而无需实际拥有更多数据。总而言之,这是一个值得关注的方向。

主持人:是的,我认为这里的关键在于,有没有用到底该如何定义。在图像示例中这应该是成立的,因为可以推理出在计算机看来不同的东西,而我们又可以验证它们是相同或说等效的。但在其他领域,情况会不会有所变化?

Jeffrey Ullman: 说得对,而且我也没有答案。就像我前面说的,这是个有趣的问题。我相信人们现在正在朝这个方向研究。

主持人:是的。既然谈到了这一点,我想到您曾经写过关于在处理这些大规模数据情况时降维的重要性。我在想,这是否与人们在蒸馏模型时试图提取相关维度的方式有关。

Jeffrey Ullman: 说实话,我不记得自己有写过这方面的内容……

主持人: 可能是在您的书里……

Jeffrey Ullman:《数据集》这本书确实讨论了降维。在理解数据时,降维通常是一个有用的工具,因为对于某些非常复杂的高维数据,有各种技术帮助我们聚焦于真正重要的部分。

主持人:没错。说回抽象视角,您提到了大语言模型存在一些粗糙的细节。您觉得具体有哪些挑战?作为软件工程师,我们在使用这些东西时的关键抽象是什么?或者,我们是否遗漏了一些需要弄清楚的抽象元素?

Jeffrey Ullman:这是个好问题。我觉得我们还没有真正找到该如何使用大模型的终极答案

有趣的是,斯坦福大学从来没开设过如何使用谷歌搜索、如何创建搜索查询的课程。但现在我们正在教授一门名为“提示词工程”的课程。许多学校可能都在开设或将会开设这样的课程。就是说“提示词”这个概念似乎得到了广泛认可,而且也许需要被抽象化或以某种方式进行理解。但无论如何,我还没看到能切实指导我们使用提示词的具体原则。

我自己也摆弄过提示词。在职业晚期,我做过大量的编辑工作。我为一家期刊工作,那里有 300 名编辑,而我是唯一的计算机科学编辑,所以很多工作都堆到了我这里。

我发现自己根本读不懂眼前的内容,也没有人可以交流。所以我开始使用各种大语言模型。

我会先向模型提供优秀审稿人的标准,然后说:“这是论文摘要。请推荐一些理想的审稿人选。” 有时,它确实能准确推荐,并介绍一些我从未见过但实际上相当先说的人选。也有时候,它会坦率地讲:“这对我来说太难了,您可以参考以下审稿人筛选方法。首先阅读文献,然后……” 这基本上是一个完全无用的评论。

坦白说,我不知道为什么会出现这样的差别——是摘要的详细程度,还是我对想要的东西的定义方式?我不知道。这里有很多非常神秘的东西,我认为还有待人们去探索。

主持人:一点没错。我觉得这里机会很大。我见过一款工具,尝试像简单的编译器那样编译提示,其中包含不同的层次,可以看到它将组件组合并整理成不同的风格,以此适应不同的大模型。我猜它并没有做任何优化,只是专注于如何从高级组件集转换为适用于 Anthropic 与 ChatGPT 的提示词形式。但我认为,它其实已经是某种类似于编译器的等效物,它能理解提示这些不同模型的正确方法,并将需求意图跟更好的提示方式映射起来。

Jeffrey Ullman:是的。这是个不错的研究课题。

自动化与教师角色

主持人:这会是个不错的研究课题。说到研究,您提到最近自己一直在积极从事一个不同的项目。能给我们多透露点细节吗?

Jeffrey Ullman:我想想哈。再次强调,我希望自己在晚年也能有点事干。我想大概是在 2000 年初,我和几个朋友创办了一家名叫 Gradiance 的小公司。它的目标是实现家庭作业自动化,我们采用的基础架构是:对学生来说,它看起来像是一系列的简短选择题,整个解题过程就是从四个选项中选择正确的答案。

但跟常规的选择题不同的是,我们希望家庭作业实现的不仅是测试,还要进行教学。如果你答错了,我们会给你一个提示,并要求你重新做一遍整个过程。传统选择题的问题是,如果你猜 A,但结果是错的,然后猜 B,最终总会在不付出任何努力的情况下得到正确答案。我们的解决方法是开发了所谓的“根问题”,即拥有多个正确答案的问题。

那这个思路是如何实现的呢?比如,问题是解方程 2x 加 5 等于 10,求 x。现在,这只有一个正确答案,应该是 2.5。看起来只有一个正确答案。但事实上,我们要求学生做的是提供解题过程。你要把步骤写下来。如果你答对了,就是 x 等于 2.5。所以我们提供的选项不是 x 的值,而是告诉关于计算 x 的一些正确信息。

比如你可以初步得出一个正确答案,即 x 不是整数,或者 x 小于 3,或者 2x 是质数。如果你知道 x 是什么,就很容易认出这些正确答案。如果你不知道 x 是什么,你就只能猜测。我们认为可以通过出售这项服务赚很多钱,但实际上商业反响并不好。其实大家还是愿意使用,目前的用户也不少。比如开罗大学就是我们最大的用户,但他们不会为此付费。

大概是两年前,我在班加罗尔做过一次关于这项技术的演讲,听众中有一位 Infosys 的创始成员,他非常兴奋,说:“我们可以用这个来教数学,” 其他人也可以。看看 Gradiance 的网站,就会发现这里在用同样的方法教授计算机科学,从 Java 编程到编译器、再到操作系统和数据挖掘。

但项目的商业化还是决定从数学入手。于是他筹集了一些资金,组建了一支团队。产品还在制作当中——到目前为止,我们一直针对九年级的数学课程。顺便说一下,印度的九年级数学大多是我十年级和十一年级学的东西。但这个不重要。总而言之,我们希望这些素材能在印度乃至世界各地供大家免费使用。

同样的,这个想法不仅是要确保学生掌握了材料,还要在他们遇到困难并给出错误答案时,提供相关的提示或解释。我们希望这最终能帮助他们答对所有的问题。

主持人:是的。我觉得现在人们非常关注广泛的 AI 应用领域,即我们如何扩展教育规模,让学生们按照自己的节奏学习,而不过分依赖个别教师。

Jeffrey Ullman:这确实是个有趣的点。同样的,大约在我们创办 Gradiance 的同时,MOOCs(大型开放在线课程)风靡一时,人们甚至觉得以后大学都没必要存在了。

后来怎么样了?我认为回答这个问题很重要。关键在于:当通用汽车决定用机器人取代装配线工人时,没有人会问装配线工人是否相信机器人能够胜任工作,对吧?但当学术界引入替代方式,也就是把技术引入教学流程时,教师却完全有权说:“不,不应该这样。我不想在自己的课堂上用这种技术。” 这跟其他产业应用完全不同。

所以结果自然很糟糕。技术的应用不仅遇上了明显的阻力,特别是那些工作受到威胁的人。

而且事实证明,对于 95% 的学生来说,MOOC 并不足以达成教育目标,因为人会需要帮助。也就是说,我们只能自动化其中一部分。我认为 Gradiance 做到了一点,但人们遇到困难时总还是需要求助。MOOC 无法消除对教学专业人员的需求。它或许可以减轻教师们的一些负担,从而提高他们的效率,这意味着整个行业对教师的需求量会减少。生活就是这样,每个领域都是如此。

我觉得我们还可以做更多——如果教师们愿意,比如说播放 MOOC 视频课,就像他们过去会选定教学大纲一样。教科书和教学大纲承担了一部分教学工作,现在 MOOC 可以承担更多的教学工作,但仍然需要有人来主持课堂,特别是处理不断出现的各种特殊情况。当然,还有验证的问题。比如学生可以注册一个 MOOC 账号,然后让家里的哥哥姐姐帮自己完成所有作业,没有人会知道。单纯注册了某门课程并完成了 MOOC 的测验,并不代表你自己有解决问题的能力。

好吧,其实也有相应的技术方案——比如要求学生们接受指纹验证等等。但这不是长久之计。教师的意义就在于随时帮助学生解决他们遇到的各种问题,确保大家能够得到帮助和引导。我觉得这样的教学方式是不会改变的。所以虽然每个环节都有相应的技术方案,但我也完全能够理解为什么学校对于教学自动化会比较抗拒。

技术适应的代际挑战:

从提示工程到人机交互新挑战

主持人:下面咱们聊点同样跟学习相关,但又有点不同的方向。您谈到了斯坦福大学现在开设提示词定义、或者叫提示词工程课程。

Jeffrey Ullman: 行业术语应该叫提示词工程。

主持人:对对,提示词工程。我们当然可以讨论这到底能不能算工程,但您谈到了这一点。我们谈到了应用技术成果来帮助扩展学习,包括您在 Gradiance 所做的工作,以及大型在线课程做出的相关尝试。我觉得我们现在处于一个对于技术变革有着很多抵触情绪的时代。世界各地的人们对于大模型都有很多抵触情绪。所以我很好奇,您觉得我们该如何让人们适应正在发生的技术变化?

Jeffrey Ullman: 这事可不容易,我觉得恐怕得等到下一代人成长起来才行。

主持人: 您是这么理解这个问题的吗?直接放弃目前比较抗拒新技术的这一代人?

Jeffrey Ullman:没办法。随着我年龄的增长,我发现自己也越来越难以适应新技术。顺便说一下,人机交互(HCI)领域已经存在了很长时间。但我没有看到任何人在解决怎么跟老年人打交道的问题,所以我个人是比较悲观……

主持人:我也有体会。我的父母越来越老了——我父亲现在 80 多岁,母亲已经去世了。老一辈人根本跟不上变化。我觉得在科技行业,从业者经常为了改变而改变,却忽视了这样做的成本。

Jeffrey Ullman:也不完全是为了改变而改变。比如说我就认真学过怎么用手机,现在已经完全离不开了。我孙子已经 25 岁了,他出去遛弯时喜欢借车四处开。我习惯用车载导航系统,但他说:“我只想用谷歌地图。只要买个适配接口,就可以把你的手机连到车上。” 我从来不知道这事,但年轻人们都很清楚,他们现在就是这么导航的。我之前去看望我的儿子和五岁的孙女,我当时带了一个平板电脑。他们平时不让她玩平板,但爷爷奶奶来的时候,孩子可以稍微玩一会……(这应该是爷爷奶奶的特权)。

她想下载一个应用来画画,但应用有广告。现在这些应用的生态系统都很奇怪,因为据我观察,所有应用的广告都是其他应用产品。这基本上就是个互相洗钱的生态系统。我不确定这背后的商业逻辑是什么样的,但目前的情况就是这样。她在应用之间跳来跳去。我说:“看,你得躲开这些广告,别去点。”15 分钟后,我发现她找到了自己的方法,而且比我的办法更好。五岁的孩子很早就适应了,但我们老年人不行。

主持人:是的。这很有趣,让我想起了我儿子小时候的情景。我们也会给他一个设备让他玩。几分钟后,大家会说:“等等,你是怎么做到的?那是什么?”

Jeffrey Ullman:没错。我觉得最重要的一点,是如何让老年人适应——我们这个群体有自己的经验和习惯,但这些方式现在往往不好用了。所以说,开发者要怎样识别用户的身份,推测他们认为哪些设计和功能比较符合习惯,或者通过哪些机制来帮助他们搞清楚设备的用法。

主持人:我觉得这非常重要,而且这是一个很大的盲点。因为正如您在谈话开始时所说,科技往往是年轻人的游戏。做决策和负责思考这些事情的人可能自己很少与老年人互动。即使是中年人,个体之间也有很大的不同。我 40 多岁了。我习惯了通过文本与大多数技术产品互动。我的孩子们对一切都使用语音和视频。这让我感到惊讶。比如想要解决一个问题,我会用文本输入、搜索相关的文章教程。但他们会搜索 YouTube 视频。作为一个行业,尤其是考虑到我们的社会正在加速老龄化,大家确实需要弄清楚如何纳入老年人的偏好、需求和差异。

Jeffrey Ullman: 真的很期待能看到这样的变化。

主持人: 那您有没有看到比较好的成果?

Jeffrey Ullman: 是指相关研究还是实际应用?

主持人: 这两类都可以算,有没有让你印象深刻的探索和尝试?

Jeffrey Ullman:我还没看到真正好的系统设计,比如说一种完全不同的设计思路。但我有种感觉,这事应该有戏。

主持人:应该是有戏。我在想,现代机器学习和大模型技术能不能帮上点忙,因为它能向特定群体提供更多基于意图的用户交互范式,还能够随时做出解释。依靠这些技术,我们可以推理出用户的基本意图——哪怕你的自然互动方式与我不同,与我孙女的自然互动方式不同,它也能弄清楚你在尝试做什么并帮到你。

Jeffrey Ullman:是的。我认为新的大模型技术应该有这种能力,毕竟它都能总结 YouTube 视频了。

我之前提到的案例,大模型应该就能帮上忙。比如说我的手机上有一张地图,我想把它连接到汽车的屏幕上。我不知道该怎么操作,也许手册里有,但手套箱里那本手册足足 500 页,笑死根本不可能去看。它一定在某个地方告诉用户如何做到这一点,但我甚至不知道有这回事。

我儿子还告诉过我另一个功能,就是车子后备箱有一个按钮,可以在不按下车内的按钮的情况下从车外打开后备箱。我想现在所有的车都有这个功能。但没人告诉过我有这回事。

主持人:是的。这是一个信息传播问题。只有明确知道要问这个问题,才可能找到答案。但我们如何提出问题呢?

Jeffrey Ullman:完全正确。汽车应该说:“我注意到您一直在按车内的后备箱开启按钮。您知道您可以……”我不确定大模型能不能解决这类问题。

主持人:但这事确实有搞头,而且让我想起了您在 Gradiance 所做的工作。即如果有基座模型,就会有很多正确答案。我们能否构建我们的技术,以注意到有一类答案一直被用户系统地忽略或者压根没听说过,并主动展示给用户。

Jeffrey Ullman: 总之,我觉得 HCI 人员应该试试看。

技术变革的前瞻与回顾

主持人:是的。我喜欢跟像您这样年长且对这个行业有很多了解的人交谈,因为您比那些只在这个行业呆了 10 或 20 年的人有更广阔的视野。您还发现我们当前的科技生态系统和环境中存在哪些其他空缺?人们应该在哪些领域开展工作,但目前还没有行动?

Jeffrey Ullman:这问题可不好回答。回顾那些巨大的变化,在有人拿出方案之前,没人意识到这种需求。

我举一个例子。日期非常重要。记得那是 1992 年 3 月左右,我被邀请到华盛顿特区讨论当时被称为信息高速公路的事情。那里有一群像我这样的学者,以及电信公司和其他行业的负责人。我们写了一份报告。有趣的是,根本没有人提到万维网。我想说的是,那里有一些关于 GOPHER(计算机信息查找系统)的讨论;另外还有个大问题,信息高速公路到底该通过电缆还是电话线传输。

当时在瑞士,万维网已经出现。但这 300 位专家中,包括我在内,都没有意识到这会是个选项。记得几个月后问我的一位同事,“你为什么总在说‘://’?”甚至没有人知道需要像万维网这样的东西。

手机、个人电脑的情况也差不多。DEC 当时的负责人有句名言:“为什么有人想在办公桌上放一台电脑?” 答案是,我真的没法预测下一件大事会是什么,甚至无法猜测。

主持人:当然,但您已经指出了一件现在缺失的东西,那就是关注老年人的 HCI 研究。

Jeffrey Ullman:我认为这是一个不错的研究课题,但它倒不至于改变世界。我的意思是,如果非要让我猜,我肯定会选量子计算。我一直对量子计算持怀疑态度。它确实有一些应用,比如可以利用量子现象更好地模拟一些东西。顺便一提,量子通信似乎是真实可行的,就是所谓量子隐形传态。

人们实际上可能能够做到这样的事情,把技术理论变成现实。但人们真正期待的,是这些量子计算机能拥有正确的量子比特,能够运行 Shor 算法,从而破解 RSA 代码和椭圆曲线代码等。我的意思是,如果真是这样,那我们的思维方式肯定会发生转变。但到底可不可行,着实令人怀疑。

毕竟像 D-Wave 那样的机器,显然使用的是无法运行 Shor 算法的量子比特,而且他们还在不断扩大规模。另外,量子计算可能并不遵循摩尔定律,只是我们还没意识到。我们能否每两年将可用的量子比特数量翻倍,特别是那些能够真正运行 Shor 算法的量子比特?我不知道到底行不行。可能可以,可能不行。如果再选一个,那可能是通用人工智能。

主持人:是的。您提到了一些过去没有预料到的技术转变。如果我们回顾软件工程这个领域本身,而不是一般性技术,毕竟我们的大多数都是软件工程师嘛,那么多年以来,整个行业在思考软件的方式上最大的转变或者说突破是什么?

Jeffrey Ullman:我当初写的第一个程序用的是种机器语言,然后我升级到了 FAP。那是 IBM 790。然后我学会了 Fortran,大大提升了我的设计空间。我觉得现在大家都期待大模型能直接为自己编写代码。确实,我觉得这可能会让生活变得稍微轻松一些,让大家更有效率一些。而且从某些证据来看,这种情况正在实惠,就像当初从 FAP 升级到 Fortran 一样。我觉得这波变革甚至比当初更意义重大。

正如我所说,并行性的引入肯定是个巨大的变化。只是这次的变革更微妙、更渐进,代表着从将软件视为算法、转变为将软件视为算法加数据。这肯定会逐渐改变我们对计算机能做什么的思考方式。

主持人:绝对的。有人可能会说,机器学习方面的许多进步都被更多用于数据编程,相比之下算法哪怕没有被彻底遗忘、也至少只能算“二等公民”。

Jeffrey Ullman: 因为要先有数据,之后才能谈得到算法。

比如我们之前谈到过提示词工程。最终,我觉得这个主题将落地成将意图转化为文本序列的算法,而文本序列在某种程度上甚至可能不再是文本的形式。比如变成视频或其他形式。

主持人:是的,未来会使用人类语言算法来引导大模型。

Jeffrey Ullman:没错。从某种意义上说,这也是一种算法,或者是以其他工具的形式。到时候将由计算机帮助用户制定提示词。与大家习惯的老办法相比,未来可能会出现完全由计算机实现的算法。

主持人:绝对的。我认为 AI 领域的许多发展都是围绕这些工具生成提示词,借此帮助用户实现各种功能。非常值得期待。感谢您抽出时间参加节目,非常感谢。

Jeffrey Ullman: 也感谢你的邀请。

原文链接:

来源:人工智能学家

相关推荐