# 马斯克与苏纳克对话 AI > - 原标题：AI discussion with Rishi Sunak - 时间：2023 年 11 月 2 日 - 频道：@elonmusk - 网页版：https://elon.qiaomu.ai/ep/ai-discussion-with-rishi-sunak/ - 精读字数：约 8584 字（阅读约 19 分钟） > 本文为 elon.qiaomu.ai 基于原始视频与文稿的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 比尔·盖茨说过一句话，我们这个时代没有人比马斯克更用力地推动科学和创新的边界。马斯克听完的反应是："这话有点疯。不过被比尔·盖茨这么说，感觉挺好。" 可就在 AI 这件事上，他做了十年少数派。 2023 年 11 月，英国在布莱切利园办首届全球 AI 安全峰会。峰会前一天，苏纳克和马斯克在伦敦对谈了一个小时。开场没多久，苏纳克就抛出了这个反差：同一个人，一边被称作最能推动创新的人，一边在 AI 上喊了十年"慢一点"。 ## 当了十年卡珊德拉 "我当卡珊德拉当了好一阵子了。"（马斯克） 卡珊德拉是希腊神话里那个能预言灾难、但永远没人相信的女人。马斯克说，他一直在跟人讲，我们该担心 AI。对方的反应基本是：你在说什么？那时候大部分人确实没跟 AI 打过任何交道。 他的理由很简单，他在技术里泡了太久，能看见东西过来。 2023 年，他觉得有几件事同时发生了。 一件是深度伪造（deepfake）。现在可以实时生成一个人说任何话的视频，说你也行，说他也行。效果好到什么程度？马斯克的原话是，有时候真的比真的还真。 另一件是 ChatGPT。他说自己看过 GPT-1 到 GPT-4 的整个爬坡过程，所以把曲线上的点往外一推，方向很清楚：这条线会继续往上，最终会出现远超人类智能的智能。 这就是他十年警告的底层逻辑，不需要什么神秘主义，只需要承认趋势会延续。 他也道了谢，说苏纳克办这场峰会，历史会记住它很重要。这场对话发生在峰会前夜，第二天的成果是一份包括中国在内的多国签署的联合公报。 ## 精灵、裁判，和那个 80% 马斯克讲了一个比喻，后来在整场对话里反复出现。 假设你有一个能实现所有愿望的精灵。你想要什么它给什么，没有次数限制。听起来是人类文明的终点。 可这类故事的结局通常不好。 > 要小心你许的愿，包括"再来更多愿望"这个愿望本身。（马斯克） 他对结果的判断一直很稳定：**大概率是好事，但坏的概率不是零。** 结尾他又把数字说了一遍，80% 会是好的，20% 是坏的。中间隔了一个小时，数字没变。这个比例显然是他反复推演之后愿意公开下注的区间，随口讲不出来。 好消息那部分，他用了个词：富足（abundance）。商品和服务不再稀缺的时代。他在后面把这个逻辑推到底，说会从全民基本收入（universal basic income）走到**全民高收入**（universal high income）。 坏消息那部分，需要有人当裁判。 苏纳克问，政府该做什么。马斯克的回答从一件很朴素的事开始：绝大多数软件不涉及公共安全。你手机上的应用崩了，笔记本蓝屏了，不是灾难。但数字超级智能不一样，它确实对公众构成风险，那政府就有角色。 他举了自己熟悉的领域，航空、汽车、通信。因为做火箭和做车，他跟全世界的监管机构打过很多交道。 **"我其实同意绝大多数监管。时不时会不同意几条，但比例大概只有 0.1%，不到 1%。"**（马斯克） 苏纳克追了一句，硅谷那边对监管的抵触是真实存在的。马斯克没替同行辩护，反而说了句挺扫兴的话：那些从来没跟监管打过交道的人，觉得监管会压死创新、让他们变慢、让他们很烦。他们的担心有道理，监管确实会烦人。 但接着他给出了整场对话里最容易被记住的类比： 任何一场体育比赛都有裁判，没有人提议办一场没有裁判的比赛。 政府就是这个裁判。职责是保证比赛按规矩进行，以及保证公众安全。 他还补了一句自我定位：**我作为技术专家说这话，所以我应该知道，技术圈有时候过于乐观了。** 这句话的分量在于说话的人。一个造火箭、造电动车、做脑机接口的人，站出来说"我们这行容易过度乐观"，比任何监管者的警告都更难反驳。 ## 每年五到十倍，政府追不上的速度 苏纳克提了个很实际的问题：政府能攒够专业能力吗？DeepMind 那边有一堆极聪明的人在做这件事，政府能不能跟上？ 马斯克先给了速度的量级：他见过的所有技术里，AI 是最快的，而且还在加速。能力每年至少提升五倍，也许是十倍。他预计明年就是**一个数量级的增长**。 参照系是摩尔定律。苏纳克说，你一辈子活在摩尔定律里，而这里的东西完全不是那个节奏。 政府不习惯按这个速度运转，这点马斯克承认。但他给出了一个门槛很低的答案：即使没有硬性法规，即使没有执法能力，光是让监管方拥有洞察力、能把这些担忧摆到公众面前，就已经很有力量。 "如果只做到这一步，我觉得也非常非常好。" 苏纳克接了一句"希望能做得比这更好"，马斯克说"希望如此"。 ## 中国不在桌上，这场讨论就是空谈 苏纳克主动提了他那个不太受欢迎的决定：邀请中国参加峰会。他说很多人批评他，他的理由是，要谈就得认真地谈。 马斯克给了很直接的支持。 他先点出了反对监管的人最常用的那张牌：**"中国不会做的，所以他们会一路领先超过我们所有人。"**这句话在硅谷的每一场 AI 监管辩论里都会出现。 马斯克的回应是事实层面的：中国愿意讨论 AI 安全。 他今年访问中国时，跟中方领导层谈的主要议题就是 AI 安全。他告诉对方这是真正该关心的事，而对方认真对待了。所以他觉得，中国能到场是必要的，**如果不参与，这事就没有意义。** 顺带他也交代了当下的格局：AI 开发目前有两个领先中心，旧金山湾区和伦敦地区。别的地方也在做，但领头的就这两个。 所以他的判断是，如果美国、英国、中国在安全上能对齐，那就是好事。领导力在哪里，共识就得在哪里。 ## 开源落后一年，就是差五倍 峰会当天有一场关于开源的辩论。苏纳克说，一边有人担心开源模型被坏人拿去用，一边有人说开源才是分布式创新的土壤，没有完美答案。 马斯克先给了个时间差：开源模型和公开数据，通常落后闭源 6 到 12 个月。 听着不算多。但他紧接着算了一笔账：如果能力提升的速度是每年五倍甚至更多，落后一年就意味着你比人家差五倍。在这个斜率下，6 到 12 个月是很宽的沟。 他说这也许还行，算是一个可以接受的局面。但开源 AI 迟早会逼近人类水平智能，甚至超过。这一点他也没法给出解决方案。 他承认这事某种程度上不可避免。如果非要选，他略微偏向开源，理由很朴素：**至少你能看见里面在发生什么。**闭源的话，你什么都不知道。 然后他马上自己拆了这个理由。 即使是开源模型，你真的知道里面在干什么吗？一个几十亿参数、几千亿数据点的文件，你没法读一遍就知道它要干什么。那是一份巨大的、不可读的数字堆。 主持人调侃了一句"我们的数字上帝是个 CSV 文件？"他笑着认了："差不多就是。" 这段话里有个技术上的区分：**神经网络是概率性的，不是确定性的。**传统编程是一行行逻辑，你能读懂每一行，能预测输出。神经网络是一大堆概率分布。你不能读它，你只能跑它、测它。 所以测试这件事，只能在训练进行中做、在发布之前做。这正好是英国 AI 安全研究所想做的事，马斯克表示同意。 ## 总有一天，没有哪个岗位是必需的 苏纳克说，他在外面跟普通人聊天，被问得最多的不是超级智能，是工作。我的工作还在吗？我孩子以后还有工作吗？ 他作为政策制定者的回答是：AI 已经在创造岗位，目前更多是副驾驶（co-pilot），人有能动性，只是干得更好。他引了一项 MIT 的研究，说当下 60% 的岗位在 40 年前根本不存在，所以预测本身很难。 马斯克的答案要硬得多。 **"我认为我们面对的是历史上最具颠覆性的力量。我们将第一次拥有比最聪明的人类还聪明的东西。"**（马斯克） 他接着说了一句让现场安静的话：会有那么一个时刻，**没有哪个工作岗位是必需的。**你可以有工作，但那是为了个人满足感。AI 什么都能做。 他不确定这让人舒服还是不舒服，然后把精灵的比喻又拉了回来：一个没有三愿限制的精灵，你想要多少愿望就有多少。所以它同时是好的和坏的。 真正的挑战被他放在了后面：**如果有个精灵能实现你所有愿望，人怎么找到生活的意义？** 苏纳克在这里接了话。他说自己相信工作给人意义，如果拿掉一大块，那股驱动力从哪来？他还讲了个自嘲：他做项目做到凌晨三点，然后会突然想，我在干嘛？我完全可以等 AI 来做。我这是在自我惩罚吗？ 马斯克顺着开了个玩笑：那你就打电话给 Demis（DeepMind 的 Demis Hassabis），让他们快点，你就能去度假了。 玩笑过后，他给了一个不那么悲观的视角。 很多工作是不舒服的、危险的、枯燥的。计算机干这些毫无怨言，乐意干一整天。 > 做饭挺有意思，洗碗就没那么有意思。但计算机很乐意洗碗。（马斯克） 至于人的成就感从哪来，他拿体育做了类比。机器跑得比任何人都快，但我们还是看奥运会，还是看人和人比赛，比谁是最好的"人类"。人从这件事里获得的满足感是真实的。 他还提了一套小说：伊恩·M·班克斯（Iain M. Banks）的"文化"系列。他说不用加"可能"这种限定词，那就是迄今为止对 AI 未来最好的想象，没有能接近的。那是一个相当乌托邦、或者说"前瞻托邦"（protopian）的世界。他推荐所有人去读。 ## 最好的导师，和最耐心的朋友 苏纳克问，你最兴奋的机会是什么。 第一个答案是教育，而且他很具体。他提到了可汗学院的 Sal Khan 今年早些时候的那场演示。一对一导师和班级授课之间的差距是巨大的，这一点在教育研究里早有共识。如果每个孩子都有一个为自己定制、随时间一起成长的私人导师，那是件了不得的事。 马斯克说 AI 导师会非常棒，某种程度上已经在了。他补了一个前提：**AI 得先停止幻觉。**它现在会用完美的语法、漂亮的要点列表、还带引用，自信地给你一个错误答案，而那些引用是编的。这个问题解决得会很快。 第二个答案让在场的人有点意外：陪伴。 他自己先承认这听起来怪，计算机怎么能真的当你的朋友。但如果这个 AI 有记忆，记得你们所有的对话，而且读过所有东西，你甚至可以授权它读你做过的一切。那它会比任何人都了解你，也许比你自己更了解你。你每天跟它说话，对话层层累积，你会真的有一个很好的朋友。 他加了个条件，说得挺认真："只要这个朋友不会被关掉。" 然后他讲了自己的家事。他有一个儿子有学习障碍，交朋友有困难。他说，AI 朋友对他会是很大的帮助。 苏纳克接住了这个话题，说心理治疗已经在大量转向数字和电话渠道，效果显著，AI 提供这种社会价值是完全可能的。 ## 社区笔记：不删帖，只补语境 话题转到 X。苏纳克说，你做了很多改动，其中一个很有意思：把人工审核换成了社区笔记（Community Notes），别人没这么干过。 马斯克的解释从权力说起。如果你手下有一批人做审查，这批人一定有偏见，而**谁指派审查者，谁实际上就控制了信息。** 社区笔记的思路是另外一条：用共识驱动的方式逼近真相。他不认为能达到纯粹的真相，但可以追求"更少的失实"。 设计上分三条。 第一条，社区笔记不删除任何东西。它只是补充语境。语境可以是"这件事不实，理由如下"。 第二条，全部开源。软件的每一行你都能看，写进某条笔记的所有数据你也能看，你甚至可以独立复现那条笔记。如果你发现数据被操纵，你可以指出来，说这里有人在刷系统，还能提改进建议。最大透明度加上群体智慧。 第三条，也是最核心的一条：**一条笔记要显示出来，必须是历史上意见相左的人达成了共识。** 技术实现上有个细节挺有意思。系统会给每个参与社区笔记的用户在参数空间里定位，每人对应几百个向量，因为事情比左右复杂得多。然后做反向相关性分析：好，这批人平时互相不同意，但他们在这一条笔记上一致了。这条笔记因此获得了可信度。 马斯克说效果很好。他很少看到一条错误的笔记能挂超过几个小时。他让抱怨社区笔记在传播虚假信息的人举一个例子，对方举不出来。 整个平台的取向，他总结成一句话：尽可能准确，尽可能真实，**即使有些人不喜欢真相**。他说人不总是喜欢真相。但他相信真相是有回报的。只要不做自我欺骗，这就是聪明的做法。 ## 英国缺的不是大学 第一个现场提问来自 Entrepreneur First 的 Alice Bentinck。她问两边：英国有全世界最好的大学，有人才，要成为独角兽的土壤还差什么？对马斯克那一问更具体：在英国创业对最顶尖的技术人才来说仍然不是一个显然的选择，文化上要补什么？ 马斯克先给了个正面评价，而且是个很多人不知道的事实：**伦敦和旧金山湾区就是 AI 的两个中心。**旧金山大概领先，但伦敦非常强，大伦敦加周边各郡。 然后他讲文化。文化上应该庆祝创办新公司，应该偏向支持小公司，因为需要被照顾的是小公司。大树不需要照顾。 > 你可以把它想成一棵树，小树苗需要培育，长成大树之后就不太需要了。（马斯克） 硬件也得有：愿意租给新公司的房东，愿意服务新公司的律所和会计师事务所。都是些不起眼的东西，缺了就转不动。 苏纳克接过来讲政府那一摊。资本上，从种子轮的 EIS 税收减免（Enterprise Investment Scheme）一路到后期轮次，还有养老金改革，让有钱的人把钱投进成长型股权。人才上，教育改革抓数学，加上签证制度吸引全世界最好的创业者。他给了一个数字：英国增长最快的公司里，**超过一半有非英国籍创始人**。 然后他承认最难的是文化那一块。怎么让人不怕放弃稳定薪水去创业，怎么让人对失败感到自在。他把这个球踢回给马斯克，说你经常讲这个。 马斯克接得很干脆：**第一次创业失败，不应该成为职业生涯的灾难性终结。**应该是"你试过了，现在再来一次"。 他补了一个很少有人提的结构性问题：创业是高危高回报。绝大多数创业公司的真实形态，是大量的工作之后跟着失败。你只听到成功的那几个。所以**高回报那一头必须真实存在**，否则整件事在理性上说不通。 苏纳克把这个"软性游说"接住了，报了几个数：资本利得税率 20%，比欧洲大陆低得多，也比加州低。股票期权的税收待遇，他当财政大臣时英国排在第四第五，改完之后升到了第二。 他的落点是：人承担风险、付出努力，就应该能享受到回报。 ## 明年你最先感觉到的三件事 一位在诺丁汉做连锁药店的提问者（Seb，Boots 的 CEO）问，这些宏大的东西，怎么落到一个普通人的日常里。 苏纳克先讲了个很具体的例子。Gov.UK 这个网站，把政府服务集中到一处，几百万人每天在用。他们即将在上面部署 AI。场景是这样的：你现在人在外面，护照丢了，航班五小时后起飞。今天你得走一堆步骤才能搞清楚怎么办。部署 AI 之后，你直接说这句话，它一步一步带你走完。 他讲得很实在，这套用法谈不上治愈癌症那种级别的突破，作用就是让几百万人每天的日子少一点摩擦。 马斯克给了三个层次。 **第一，一个非常聪明的朋友。**什么都能问，怎么做东西，怎么解决某个问题，它都会告诉你。企业会先用上，所以普通人最先感觉到的可能是客服变好了。 **第二，教育。**任何科目都有一个顶级家教。他再次提醒，得先解决幻觉问题，不然你得到的是一个语法完美、自信满满的错误答案。 **第三，是前面说的陪伴。** 苏纳克在中间插了句玩笑，说对疫情期间在家辅导过孩子的父母来说，这会是巨大的解脱。 ## 能追你上楼的东西 Brent Hoberman 提了机器人。想要富足时代，得有很多机器人。会不会出现某个国家在机器人上大幅领先，从而取得战略优势？ 马斯克先扩大了定义：**任何能被计算机驱动的东西，实际上就是机器人。**特斯拉就是轮子上的机器人。任何联网设备，本质上都是 AI 的末端执行器。所以波士顿动力（Boston Dynamics，现在主要归现代汽车）、戴森、德国的工业机器人，都在这条线上。 他专门点了英国：ARM 是世界上最好的芯片设计公司之一，几乎所有人都在用 ARM 的技术。所以英国在这个方向上不会落后。 然后他讲了一个此前很少公开讲的担忧，讲得非常具体。 安全问题跟形态关系很大。**汽车没法追进这栋楼，你跑上几级台阶就能躲开一辆特斯拉。**人形机器人不一样，它可以跟着你去任何地方。 所以他主张一个硬件层面的设计：**一个硬连线的本地紧急停止开关，不能通过网络更新。**任何能通过网络软件更新的东西，都能被覆盖。但如果有一个本地开关，比如一个关键词，触发之后机器人进入安全状态，而且你不需要靠近它就能触发，那就完全不一样。他还补了一句：全世界跑着几百万台这种机器的时候，这个开关的分量就更明显了。 苏纳克回应说，当天峰会的小组讨论里，大家提到了同一个点，而且是从电影切入的。他们数了一堆片子，说这些电影的情节本质上是同一个：最后总有人找到办法把它关掉。 两个人不约而同落到了同一个结论上：物理层面的关闭能力。 马斯克还开了个脑洞：也许可以把"你最喜欢的詹姆斯·卡梅隆电影是哪部"设成 AI 测试题。 ## 验证码已经防不住任何人了 一位在利兹做 AI 和机器学习规模化的创始人（英国第三大 AI 中心，他自称有点偏心）提了钓鱼攻击的问题。ChatGPT 发布三个月后，他们观察到钓鱼攻击明显上升，语言模式复杂得多。怎么保护企业和消费者，怎么让人信任这项技术？ 马斯克的回答跟问题方向相反："我们其实不该那么信任它。" 他讲了一个正在失效的机制：人机验证。就是那个"你是真人吗，点出图中所有红绿灯"。**开源 AI 已经能通过人类验证码，而且比人更快更准。**那么问题就变成了，当机器比人更擅长证明自己是人的时候，什么测试才是有意义的。 他说自己没有好答案。这是 X 平台正在试图解决的问题。 他们想到的办法是收钱，但收得很小：**一年一美元或者一英镑。**金额小到对真人毫无感觉，但它让"造一百万个机器人"变得明显昂贵。难点在这儿：**一百万个机器人需要一百万个支付方式**，而盗用的信用卡是用得完的。折算下来大概是一天 0.3 美分。 他的判断很悲观：这个问题今年还在增长，**明年可能就变成无法解决的问题**。任何不做这件事的社交平台，最终都会被机器人淹没。 他还点了另一层：信息操纵。用机器人点赞和转发，让一件根本没人关心的事看起来极其热门。这比伪造账号更隐蔽。 苏纳克这边给了政策视角：得让人看到风险在被处理，信任才建立得起来。这就是安全研究所、研究能力、快速迭代的意义。峰会的这两天，做的就是这件事。 他提到英国前一天发布的一份研究报告，内容正是用 AI 批量制造假账号、渗透特定社群、定向投放信息。他说成本现在几乎为零，正在走向"一分钱一百个"的荒谬程度。而且这件事在社区、城镇这个层级特别有效，**你不需要很多账号，就能让某个本地议题看起来到处都是人在讨论。** 马斯克补充了技术细节，讲得挺冷：你甚至不用盗用真人的照片，因为照片可以溯源。你可以直接生成一张不存在的人脸，配一份不存在但看着很真的简历，然后批量做。 他最后半开玩笑地说了唯一还能露馅的地方：机器人的语法太好了。没有拼写错误。 ## 加密签名，和教皇的羽绒服 最后一个提问来自 Adobe 的人：视觉媒体上有没有简单的办法？现在让人说没说过的话、做没做过的事，几乎免费。能不能做加密签名的媒体，标明哪些是 AI 生成、哪些来自真实相机？Twitter 当年参与过这个项目（内容来源与真实性联盟 C2PA），他希望 X 回来。 马斯克的回答很直接："好主意，我们应该做。" 苏纳克接着讲了自己的经历。他遇到过被篡改的图片到处传播，等他反应过来、等大家意识到是假的时候，伤害已经造成了。 他把这件事放到了时间表上。**明年美国、印度、印尼、英国、欧盟都有大选，全球相当大比例的人口要投票。**这可能是第一场深度伪造真正构成问题的选举。怎么处理，关系到民主制度的完整性。 整场对话最轻松的一段出现在这里。马斯克提到了教皇穿白色羽绒服的那张图。他说那张图很棒，但他到现在还遇到有人相信那是真的。他的反驳是：七月在罗马穿羽绒服，人会热死的。然后他又补了一句，说其实那件挺好看的。**他说 AI 时尚会成真。** ## 他给出的那个数字 收尾时，马斯克把整场对话压缩成了几句话。 我们生活在最有趣的时代。这件事大概 80% 会是好的，20% 是坏的。如果我们清楚坏的那部分并且足够小心，那么总体上，它会变成我们想要的未来，或者说更可取的那个未来。 它会成为某种均衡器。因为每个人都能用上那个精灵。每个人都能获得商品、服务和教育。所以他倾向于给出一个乐观的结论：它大概会带来更多的人类幸福。 苏纳克说他离开时比来时更有信心。政府的职责是让它安全地发生。 这场对话里最有价值的部分，是一串可以着手的地方。那些关于超级智能的宏大判断相比之下没那么有用：**裁判要有，而且要快；中国必须在桌上；发布之前就得测；机器人身上要有物理开关；账号要收一点点钱；媒体要有加密签名。**每一条都不完美，但每一条都比"再观察观察"要具体。 - **读一遍班克斯的"文化"系列。**这是马斯克在这场对话里给出的唯一一个非技术建议，他用了"这就是迄今为止最好的想象，没有能接近的"这种强度的判断。理解 AI 的未来图景，比争论某个模型的具体参数更有长期价值。 - **把"能力每年提升五到十倍"当成规划的时间常数。**如果你手上有一份三年技术路线图，用这个斜率重算一遍。落后一年意味着差五倍，这个数字对个人技能、公司架构、监管框架同样成立。 - **对"看着很真"的东西默认怀疑，尤其是语法完美、要点齐全、还带有引用链接的内容。**马斯克说的"机器人语法太好"是个可以用起来的判据，反向也成立：一份没有拼写错误、结构过度工整、引用查不到的文档，值得多查一遍来源。 - **如果你是做内容或媒体的，认真看一遍 C2PA 这类内容来源加密标准。**Adobe 那位提问者问的是一件已经有人在做、但参与方还不够多的事。明年是选举大年，签名和溯源会从"可有可无"变成硬需求。 - **如果你是做产品的，把"AI 身份的边际成本"当成一个设计变量。**X 的思路值得抄：不需要根除机器人，只需要让批量制造变得不经济。一年一美元、一天 0.3 美分，这个量级的摩擦对真人无感，对百万级操作致命。 - **关注开源和闭源之间那个"6 到 12 个月"的真实差距。**在这个斜率下它等于五倍能力差。选型的时候，别把"半年后开源就会有"当成等价替代方案。