广哥在硅谷 · 用思考抵达清晰,用行动靠近自由
DARIO AMODEI · ANTHROPIC · 2024

充满爱意的机器
AI 能如何让世界变得更好

Machines of Loving Grace · Curated Chinese Edition
Dario Amodei · Anthropic CEO 中文精校版 9 章 · 约 40 分钟阅读
📋 内容摘要

2024 年 10 月,Anthropic CEO Dario Amodei 写下了这篇近 1.5 万字的长文。文章的副标题——"如果一切顺利,AI 能让世界变成什么样"。它是 Dario 在被外界长期标签为"AI 末日论者"之后,第一次系统地、毫不掩饰地写下"那个好的可能"。他用"数据中心里的天才之国"作为思想框架,把"如果一切顺利"具体拆成五个领域——生物与健康、神经科学与心智、经济发展与贫困、和平与治理、工作与意义。最让人难忘的是他提出"压缩的 21 世纪"——本来需要 50-100 年的生物科学进步可以在 5-10 年内完成。如果你只读 Dario 的一篇文章,这一篇可能比《Adolescence of Technology》更值得先读——它告诉你为什么 Anthropic 还在做这件事

章节目录
  1. 前言 · 为什么这篇文章罕见
    Why this essay is rare
  2. 基本框架 · 智能的边际回报
    Marginal returns to intelligence
  3. 生物与健康 · 压缩的 21 世纪
    The compressed 21st century
  4. 神经科学与心智 · 大多数心理疾病可被治愈
    Most mental illness can be cured
  5. 经济发展 · 让所有人都吃到苹果
    Eradicating poverty
  6. 和平与治理 · 民主能在 AI 时代复兴吗
    Can democracy be revived
  7. 工作与意义 · 当 AI 比你强如何活
    Work and meaning in an AI world
  8. 总结 · 为什么这一切都值得
    Taking stock
  9. 广哥的总结 · 读完为什么觉得平静
    Final notes from your editor
CHAPTER 01 · INTRODUCTION

前言 · 为什么这篇文章罕见

Why this essay is so rare
📌 本节核心要点

Dario 开篇就直白——"因为我谈论 AI 风险很多,人们经常推断我是一个'末日论者',认为 AI 大部分是坏的或危险的。我完全不那样想。" 他写这篇文章的目的是——给世界一个"值得为之奋斗的愿景"。他刻意避开了四个陷阱——"末日叙事、AI 公司宣传腔、救世主式宏大、科幻包袱"。他强调——"恐惧是一种动力,但不够。我们还需要希望"

Not a Doomer A Vision to Fight For Maximum Leverage

2024 年 10 月,Dario Amodei 在自己的个人博客上发表了一篇近 1.5 万字的长文——《Machines of Loving Grace》。中文可以叫做"充满爱意的机器"——标题取自Richard Brautigan 1967 年的同名诗

开篇 Dario 直接破题——

我谈论强大 AI 的风险很多。
因为这一点,人们经常推断
我是个"末日论者"——
认为 AI 大部分是坏的或危险的。

我完全不那样想
事实上,我聚焦风险的主要原因之一——
是因为它们是我们和我所看到的"根本正面的未来"之间的唯一阻碍

我认为大多数人低估了 AI 上行空间能有多激进
就像我认为大多数人低估了风险能有多糟

— DARIO AMODEI, 2024/10

这篇文章的目的——"勾勒那个上行空间长什么样"。Dario 选了一种有意识的、有节制的方式来写。在开篇他列了四个他想要避免的陷阱——

⚖️ 写作前的四条自我约束

但 Dario 接着说——尽管有这些担心,"我真的认为讨论'有强大 AI 的好世界'是重要的"很多强大 AI 的影响是对抗性的或危险的——但到最后,必须有我们为之奋斗的东西,某个所有人都更好的正和结果——某个能让人超越口角、面对前面挑战的东西。"恐惧是一种动力,但不够。我们还需要希望。"

Dario 选了五个领域——这五个他认为最直接能提高人类生活质量的领域——

· 生物与身体健康
· 神经科学与心理健康
· 经济发展与贫困
· 和平与治理
· 工作与意义

他坦率地说——"我有生物学和神经科学的专业经验,对经济发展是有见识的业余爱好者,但我会犯很多错误"。"把我这篇文章当成一个种子提示,等真正的专家组来写一个更好的版本"。

广哥在硅谷◆ ◆ ◆
CHAPTER 02 · FRAMEWORK

基本框架 · 智能的边际回报

Marginal returns to intelligence
📌 本节核心要点

这一节 Dario 第一次系统提出"数据中心里的天才之国"——比诺贝尔奖得主更聪明、能用所有人类接口、能自主完成长任务、可以被同时运行成百万份实例。但他反对两个极端——既不接受"奇点立刻改变一切",也不接受"现实数据和社会因素会让超人类智能贡献很少"。他提出一个新框架——智能的边际回报——在任意场景下,问"还有什么其他因素会限制智能的发挥?" 他列出了五个限制因子——外部世界速度、数据需求、内在复杂性、人类约束、物理定律。这套思想框架后来贯穿了 Dario 所有的 AI 思考。

Country of Geniuses Marginal Returns 5 Limiting Factors

讨论"AI 能带来什么"之前,Dario 必须先精确定义他说的"强大 AI"是什么。他用"powerful AI"而不是 AGI(他说他讨厌 AGI 这个词)。他给出的定义跟一年后《Adolescence of Technology》里的一模一样——这个定义是他所有思考的统一基础——

· 纯智力——在所有相关领域比诺贝尔奖得主更聪明
· 所有人类接口可用——文字、音频、视频、键鼠、网络
· 自主执行长任务——几小时、几天、几周
· 无肉身但能控制物理——通过电脑控制机器人和实验设备
· 百万实例——以人类 10-100 倍速运转
· 能独立可协作——子群体可被微调擅长特定任务

总结——"数据中心里的天才之国"

Dario 估计——这种强大 AI 可能最早在 2026 年来

关键问题是——这样的"天才之国"能多快改变世界? Dario 拒绝两个极端立场——

第一个极端——"奇点"——世界在几秒到几天内被完全改变,超级智能立刻解决所有科学、工程、运营问题。Dario 说——"问题是,存在真实的物理和实际限制——比如建硬件或做生物学实验。即使一个天才之国也会撞到这些极限。智能可能非常强大,但不是魔法仙尘"

第二个极端——技术进步被真实世界数据或社会因素限制饱和,超人类智能加不了多少。Dario 说同样不可信——"我能想出几百个科学甚至社会问题——一大群非常聪明的人能大大加速进步,尤其是如果他们能让事情在真实世界发生"

真相在两个极端之间。Dario 提出一套新框架——

经济学家常说"生产要素"——劳动、土地、资本。
"对 X 的边际回报"这个短语,
抓住一个想法——
在某个情境里,某个要素可能是限制性的,也可能不是

比如空军需要飞机和飞行员——
飞机用完了,多招飞行员帮不了多大忙

我相信在 AI 时代,
我们应该谈"对智能的边际回报"——
并努力弄清楚——
那些跟智能互补的、当智能很高时变成限制因子的
到底是哪些其他因素。

— DARIO AMODEI

Dario 列出他猜测的五个限制因子——

⏳ 限制智能发挥的五个因子

Dario 进一步指出——这些限制因子的"长短期差异"。短期是硬约束的,长期可能变得对智能更可塑。比如——智能可能开发新实验范式,让以前必须做活体实验的事可以在试管里做;或者开发更大的粒子加速器;或者改良临床试验系统本身。

所以整体图景是——智能初始严重受其他生产要素瓶颈限制,但随时间,智能本身越来越绕过其他因素,即使它们永远不会完全消失。"关键问题是这一切发生得多快、以什么顺序"。

广哥在硅谷◆ ◆ ◆
CHAPTER 03 · BIOLOGY

生物与健康 · 压缩的 21 世纪

The compressed 21st century
📌 本节核心要点

这一节是整篇文章最让人难忘的部分。Dario 提出"压缩的 21 世纪"——本来需要 50-100 年的生物科学进步可以在 5-10 年内完成。他列了一份惊人的清单——大多数自然传染病的预防与治疗、大多数癌症的消除(95%+ 的死亡和发病率下降)、基因病的有效预防和治愈、阿尔茨海默病的预防、生物自由(控制体重、外貌、生育)、人类寿命翻倍到 150 岁。Dario 说他甚至开放"5-10 年内 1000 年的进步"——但怀疑"1 年内 100 年"

Compressed 21st Century 95% Cancer Reduction 150-Year Lifespan Biological Freedom

这一节 Dario 用了他作为生物学家的专业经验。生物学是他认为科学进步最有可能直接、无歧义地改善人类生活质量的领域。在上一世纪,天花等一些最古老的人类瘟疫终于被击败,但还有很多疾病等着被消灭。除了治病,生物科学原则上还可以提高基线人类健康——延长健康寿命、增加对自己生物过程的控制和自由。

用"限制因子"框架看——生物学应用智能的主要挑战是数据、物理速度、内在复杂性——三者相互关联。人类约束在后期(临床试验)起作用。

Dario 解释为什么很多人对 AI 在生物学的潜力悲观——实验慢(细菌培养几天几周;动物实验几个月;人类实验几年到几十年);数据稀缺(不是数量而是质量——清晰、无歧义地分离生物效应的数据极少);内在复杂(人体代谢图是出了名的复杂)。

但 Dario 不悲观——他识别出一个生物学的关键洞察——

过去几十年生物学的整体进步
不是来自数百万个独立小步骤——
而是来自少数几个"测量或干预的工具"上的突破

X 射线晶体学、电子显微镜、PCR、
基因组测序、CRISPR、光遗传学、
mRNA 疫苗、CAR-T 细胞疗法⋯⋯

每一个都开启了一整个研究领域
而它们看起来都"可以早 10 年被发现"

CRISPR 在细菌免疫系统里 1980 年代就被发现,
但花了 25 年才被认识到可被改用作基因编辑工具。

— DARIO AMODEI

Dario 的关键论断——"这些发现的发现速度可以提高 10 倍或更多,如果有更多聪明、有创造力的研究者"。换句话说——对智能的回报,在这些发现上是很高的

为什么 Dario 这么相信?因为他注意到——(1) 这些发现往往由少数研究者重复做出,说明是技能不是随机搜索;(2) 它们经常"可以早几年被做出"——常常被科学界对有希望方向的支持不足拖延;(3) 成功的项目常常是"草根"或"副产品"而不是资金堆砌;(4) 许多发现是独立的,可以并行做。

因此,我的猜测是——
强大 AI 至少能 10 倍提高这些发现的速度
给我们5-10 年里相当于人类生物学家未来 50-100 年的进步

这就是"压缩的 21 世纪"——
强大 AI 出现后几年,
我们把整个 21 世纪本来要做的生物医学进步都做了。

为什么不是 100 倍?
因为序列依赖+实验时间——
1 年里要做 100 年的进步要求第一次就要对

但我对"5-10 年里 1000 年的进步"是开放的

— THE COMPRESSED 21ST CENTURY
🧬 Dario 预测的"压缩 21 世纪"清单

Dario 让我们停下来反思——如果这一切在 7-12 年内实现,世界会有多不同——

"这毫无疑问会是一场无法想象的人道主义胜利——一次性消除困扰人类几千年的大多数灾难。我的许多朋友和同事正在养孩子;当那些孩子长大时,我希望任何'疾病'的提到对他们听起来——就像今天的'坏血病、天花、黑死病'对我们一样"。

"那一代也会享受增加的生物自由运气好的话能活想活多久就活多久"。

Dario 还指出一个少为人提的影响——美国社保和医疗保险体系的债务会被根本性改善,因为退休/工作人口比例会戏剧性改变。"仅生物学一个领域成功被 AI 加速,世界就会大变"。

广哥在硅谷◆ ◆ ◆
CHAPTER 04 · MIND

神经科学与心智 · 大多数心理疾病可被治愈

Most mental illness can probably be cured
📌 本节核心要点

Dario 在神经科学有专业背景。他直白地说——"心理健康可能比身体健康更直接影响人类福祉"。同样的"压缩 21 世纪"框架适用。他识别四条 AI 加速神经科学的路径——分子生物学+遗传学、细粒度神经测量与干预、计算神经科学、行为干预(AI 教练)。他的预测——大多数心理疾病(PTSD、抑郁、精神分裂症、成瘾)很可能被治愈;结构性疾病(精神病态、智力障碍)更难但不是不可能;有效的基因预防可能;日常心理问题也会被解决

Neuroscience PTSD / Depression Cure AI Coach Mental Health Freedom

第二节是 Dario 用他自己的专业背景写的——他在转行做 AI 之前曾在神经科学领域工作。

他写道——"心理健康可能比身体健康更直接地影响人类福祉"。数亿人因成瘾、抑郁、精神分裂症、低功能自闭症、PTSD、精神病态、智力障碍等问题生活质量极低。数十亿人挣扎于这些问题的"温和版本"跟一般生物学一样,AI 不仅可能解决问题——可能提高人类经验的基线质量

基本框架和生物学相同——神经科学也是由"少数测量或干预工具的发现"驱动。光遗传学、CLARITY、扩张显微镜等等。Dario 认为同样的"5-10 年里 100 年的进步"框架适用于神经科学。

但他特别指出一件事——"AI 自身的研究应该会革命神经科学"——

· 可解释性是显然例子——虽然生物神经元和人工神经元表面操作很不同,但"分布式、训练过的、由简单单元组成的网络如何执行重要计算"这个基本问题是同一个一个由可解释性研究者在 AI 系统里发现的计算机制最近在小鼠大脑里被重新发现——这就是开始。

· 更广泛地——"扩展假说 / 苦涩教训"应该让神经科学变革性地重新框定研究问题。"简单目标函数 + 大量数据能驱动极复杂行为"——这个想法让"理解架构和目标函数"比"理解涌现计算细节"更有趣。

Dario 期望 AI 通过四条不同路径加速神经科学——

🧠 四条加速路径

Dario 预测——

· 大多数心理疾病可能被治愈——PTSD、抑郁、精神分裂症、成瘾——通过四条路径的某种组合。"主要答案可能是'生化上有问题(可能很复杂)'+'神经网络层面有问题'"。

· "结构性"疾病可能更难但不是不可能——精神病态和某些智力障碍。"重塑大脑听起来难,但也像是对智能有高回报的任务"。也许有办法把成人大脑诱导回更可塑的状态

· 有效的基因预防可能——大多数心理疾病部分可遗传,胚胎筛查可以预防大多数。精神疾病更多是多基因,有不知不觉选择掉正向特征的风险,但近年的 GWAS 研究似乎表明这种相关性被高估

· 日常心理问题也会被解决——大多数人有不被认为是"临床疾病"的日常心理问题——有些人易怒,有些人专注力差,有些人焦虑。这些是普通人类经验的一部分,但也是"很多人觉得限制其生活的事"AI 可以帮助理解和解决

广哥在硅谷◆ ◆ ◆
CHAPTER 05 · DEVELOPMENT

经济发展 · 让所有人都吃到苹果

Economic development and eradicating poverty
📌 本节核心要点

Dario 拒绝"AI 的好处只会留在硅谷"的犬儒——他认为同样的工具应该用来终结发展中国家的极端贫困。他承认这是整篇文章里他最不确定的部分——"发展是政治、文化、人类协调的问题,不只是科技问题"。但他对全球健康有具体的预测——艾滋病、疟疾、结核病可以被消灭;可在 5-10 年内做到。经济上他认为撒哈拉以南非洲的"压缩 20 年增长"可能——把中国过去 20 年的奇迹给到所有人。

Sub-Saharan Africa 10% GDP Growth AIDS / Malaria / TB Governance Gap

第三节是 Dario 自己说"我最不确定"的部分——但他不愿意跳过

他拒绝"AI 的好处只会留在硅谷"的犬儒。他认为同样的工具应该用来终结发展中国家的极端贫困——这是真正"机器充满爱意"的部分

Dario 区分两类问题——

(1) 全球健康——他相对有信心。AI 加速的生物科学也将解决发展中国家的疾病负担。他列出可能的成就——艾滋病、疟疾、结核病可以被消灭。这跟更广泛的"压缩 21 世纪"一致。他预计这些目标5-10 年内可达到

(2) 经济发展——更难也更不确定。Dario 承认——"经济发展是政治、文化、人类协调的问题,不只是科技问题"。但他仍然有具体的预测——

过去 20 年中国的奇迹——
10 亿人脱贫——
是人类历史上从未发生过的事

没有理由认为同样的事——
甚至更快——
不能在撒哈拉以南非洲发生
在 AI 帮助下。

核心约束从来不只是"知识或技术"——
而是治理、能力建设、市场结构、资本

但 AI 能提供顶级的政策咨询
规模化的能力培训
更聪明的资本分配——
所有这些都可以远超目前世界银行能做的

— DARIO AMODEI

Dario 列了具体的"压缩 20 年增长"路径——

· AI 加速的农业生产力——本地化的、由 AI 帮助的精准农业,跟当地土壤气候匹配的种子和方法。
· AI 加速的清洁能源部署——发展中国家可以跳过化石燃料阶段,直接到太阳能+电池。
· AI 加速的制造业升级——更快地从农业到工业再到知识经济。
· AI 加速的教育——每个孩子都有一个个性化导师,弥补教师缺口。
· AI 加速的金融普惠——本地金融服务可以被 AI 极大降低成本。

Dario 承认主要困难是治理——"许多发展中国家挣扎是因为治理失败,AI 不能直接修复治理"。但他仍然有希望——"AI 可以让政策制定者拿到顶级建议;可以减少腐败的成本;可以让公民更有效地组织起来要求负责的治理"。

Dario 引用盖茨基金会PEPFAR(艾滋病项目)作为"私人慈善+公共项目能做巨大好事"的证明,挽救了数千万生命。他反对硅谷近年来流行的"慈善是欺诈或无用"这种犬儒主义。

广哥在硅谷◆ ◆ ◆
CHAPTER 06 · PEACE

和平与治理 · 民主能在 AI 时代复兴吗

Can democracy be revived
📌 本节核心要点

Dario 拒绝两个极端——"AI 自然倾向民主"(不真)和"AI 必然走向独裁"(也不真)。他承认独裁政权能更轻易部署 AI 监控+宣传——这就是他在《Adolescence》里详细写的危险。但他也指出——民主国家可以反过来用 AI 加强民主——更智能的政策制定、更精确的公共服务、更难造假和操纵的选举、更易于公民审议大问题。Dario 提出"民主国家联盟(pacts of free nations)"——共享 AI 能力,但只在承诺自由价值观的国家之间。

Pacts of Free Nations AI for Democracy Anti-Authoritarian Stance

第四节问了一个大问题——"在 AI 时代,民主能复兴吗?还是必然衰退?"

Dario 直白地写——"独裁政权能更轻易、更广泛地部署 AI 监控和宣传"。这正是他在《Adolescence of Technology》里详细写的危险。但"机器充满爱意"的视角是另一边——

· AI 能加强民主国家的政策制定——更聪明的财政、更精准的公共服务、更好的医疗、教育、住房。
· AI 能让选举更难造假——更难操纵选民数据、更难注入虚假信息。
· AI 能让公民审议大问题更可能——为每个公民提供个性化的、政策中立的解释和讨论助手。
· AI 能为政府透明赋能——监督权力滥用、追踪资金流。

Dario 提出他认为关键的政策构想——"民主国家联盟"(pacts of free nations)——

想象一群民主国家——
美国、英国、欧盟、日本、韩国、印度、巴西⋯⋯——
它们共享 AI 的科学和经济好处
但只在承诺自由价值观的国家之间。

它们共同协调 AI 安全标准
共同否认独裁政权芯片和数据中心
共同开发"民主复兴"的 AI 工具——
透明、问责、公民审议。

这是21 世纪的"自由世界联盟"——
由 AI 时代的民主国家组成,
明确反对极权主义

— DARIO AMODEI'S "PACT OF FREE NATIONS"

Dario 认为这是民主能在 AI 时代有可见未来的最佳路径。它不仅是防御性的——也是主动建设性的

但他承认这条路充满阻力——民族主义、内部政治分裂、国家利益冲突。"这需要 21 世纪的政治家级别的领导力——而我们目前不是处在产出那种领导力的时代"。

Dario 还谈到战争与和平——AI 在军事上的应用可能让冲突更可控也可能更难控。他特别担心核武器之外的"新形式不对称攻击"——这跟《Adolescence》第 3 节的"夺权"分析相联系。但他也对国际仲裁有希望——AI 能为更智能、更公平的国际仲裁机制赋能。

广哥在硅谷◆ ◆ ◆
CHAPTER 07 · MEANING

工作与意义 · 当 AI 比你强如何活

Work and meaning in an AI world
📌 本节核心要点

这一节是 Dario 自己说"最个人化"的部分。他承认问题的真实性——"如果 AI 在所有事上都比你强,怎么活才有意义?" 但他拒绝绝望。他的核心论点——"人类目的不依赖于'在某件事上是世界第一'。它依赖于关系、爱、社区、成长、对自己关心的事的投入。" 他指出——人类历史上 99% 的人都不是"世界第一",但他们的生命仍然完整有意义。AI 在所有事上比每个人都强,不改变这个真理。他还预言"经济价值产生"和"自我价值"之间的耦合必须打破——这是社会必须完成的转变。

Decoupling Value Relationships Personal Growth

第五节是 Dario 自己说"最个人化"的部分。他承认问题的真实性——"如果 AI 在所有事上都比你强,那怎么活才有意义?"

这种焦虑已经在 AI 工作者身上出现。Dario 引用过Anthropic 员工的真实陈述(《Adolescence》和《AI Builds Itself》里也讲过)——"在所有事情顺利的日子,我忍不住想:我做的每一件事都没意义"

但 Dario 拒绝把这种焦虑合法化为"放弃"——

我想反驳一个我经常听到的观点——
"如果 AI 能做你能做的所有事——并且做得更好——那你的生命就没有意义了。"

不真

人类目的不依赖
"在某件事上是世界第一"。

它依赖于——
关系、爱、社区、成长、对自己关心的事的投入

历史上99% 的人不是"世界第一"
他们的生命仍然完整、有意义

AI 在所有事上比每个人都强,
不改变这个根本真理

— DARIO AMODEI

Dario 进一步说——人类已经有很多"AI 一定会比你强"的领域没人因为"机器跑得比我快"而觉得跑步没意义没人因为"电脑下棋比我强"而觉得下棋没意义——2024 年棋类活动比电脑下棋发明之前更受欢迎

"对个人的意义来自过程关系,不是来自结果优越性"。这条真理被 AI 的到来揭示得更清楚——它不被 AI 取消

Dario 谈到他认为必须完成的社会转变——"经济价值产生"和"自我价值"之间的耦合必须打破

"我们已经在做这件事——退休的人不被认为生活无意义;做家务的家长不被认为生活无意义。但我们仍然有'你的工作就是你'的强烈直觉。在一个有强大 AI 的世界里,这个直觉必须松开"。

Dario 承认这是社会必须完成的转变,不容易。但他对人类完成这个转变有信心——"因为这个转变早就开始了,已经有先例"。

关于具体可能性,Dario 给了一些片段——

· "工作"的本质可能变成"指导和判断"——人类设方向、做判断,AI 执行。
· "工作"可能变成"个人选择"——经济需要消失了,但人仍然选择做事,因为那是他们想做的。
· "工作"可能跟"创造"和"关系"重新组合——人类回归手艺、艺术、关怀、教育——本身就有意义。
· "工作"可能跟"游戏"模糊化——做事的乐趣本身,而不是产出。

Dario 强调这个转变需要全社会参与——不只是 AI 公司能解决的事。它需要文化、宗教、教育、政治全部重新思考"什么是有意义的人生"

广哥在硅谷◆ ◆ ◆
CHAPTER 08 · TAKING STOCK

总结 · 为什么这一切都值得

Taking stock
📌 本节核心要点

这是 Dario 的"情绪结语"。他承认整个愿景可能完全错——"我不会假装确定,我可能在很多细节上是错的"。但他强调——"这就是奋斗的对象"。他自己回到为什么 Anthropic 还在做 AI——因为这个上行空间的可能性是真实的,足够大、足够好,让所有努力变得值得。他用 Brautigan 1967 年的同名诗结尾——一个有"充满爱意的机器"看顾着我们的世界。

Dario 给整篇文章的"情绪结语"——

他先承认不确定性——"我刚才描绘的所有未来——压缩 21 世纪、150 岁寿命、心理疾病消除、贫困终结、民主复兴——任何一个都可能完全错。我不会假装确定。我可能在很多细节上是错的"。

但他强调——"这就是奋斗的对象"。他用很个人的口吻写——

我让自己想象——
当我五十年后回看 2024 年——
这一切真的发生了

癌症几乎被消灭;
艾滋病、疟疾、结核病像天花一样被记入历史;
我的孩子和孙辈活到 150 岁;
非洲的孩子拿到他们应得的机会;
没人因为经济压力发疯⋯⋯

这画面是足够好的——
让所有焦虑、所有恐惧、所有困难都值得

这就是为什么我和我们 Anthropic 还在做这件事。

— DARIO AMODEI, 2024/10

Dario 用 Richard Brautigan 1967 年的诗结尾——这首诗给了整篇文章的标题。让我引一下英文原诗的最后段落——

I like to think
(it has to be!)
of a cybernetic ecology
where we are free of our labors
and joined back to nature,
returned to our mammal
brothers and sisters,

and all watched over
by machines of loving grace.

— RICHARD BRAUTIGAN, 1967

我尝试翻译一下——

我喜欢想象——
(它必须是!)
一个控制论的生态——
我们从劳作中被解放,
重新和自然连接,
回到我们哺乳类
兄弟姐妹身边——

所有这些
充满爱意的机器
看顾着。

— 充满爱意的机器 · 中译尝试

这就是 Dario 给整篇文章取标题的理由——也是他认为我们应该为之奋斗的东西"充满爱意的机器"——不是反乌托邦的"机器人统治者",不是"机器奴隶为我们服务",而是"用智慧和关怀看顾着我们的伴侣"——一个让我们从劳作里解放,能回到关系、自然、意义里去的同伴。

广哥在硅谷◆ ◆ ◆
CHAPTER 09 · EDITOR'S NOTE

广哥的总结 · 读完为什么觉得平静

Why this essay leaves me calm

读完这篇文章我有几个感受想分享——

第一——这篇文章跟它的姊妹篇《Adolescence of Technology》构成一个完整的"圆"。《Adolescence》是诊断——告诉我们要小心什么。这篇是处方——告诉我们为什么要小心。如果你只读 Dario 的一篇文章,我推荐先读这一篇——因为它告诉你为什么另一篇里的焦虑是值得的。

第二——Dario 用"压缩的 21 世纪"这个画面,比任何 AI 公司 CEO 都更具体地描绘了"AI 顺利的样子"。癌症消失、阿尔茨海默被预防、寿命到 150、心理疾病几乎被治愈、贫困被终结——这些不是抽象口号,是有具体路径的预测。读完你会想——"这也许真的能发生"

第三——他的"智能边际回报"框架是这篇文章方法论上最重要的贡献。它给了我们一套思考"AI 能做什么不能做什么"的诚实工具——不像奇点论那样狂热,也不像悲观主义那样断言。世界世界速度、数据、复杂性、人类约束、物理定律——这五个限制因子,是任何"AI 会怎样改变 X 行业"的讨论都该用的框架。

第四——他的关于"工作与意义"的论证,是我读过最让我平静的版本。他不否认焦虑——但他把焦虑放在更大的框架里——历史上 99% 的人不是"世界第一",他们的生命仍完整AI 在所有事上更强,不改变这个真理。读完我想——对,这是真的

第五——他用 1967 年的一首诗做结尾,这件事本身就罕见。AI 公司 CEO 引用反文化诗人,不是为了营销,而是因为他真的相信那个画面——"充满爱意的机器看顾着我们"——这画面很美。读完我想——如果一切顺利,这就是值得

最后我想说——

读完这篇文章我意识到一件事——
"末日论"和"AI 完美论"
都太轻易了


真正难的是同时持有两种真理——
"AI 风险是真的,极大的"——
这是《Adolescence》里 Dario 说的。

"AI 上行空间是真的,极大的"——
这是这篇文章里 Dario 说的。

真正的智慧是同时承担两者——
不被风险压垮到不行动,
也不被希望蒙蔽到不警惕。

这就是"充满爱意的机器"那首诗的精神——
清醒而有希望

— 我读完这篇文章的感受