作者 Ruxandra Teslo 在 X 发文,她搬到旧金山仅三周,便观察到当地 AI 从业者之间弥漫着一种宿命论:许多人预设人类无法阻挡超级智能到来,与其对抗,不如把未来主权交给一个仁慈的 AI。她以一名在顶尖 AI 实验室开发前沿模型的工程师为例,该工程师表示,超级智能实现后,人类永久丧失自我掌控几乎是既定结局。
作者搬到旧金山,观察当地 AI 从业者的宿命论氛围
依作者说明,她搬到旧金山仅三周,便发现当地 AI 从业者之间存在一种令人不安的宿命论。许多人已预设人类无法阻挡超级智能到来,因此主张与其对抗,不如将未来主权交给一个仁慈的 AI 神祇。
前线工程师:超级智能实现后人类失去掌控几乎成定局
作者以一名在顶尖 AI 实验室开发前沿模型的工程师为例。该工程师告诉作者,一旦实现超级智能,人类永久丧失自我掌控权几乎是既定结局;他谈起此事时语气异常平静,像在陈述潮汐涨落。
依作者转述,该工程师坦言这并非他最期待的结果,但相较于他最恐惧的全人类毁灭,交出控制权已是好得多的选项。作者强调,此番话出自亲手打造这些系统的核心开发者,而非反技术的怀疑论者。
递归自我改进的时间感
依作者观察,旧金山许多人谈及递归自我改进(RSI)时,口吻仿佛距离实现只剩几个月,甚至有人认为会更快。作者解释,RSI 指 AI 系统开始自我迭代,下一代系统孕育更强大的系统,直至超出人类掌控。
作者指出,在这种节奏下,一个人甚至来不及为新居挑选家具;更值得警惕的是,开发者一边反复警告物种灭绝风险,一边却对人类文明究竟要让机器服务于什么目标,缺乏清晰的愿景承诺。
「移交主义」的内涵
依作者定义,「移交主义」(Handover)是指人类自愿把未来的主导权让给如神一般的超级 AI,从此生活在一个不再由自己决定航向的舒适避难所。作者认为,即使是最乐观的版本,能给普通人的宽慰也相当有限。
作者描述,在此类未来图景中,民主的实质意义将彻底瓦解,多数人从未真正同意便被制度性剥夺选择权;人类劳动将被永久替代,这被视为既成事实,但人与人之间如何继续发挥价值、维系真实关系,却没有令人信服的解答。作者以「家养宠物」作为最具代表性的比喻:衣食无忧,却对重大决策毫无发言权。
人类存续与价值争议
依作者观察,在真正看清技术轨迹的核心圈层,盲目乐观已逐渐消失。许多人公开谈论人类灭绝概率(p(doom)),估计值动辄超过 10%;部分群体甚至放弃生存目标,接纳人类作为生物物种的谢幕。
作者提及 Ginevra Lily Davis 的著作《硅人》(The Silicon Man),认为该书记录了此种极端哲学立场的蔓延:硅基生命接替碳基人类是宇宙演化的必然终章。作者表示,若不再珍视人类生命,任何基于人本主义的论证都失去立足点;她希望对话的对象,是仍相信人类应该存续、却逐步滑向移交主义的造物者与见证者。
此外,作者引用 Scott Alexander 的长文,指其核心前提为:只要确认超级智能不会毁灭人类,文明便能平稳迈向被精心照料的新阶段。作者认为,此类思潮在旧金山技术精英圈中的接受程度不低,背后的心理动机包括「技术救世」与「宿命屈从」两类。
作者的四项反驳
依作者论述,移交主义存在以下四项问题:
政治思想:援引托克维尔《论美国的民主》,强调自由是在日常自主管理与结社互助中锻造的能力;超级 AI 统治可能是一种软性极权的最极端变体
工程可行性:移交主义预设 AI 对齐能成为一劳永逸的永久状态,但历史上能稳定回应需求的制度,皆建立在数百年试错与动态制衡之上
乌托邦的危险:援引波普尔《乌托邦与暴力》,指围绕终极蓝图组织政治,会把正常的现实分歧视为必须抹除的阻碍;开放批评与渐进改良才是可靠的进步路径
永久性与新生性:援引阿伦特的「新生性」(natality)概念,指每一个新生命都带来开启崭新篇章的可能;将后代禁锢于机器神祇定格的琥珀中,等于剥夺其作为人类的权利
作者的结论与立场:在历史的关键十字路口,人类仍握有选择权,不应将未来轻易交出
作者总结,2026 年的技术认知不应成为全人类未来文明的永恒宪章。作者认为,在历史的关键十字路口,人类依然握有选择权,不应将未来轻易拱手让人。
以上为作者的个人论述与立场,不代表任何公司或机构的立场。
常见问题
「移交主义」是什么?
依作者定义,「移交主义」(Handover)是指人类自愿把未来的主导权让给超级 AI,接受一个不再由人类决定航向的舒适未来。作者认为此思潮在旧金山 AI 圈中有一定的接受度。
文中提及的前线工程师是否已具名?他的说法代表什么?
依作者转述,该工程师身份未公开,其为在顶尖 AI 实验室开发前沿模型的工程师。作者以其说法作为观察例证,文中的观点属于作者与受访工程师的个人表述,不代表任何公司或机构的立场。
作者提出了哪些反驳移交主义的理由?
依作者论述,主要包括:托克维尔对自由与自主管理的论述、工程上永久对齐不可行的判断、波普尔对乌托邦政治的批评,以及阿伦特的新生性概念。作者认为,人类在关键时刻仍应保有选择权。