Y Combinator 创始人保罗·格雷厄姆(Paul Graham)在 X 发文表示,如果回到 17 岁,他会学习如何从零开始构建大型语言模型(LLM),并利用能够获得的硬件训练出能力最强的模型,而不是尝试创办初创公司。Graham 的核心观点是:17 岁应先打好底层知识基础,深入理解 LLM,创业点子自然会随之浮现。
Paul Graham:主文、追加说明与问答中的四项立场
Graham 的贴文及后续问答共呈现出四项明确立场,均来自他在 X 上公开发布的内容:
主文:「我会学习如何从零开始构建 LLM,然后利用能够获得的任何硬件,尽可能训练出能力最强的模型。」
追加说明(主文发布约 6 分钟后):「注意,我不会做的事情是尝试创办一家初创公司。」——17 岁应先打好知识基础,创业点子自然会浮现。
回应“为何重新发明轮子”:「为了学习轮子是如何制造出来的。」
回应 19 岁 LLM 开发者 @prathamkode:「我可能会尝试打造一个能够用来解决某个特定问题的 LLM。」
截至统计时,这篇贴文累计约 41.8 万次浏览,引发科技圈广泛讨论。
Graham 的创业观:底层技术知识是创业点子的前置条件
Graham 此次在 X 上的发文延续了他长期以来的创业观点:好的创业方向往往源自对某个领域足够深入的理解,而不是先决定“要创业”,再回头寻找问题。在 AI 时代,他的建议并不是先学会调用 API 或快速制作 AI 应用,而是深入模型底层。
Graham 表示,17 岁从零开始训练 LLM,目的并不是打造能够与 OpenAI、Anthropic 或 Google 竞争的前沿模型,而是在实践过程中掌握数据、模型架构、训练过程和算力限制如何共同决定模型能力。即使训练目标是无关紧要的事情(如玩电脑游戏),也能在过程中积累大量可迁移的知识,为日后寻找创业机会打下基础。
杨立昆加入讨论:LLM 无法整理卧室,应聚焦物理任务执行架构
图灵奖得主杨立昆(Yann LeCun)在留言中提出了不同的切入点。长期质疑单纯扩大 LLM 是否足以实现人类级智能的 LeCun 表示,如果回到 17 岁,他思考的问题不会是如何训练更大的 LLM,而是“为什么 LLM 可以帮我写文章,却不能帮我整理卧室”。
他进一步说明,接下来他会在大学和研究生阶段学习所有可能有助于解决这一问题的领域,尝试找出一套超越 LLM 的方法和架构,使机器能够像人类和动物一样,高效、快速地学会在物理世界中执行任务。LeCun 最后补充道:“这不只是我 17 岁时会做的事,也是我在 30、40、50 乃至 66 岁时会做的事。”
常见问题
Paul Graham 为何建议 17 岁从零开始训练 LLM,而不是直接使用现成模型?
Graham 的公开回应是“为了学习轮子是如何制造出来的”——训练的目的不在于与前沿模型竞争,而是通过实践掌握数据、模型架构、训练过程和算力限制如何共同决定模型能力,为日后创业奠定知识基础。
Paul Graham 对已有 LLM 训练经验的 19 岁开发者有何具体建议?
Graham 对 @prathamkode 的 X 回复是:“我可能会尝试打造一个能够用来解决某个特定问题的 LLM。”他建议以特定问题为目标,将底层知识与实际应用场景直接连接起来,而不是单纯 All-in LLM 或分散于各种小型项目。
杨立昆在此次讨论中提出了什么不同的研究方向?
杨立昆在 X 上留言表示,他会聚焦于“为什么 LLM 可以帮我写文章,却不能帮我整理卧室”,致力于研究让机器能够在物理世界中高效执行任务的方法和架构。他表示,无论处于什么年龄,这都会是他投入的方向。