LEARNING PATH · 偷师路径

怎么学
Ilya Sutskever · AI 研究操作系统

先不要被 1000 条推文和十几份 transcript 淹没。按这条路径读,先抓主线:连接主义 → 预测理解 → 预训练边界 → 安全超智能


时间预算 · 选一档进入

15 分钟

入门 · 一条主线

适合:想快速知道为什么值得读他

  1. 读首页的 来源与边界核心抽象十条原则
  2. 连接主义预测下一个 token 即理解Peak Data

带走一句话: Ilya 的核心不是某个架构,而是相信可规模化学习会逼近现实结构。

深度 · 20h+

沉浸 · 回到一手材料

适合:要系统研究 Ilya 思想谱系的人

  1. 完成 90 分钟路径
  2. 按时间读本地 05_timeline/master_timeline.md
  3. 读 canonical 目录下的 Lex、Clearer Thinking、Dwarkesh、No Priors 和 NeurIPS 2024 transcript
  4. 图谱 的层级筛选做复盘:每读完一份材料,回到图谱看它支撑哪些节点
  5. 最后读 已知缺口,确认哪些材料没有被纳入本站结论

带走一套方法: 先建 source universe,再建时间线,最后抽象成可复用节点。


八站 · 偷师旅程

  1. 01

    连接主义 开始

    问题:为什么 Ilya 长期相信神经网络路线?

    自问:我是在评估一个可学习系统,还是在评估一堆人工规则?

  2. 02

    理解 AlexNet 突破

    问题:什么实验把争论变成事实?

    自问:我研究的领域有没有一个类似的范式验证点?

  3. 03

    进入 Seq2Seq

    问题:为什么自回归序列模型是 LLM 的前史?

    自问:这个问题能不能被改写成“给定上下文预测下一步”?

  4. 04

    抓住 预测即理解

    问题:为什么语言预测会逼近世界模型?

    自问:我是在嘲笑“统计”,还是在理解统计任务背后的信息要求?

  5. 05

    区分 RLHF 教行为

    问题:模型知道什么,与模型如何回答,是同一件事吗?

    自问:当前失败是能力问题、行为问题,还是评估问题?

  6. 06

    面对 Peak Data

    问题:预训练为什么会遇到边界?

    自问:如果数据不再线性增加,下一步能力从哪里来?

  7. 07

    看见 推理不可预测性

    问题:为什么更会思考也更难控制?

    自问:我有没有为长推理系统设计新的安全评估?

  8. 08

    落到 Straight Shot

    问题:为什么 SSI 用单目标组织承接安全超智能?

    自问:我的组织目标是否已经被过多产品和叙事分散?


读原始材料的顺序

第一组:历史起点

Lex 2020、Robot Brains 2021、AlexNet/Seq2Seq 相关节点。目标是理解他为什么长期押注深度学习。

第二组:LLM 哲学

Clearer Thinking 2022、Eye on AI 2023、Dwarkesh 2023。目标是理解预测、压缩、理解和 RLHF。

第三组:后规模与安全

TED AI 2023、No Priors 2023、NeurIPS 2024、Dwarkesh 2025。目标是理解 Peak Data、推理、agentic AI 和 SSI。