2026
-
CS336：第 3 讲 LM 架构与超参数
TLDR：现代 LM 架构是一组工程权衡：归一化、激活函数、注意力、位置编码、超参数、稳定性和推理成本会互相牵制。
-
CS336：第 4 讲 Mixture of Experts
TLDR：MoE 通过稀疏专家路由扩大参数量，但真正的难点是平衡 token 负载、容量、通信成本和专家分工。
-
田远东谈：搜索质量就是动作空间质量
TLDR：更多 rollout 还不够。只有当动作空间、表示、评估器和记忆让好轨迹更容易被找到时，搜索才会真正变强。
-
Concordia：把 LLM 智能体作为社会模拟参与者
Concordia 很有用，因为它将 LLM 智能体视为具有记忆、角色、规范、部分观察和由游戏大师调节的世界状态的情境社会参与者。
-
压缩就是你所需要的：衡量数学进步
TLDR：数学抽象在压缩下游工作时很有价值：证明变得更短，重复的模式消失，并且库变得更容易扩展。
-
启发式学习：用代码维护学习系统
TLDR：启发式学习将迭代智能体工作视为维护可验证的软件系统。反馈更新代码、测试、规则、状态表示和记忆，而不是神经网络权重。
-
自私的基因：第 3 章 不朽的双螺旋
TLDR：持久单位不是身体，而是复制基因：身体消失，而遗传信息通过复制和重组不断竞争。
-
CS336：第 1 讲 把语言模型当作工程问题
TLDR：理解现代 LM，最好的办法仍然是自己搭一遍栈。分词、数据、算力和评估都不是干净抽象，而是会漏水的工程选择。