田远东的2025年反思：从离开企业到人工智能创业与里程碑式研究

2025年标志着天元东在人工智能研究领域的关键转折点。这位拥有丰富经验的AI老兵，曾在Meta应对企业压力，后来创立新公司，同时发表了关于大模型推理与可解释性的突破性研究。以下是他对这一年意外变化、科研突破以及对AI未来更深信念的年终回顾。

意料之外的第五种结果：职业规划遇到现实

2025年1月底，天元东受邀加入Meta的Llama 4危机应对团队。凭借十余年的强化学习经验，他事先细致绘制了一个2x2的奖励矩阵，模拟了四种可能的结果。然而，现实却出乎意料——出现了未曾预料的第五种情况，这一事件加深了他对组织复杂性的理解。

尽管最终项目遭遇挫折，那些紧张的几个月带来了意想不到的智力收获。天元东和团队深入探讨了现代强化学习的核心挑战：训练稳定性、训练与推理的对齐、模型架构优化、预训练与中期训练的关系、推理链算法以及训练后框架设计。这段经历从根本上改变了他的研究方法。

这次分离本身并不令人惊讶，反而是时间点令人意外。在Meta工作十余年后，天元东早已做好心理准备，采取“顺其自然”的心态等待变化。他未曾完全预料到，这次被迫转变会成为他下一篇章的催化剂。他没有沉溺于挫折，而是以哲学的角度重新定义：“企业界的逆境，反而成为那些在创造新事物者的财富。”2025年的动荡为他未来的项目提供了丰富素材，包括他开始探索的小说创作。

这一职业转折也呼应2021年初的一个模式：他坦率的年终反思中提到多次论文被拒，意外引发了与领导层的紧张会谈。不是屈服于自我怀疑，而是有意识地在心中构建一种晋升的叙事，仿佛已被提拔。六个月后，这一晋升成为现实。更令人惊讶的是，那份当时似乎被忽视的2021年工作，后来在2021年7月获得了ICML最佳论文荣誉提名，成为表征学习领域的重要基础贡献。

到2025年10月底，公开转型消息后，天元东的沟通渠道每天涌入数百条信息和会议邀请。在几乎所有主要科技公司纷纷抛出橄榄枝的背景下，他做出了一个深思熟虑的决定：利用自己黄金岁月共同创立一家新型AI创业公司。虽然细节尚未披露，但这一决定体现了他坚信创业能提供的“跑道”，远超企业环境——无论其多么声名显赫。

打开黑箱：天元东在推理与可解释性研究上的革命

2025年的学术格局围绕两个紧密相关的研究前沿：扩大大模型推理能力，以及系统性解码这些模型的工作机制。这些并非边缘探索——它们构成了天元东学术产出的核心，也被他视为未来AI科学的基石。

催化剂来自2024年12月发布的连续潜空间推理（coconut，COLM’25）工作，引发了2025年的科研热潮。整个领域开始探索其在强化学习和预训练优化中的应用，关注效率与可扩展性。虽然天元东的团队因Llama 4紧急事件偏离了轨道，但整体趋势令他欣喜。2025年初，他提出了“叠加推理”理论（NeurIPS’25），严谨地映射出连续潜空间推理在哪些场景优于其他方法，获得了学术界的广泛关注。

与此同时，天元东的团队还攻克了逆问题——推理效率。Token Assorted框架（ICLR’25）通过VQVAE学习离散潜在标记，然后在训练后将其与文本标记结合，既大幅降低计算成本，又提升性能。DeepConf则采取不同策略：通过评估每个生成标记的置信度，选择性终止低置信度推理路径，显著减少标记消耗，同时甚至提升多数投票的准确率。ThreadWeaver通过并行生成推理链并集体后训练，加速推理过程。其他突破还包括用强化学习训练推理模型（Sandwiched Policy Gradient）以及尝试教导较小模型推理（MobileLLM-R1）。

然而，天元东最深的智力投入集中在可解释性，特别是“突变”（grokking）——从记忆到泛化的突发性相变。两年来，他一直专注于表征学习动态，阐明模型在特定条件下崩溃的原因。但一个根本谜题仍未破解：哪些表征真正形成？它们如何映射到数据结构？又能带来何种泛化能力？

起初，这条路径异常艰难，没有明确方向。2024年，COGS工作（NeurIPS’25）仅在少数特殊案例中取得有限进展，让天元东不甚满意。经过一年多的努力和与GPT-5的深入对话，终于取得突破：一篇关于可证明扩展定律的理论论文，超越了之前的线性区域分析（NTK方法），揭示了训练动态中特征出现的机制。虽然分析场景仍有限，但开启了理解有效学习机制的新视角。

天元东的年终总结“未走的路径”也许最具启示性。它从权重层面解释了强化学习与监督微调（SFT）为何会产生截然不同的结果。SFT导致过拟合和灾难性遗忘，因为训练数据偏向主要权重成分，破坏了模型的基础。而RL则通过使用策略内数据，保持了主要权重成分，仅影响次要成分——这些成分分布稀疏，尤其在bf16量化下更为明显，从而避免了灾难性遗忘。

可解释性为何重要：两个未来让AI可解释性成为关键

许多人认为可解释性是AI发展的边缘话题，但天元东持不同观点：它关乎生死存亡。设想两种截然不同的场景。

**场景一：**人类通过持续扩展模型规模实现AGI或ASI，超强黑箱超级智能解决所有难题，几乎无需人类劳动。在这个世界，最重要的问题是：如何确保这类超级智能保持善意，避免隐藏的欺骗？可解释性成为关键的安全保障。

**场景二：**扩展范式终究走到尽头，资源指数级增长难以为继，资金充裕的努力也难以突破天花板。人类不得不放弃当前路径。面对这个瓶颈，研究者必须逆向工程“为什么会有效，导致瓶颈的原因是什么？”这不可避免地会重新激发基础性研究——而可解释性成为另一条前沿。

“在这两种未来中，可解释性都能拯救局面，”天元东指出。即使在AI变得全知、全能、完美对齐的世界里，人类的好奇心也会驱使我们探究超人能力的机制。一个黑箱，无论多么高效，都难免引发认知上的不安。

未来的挑战超越了经验式的电路搜寻——这仍处于萌芽阶段。真正的前沿在于从第一性原理出发：为什么通过特定架构在结构化数据上用梯度下降训练的模型，必然趋向于解耦、稀疏、低秩、模块化、可组合的特征？哪些超参数调控这些新兴结构？回答这些问题需要从梯度下降的基本方程出发，推导出特征出现的必然性——将可解释性从自然历史的观察（如布拉赫的天文观测）转变为物理学式的原理推导（如牛顿定律）。

目前，天元东认为，AI领域还充满“布拉赫式”的研究者——他们细致记录行为和数据。一些“开普勒”提出解释性假说，但还没有“牛顿”那样的科学家出现，能从中提炼出普遍规律。一旦那样的“牛顿”出现，整个领域将迎来革命性变革，为下一代模型设计奠定基础，而这将不再依赖经验，而是基于基本定律。天元东相信，那一刻，将彻底重塑AI研究及其在人类未来中的角色。