时隔十年，AI大牛、ResNet作者任少卿再度出手一篇原创研究论文。这篇最新论文，让自动驾驶能”走一步想十步”，更像老司机了！
最近，任少卿等人发布论文《MM-Future: Multi-Mode Joint World–Action Modeling for Autonomous Driving》，提出一种新的多模式世界—动作联合模型。
公开学术记录中，他的代表性研究主要集中在2014—2016年，包括Faster R-CNN、ResNet等一系列计算机视觉经典工作。这一次，他重新以通讯作者身份出现在自动驾驶论文中。论文第一机构为NIO，多位作者来自蔚来，研究方向也直接指向世界模型和规划。
从一条轨迹，扩展到多个未来
端到端自动驾驶的基本逻辑，是将传感器观测直接映射为自车轨迹或控制指令。World–Action Model则进一步增加了未来场景建模，让规划不仅依据当前环境，也参考动作可能带来的后果。
MM-Future给出的方案是：一次生成多组场景—动作假设，每一组内部的场景和动作继续共同演化。假设模型同时生成几十组候选，其中一组可能是自车加速、对向车辆让行，另一组是自车减速、对向车辆先行，还有其他不同程度的制动、通过方式以及场景变化。
同时推演几十个未来，需要面临的三道门槛
论文把多模式联合建模的难点拆成了三项：多样性从哪里产生，多组未来如何控制计算成本，以及生成多个候选后如何筛选。
首先是多样性问题。MM-Future在动作端根据训练轨迹分布建立了Gaussian Mixture Noise，从不同动作先验出发；场景端则使用独立噪声。训练时又加入Best-of-Many监督。模型一次生成多组候选，先找出与真实轨迹最接近的一组，再用同一个赢家索引监督动作流和场景流。
其次是计算成本。多视角视频如果按每种候选完整展开，计算量会爆炸式增长。团队设计了高效的参数共享机制来缓解这个问题。
最后是筛选。在几十组候选中，如何找到最安全、最合理的那个？模型通过联合打分机制，综合考虑安全性、舒适性和效率，选出最优方案。
这篇论文的核心贡献在于，将世界模型和动作模型的联合建模从单输出扩展到多输出，填补了级联式和联合式方案之间的空白。对于自动驾驶来说，能够预演多种可能的未来并选择最优路径，是迈向真正”老司机”级驾驶的关键一步。