谷歌Dream-RSI框架发布:让AI在”做梦”中实现递归自我改进

AI要学会自己改进自己,谷歌打算先让它做个”梦”。

谷歌研究团队在新论文《Dream-RSI》中,给出了一个思路:让AI先在”梦里”试。所谓”做梦”,就是把过去真实执行过的实验记录变成一个可以反复回放的环境,让AI在里面比较不同的探索策略:先尝试哪条路,哪些方向值得继续,什么时候该停手。有了现成的实验结果,许多策略的筛选就不用再把昂贵的实验重做一遍。

等”梦里”筛出了更好的策略,AI再带着它回到真实实验,积累新的记录,供下一轮”做梦”继续改进。真实探索为”梦”提供素材,”梦”又帮助AI调整下一次探索的方法,自我改进的循环便由此接上。

何为做”梦”RSI?

每个人都做过梦,但AI的”梦”,指的是在已经录好的历史发现树里,用新策略走一遍,看会得到什么结果。就像在迷宫中找出口,第一次进迷宫没有任何地图只能瞎走,但在走的过程中AI会顺手把迷宫的地图画出来。当第二次走这个迷宫之前,就可以先看着这张地图,在脑内规划一个最快的路线。在脑内绘制的这个过程,就叫”梦”。

一次在线发现跑完之后,留下的是一棵结构化的”发现树”。这棵树上的每个分叉点,都是AI的某一次尝试——比如那次它写了什么代码、跑出来什么结果、得了多少分,全部在那个节点上。Dream-RSI提出把这棵树当成一台可回放的模拟器,同一棵树换一套探索策略去走,就会走出不一样的轨迹。

三个领域验证效果显著

谷歌将Dream-RSI放在三个领域、八个科学发现任务上跑。包括算法工程(Lasso正则化路径求解器)、数学优化(Sum-Difference、自相关不等式、圆堆叠)、GPU内核工程(KernelBench)。在Lasso上,Dream-RSI优于sklearn、glmnet等标准库和强基线,相比SimpleTES最多省下162倍的Agent调用。

在数学优化上,它在1000代以内就追平甚至超过传统方法。这意味着AI可以在不增加实验成本的前提下,持续优化自己的研究策略。

研究品味是关键

自我改进能不能成立,其实并不取决于模型能不能生成下一步,反而取决于它能不能判断”这一步到底是不是进步”。Anthropic测出2026年4月的Mythos Preview有64%的时候选得比人好。智谱唐杰也表示,下一代模型GLM-6.0定位是Fully Self-Training,完全自训练。

原文链接