OpenAI于2026年9月3日发布GPT-6 Astra,宣布在ARC-AGI-3上获得99.9%。然而标准测试条件下仅获62.7%。
两个分数的真相
99.9%使用OpenAI的Provider Adapter,保留模型内部推理状态。62.7%使用ARC Prize Foundation的Standard工具,为所有模型提供相同中立界面。Provider Adapter运行速度快3.66倍,消耗少49%的token。
ARC-AGI-3测什么
由Francois Chollet设计,抵抗训练数据模式匹配。测试探索、建模、目标设定和规划四项能力。人类参与者获得100%。
AGI时代?
Greg Brockman称感觉到处于AGI时代并非不合理。但ARC Prize Foundation明确表示,完美得分不代表证明实现AGI。GPT-6 Astra在新颖物理推理和开放式判断方面仍有困难。
参考来源:Dao Huy