唐杰署名论文曝光智谱内部多模态模型GLM-Omni，探索视觉生成赋能语言推理
近日，清华大学与智谱研究人员联合在arXiv发表论文《Can Visual Generation Expand What Unified Multimodal Models Know?》，通讯作者为智谱首席科学家、清华大学教授唐杰。论文介绍了一款此前未公开的智谱内部模型GLM-Omni，以智谱开源的GLM-4.1V-Thinking为基座，参数规模9B，属于较小测试模型。
实验中，GLM-Omni在数字任务上能够正确画出指定球衣号码的比例达到72%，但不提供图片只用文字询问同一号码，正确率只有2%。研究人员调整训练方式，让模型把生成图像、观察图像和文字回答放进同一条训练序列，模型平均文字问答准确率从12.57%提高到26.86%；允许模型回答问题前先生成图像再观察图像作答，准确率进一步提高至41.14%。
唐杰此前曾表示，视觉、声音乃至触觉等信息的统一感知，是模型进一步理解环境、执行长时程任务的重要基础。智谱此前已推出GLM-5.3-Flash原生多模态模型。
（来源：36氪）