腾讯混元开源轻量版：770B旗舰模型压缩86%，消费级显卡可部署运行
腾讯混元于9月1日推出Hy4 preview轻量版模型，通过自研量化技术将模型权重从1.5TB压缩至约214GB，压缩率达86%。核心采用Sherry稀疏三值量化算法将最激进一档权重压至平均1.25bit，以及MIX-STQ1_0混合精度策略按各层敏感度动态分配精度。压缩后在长文理解、多轮长上下文检索等任务上与原版基本持平分差不到1分。已有用户在RTX 4090加4乘A4000总计80GB显存环境中成功部署。量化GGUF库及相关代码已上线开源平台。
原文链接：https://cj.sina.com.cn/articles/view/7879849031/1d5acf44706801po1g