3块钱从零练习训练一个大模型!5.8万star项目登顶github日榜

MiniMind项目登顶GitHub Trending日榜,累计5.8万star。该项目用PyTorch原生实现从零训练语言模型全链路,包含预训练、SFT、LoRA、知识蒸馏(黑盒白盒)、DPO/PPO/GRPO强化学习等。单卡3090约2小时完成SFT,成本约3块钱。

来源:搜狐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注