开源模型优化领域出现技术突破,Cerebras通过专家剪枝技术显著减小模型规模同时保持性能,为模型部署提供了新的技术路径。

模型动态

Cerebras发布MiniMax-M2剪枝版本

Cerebras发布MiniMax-M2剪枝版本

· 模型从230B剪枝至162B(30%剪枝)

性能仅有轻微下降

· 剪枝后进行微调以保持性能

· 剪枝后进行微调以保持性能

· 模型已在HuggingFace开源

· 模型已在HuggingFace开源

技巧教程

· 采用REAP剪枝方法

通过评估专家激活频率和输出贡献来选择剪除目标