KLQ免训练量化在W4A4KV4评测领先
KLQ无需训练,在W4A4KV4量化中超过SpinQuant,并接近需优化舍入的ReSpinQuant。详情:https://www.reddit.com/r/LocalLLaMA/comments/1vk2n2k/klq_trainingfree_measured_rotation_quantization/[3]
本期关注【本地模型使用率翻倍】与低比特量化进展;同时【GitHub Models退役】将直接影响相关开发工作流。