实测警告:DeepSeek V4 Flash 的 KV Cache 不宜量化
社区测试发现对DeepSeek V4 Flash做 Q8 KV Cache 量化带来明显质量损失,PPL、KLD 等指标显著变差,与 Qwen 397B 形成鲜明对比。原文:https://www.reddit.com/r/LocalLLaMA/comments/1vduxth/you_really_should_not_quantize_kv_cache_for/[3]
本期聚焦Vercel内部运营代理受热捧,llama.cpp推出官方Mac应用;社区实测发现DeepSeek V4 FlashKV Cache量化存在质量陷阱,国产芯片DFSX被曝内存带宽翻倍。