◆ AI 总结

本期重点集中在本地推理优化与AI生成游戏两条线：社区持续探索KV缓存、苹果芯片和老GPU上的性能边界，同时出现了由高速视频模型驱动的新型互动产品。

产品工具

Meta

llama.cpp-turboquant加入Block KV缓存流式传输

新PR用共享CUDA内存区实现KV缓存流式传输，可限制超长上下文显存占用，并提供性能基准。项目地址：https://www.reddit.com/r/LocalLLaMA/comments/1w8jflp/block_kv_cache_streaming_bound_vram_at_long/[5]

YoLive推出群体投票驱动的AI视频直播

YoLive基于高速视频生成模型，支持用户提交提示词并由【投票最多的提示词】决定故事走向，4秒生成10秒视频。[9]
Gemini

Gemini CLI发布v0.60.0 nightly版本

Gemini CLI更新至v0.60.0-nightly.20260906.g85aca163f。完整日志：https://github.com/google-gemini/gemini-cli/compare/v0.60.0-nightly.20260905.g85aca163f...v0.60.0-nightly.20260906.g85aca163f[10]

技巧教程

GPT-6 Astra低成本生成完整3D Roguelike关卡

结合Blender与Godot，GPT-6 Astra完成昼夜天气、建模贴图、武器技能和敌人系统，仅消耗约24%额度。[1][2][3][4]

社区验证本地LLM真实KV缓存淘汰行为

作者在实际压力下测试【KV缓存驱逐】与旧上下文淘汰，涉及vLLM缓存管理、问题修复和测试方法。详情：https://www.reddit.com/r/LocalLLaMA/comments/1w8rnyi/validate_your_local_llm_advertised_kv_cache/[7]

双P40集群通过缓存与推测优化实现48 tokens/s

低成本双P40集群结合MTP和ngram推测，并将KV缓存切换为FP16，达到约48 tokens/s。详情：https://www.reddit.com/r/LocalLLaMA/comments/1w8sqp3/48_tgs_440_prefill_on_my_grandmas_cluster_2xp40/[8]

硬件动态

Qwen

Qwen3.8 Flash Next在苹果芯片上达到45 tokens/s

量化模型实测显示，M4 Max约45 tokens/s，M2 Ultra约25 tokens/s，为Apple Silicon本地部署提供选型参考。详情：https://www.reddit.com/r/LocalLLaMA/comments/1w8qo79/qwen38flashnextoq4emtp_45_toks_on_m4_max_25_toks/[6]