◆ AI 总结

本期重点是DocJev将文档分类与切分做成低延迟专用模型，以及社区围绕Jev决策模型展开的低成本复现与本地部署探索。与此同时，Cline Desktop公布了上线一周的任务占比数据，显示AI编程代理正在快速获得新用户。

模型动态

Qwen

社区尝试为Qwen4加入稀疏Flash Attention

llama.cpp社区提交PR，为Qwen4增加【稀疏Flash Attention】支持，目标是提升本地推理速度，尚待合并验证。[5]

产品工具

DocJev开源文档分类与切分库，主打低延迟

DocJev支持用自然语言规则完成文档分类和子文档边界识别，速度显著快于通用生成模型。[1][2][3]

laya.cpp为Laya决策模型提供高性能本地推理

laya.cpp基于ggml、自定义CUDA内核和CPU后端，降低决策模型推理延迟，适合本地部署。[4]

Cline Desktop上线一周已承载超过6%的任务

Cline Desktop称上线一周已运行全部任务的6%+，其中一半来自新用户；Kimi K3仍限时免费接入。[7]

技巧教程

Qwen

社区让Qwen 3.8 27B单卡运行三周并自建推理引擎

用户用单张RTX 3090持续运行Qwen 3.8 27B，并自主编写CUDA推理引擎，展示长程Agent实验的能力与局限。[6]
Qwen

社区用Qwen3.5 4B低成本复现Jev风格决策模型

作者用约2500万Token合成数据和LoRA，在租用RTX 3090上约两小时完成Jev风格微调。[8]
Meta

ExLlamaV3与EXL3量化方案获本地用户性能推荐

用户实测ExLlamaV3与EXL3运行Flash-Next，在RTX 3090和RTX 5090上分享长上下文速度，提供部署选型参考。[9]