本期重点关注【AI辅助硬件逆向】与本地大模型部署进展,社区还公布了Jev评测及AI内容商业化案例。

模型动态

Qwen3.8-Flash-Next在Strix Halo实现百万上下文推理

社区使用halogen 0.12.0在Strix Halo运行Qwen3.8-Flash-Next,百万上下文解码达38 tok/s。https://www.reddit.com/r/LocalLLaMA/comments/1wkyny9/qwen38flashnext_at_1m_context_on_strix_halo_38/[3]

Qwen3.8-Flash-Next在单张RTX 5090上达到50 tok/s

实测单张RTX 5090运行Qwen3.8-Flash-Next,生成速度达50 tok/s、提示处理达2300 tok/s,并讨论MoE专家缓存。https://www.reddit.com/r/LocalLLaMA/comments/1wl06np/qwen38flashnext_on_1x_rtx_5090_tg50_ts_pp2300_ts/[5]

产品工具

DeadGrid完全使用本地Qwen模型生成并开源

社区开源浏览器游戏DeadGrid,内容完全由本地运行的Qwen 3.8 27B Q4KM生成,展示本地模型快速原型能力。https://www.reddit.com/r/LocalLLaMA/comments/1wkwual/deadgrid_now_open_source_exclusively_made_with/[9]

技巧教程

Fable 5.1成功破解RFID标签打印机固件限制

作者借助Fable 5.1完成ARM逆向、公式推导与汇编注入,绕过打印机降速降质限制。项目地址:https://t.co/vwI7Rv1rqC[1]

社区通过定制vLLM补丁提升Gemma 4 31B吞吐

作者分享优化Gemma 4 31B推理吞吐的完整过程,并通过修改vLLM分支和自定义补丁提升性能。https://www.reddit.com/r/LocalLLaMA/comments/1wkwy6g/improved_tps_of_gemma_4_31b_the_journey_and_also/[4]

硬件动态

老旧异构GPU组合也能运行30B级本地模型

社区展示16GB+32GB V100及1080 Ti+MI50的混合部署方案,可运行Qwen3.8 27B和30B级模型。https://www.reddit.com/r/LocalLLaMA/comments/1wekwc5/i_turned_an_asymetric_pair_of_tesla_v100s_pcie/[6][7]

行业资讯

LangChain对比Jev与LLM评审器的综合表现

LangChain测试Jev与传统LLM评审器在准确性、重复性、延迟和成本上的差异,为Agent评估提供参考。[2]

Pocket FM以93% AI生成内容做成5亿美元音频业务

Pocket FM将网络小说批量转为AI有声故事,形成约5亿美元业务,展示生成式AI对【内容生产与IP筛选】的商业影响。https://mp.weixin.qq.com/s?__biz=MjM5OTAzMjc4MA==&mid=2650891452&idx=3&sn=f014b53b006f55ddcac38fe172e20b22[8]