本期亮点包括Ornith 1.0-35B MoE新细节曝光(3B活跃参数接近27B智能),以及本地图像转可控角色轻量模型技术演示。此外还有harbor沙箱评估工具推荐、GB10硬件讨论、eGPU性能测试、NPC引擎和MiMo V2.5实用经验分享。

模型动态

Ornith 1.0-35B MoE模型细节:3B活跃参数接近27B智能水平

Reddit帖子介绍Ornith 1.0-35B MoE模型,宣称以3B活跃参数达到接近27B智能水平,推理速度极快。这是对已发布Ornith系列的架构补充说明。[1]

产品工具

harbor:运行沙箱评估的开源工具推荐

LangChain创始人Harrison Chase推荐harbor用于运行需要沙箱的评估,LangSmith现已支持自托管沙箱。对开发agent评估流程有实用价值。项目地址:https://t.co/RSpx68u5oB[2]

本地运行800M模型将图像转化为可控游戏角色

演示在消费级GPU上本地运行800M参数模型,将任意图像转化为可控制角色,支持实时交互。展示了轻量级图像生成控制技术新可能。[3]

基于本地模型的游戏NPC引擎开源

开发者分享使用SillyTavern架构Gemma 4等模型构建的游戏无关NPC引擎,支持本地运行,面向RPG应用。项目地址:Reddit r/LocalLLaMA帖子。[6]

技巧教程

使用MiMo V2.5 GGUF模型成功编写C++执行工具

用户分享使用MiMo V2.5本地模型编写C++工具的实践经验,证实小型量化模型在实用编码场景下的有效性,提供超量使用建议。[7]

硬件动态

GB10设备与消费级GPU性价比讨论:统一内存带宽是关键瓶颈

社区讨论GB10设备是否值得购买,核心约束是统一内存带宽限制。对本地模型部署的硬件选型有重要参考价值。[4]

双4090M eGPU Tensor split推理性能实测数据

实测双4090M eGPU在TB3低带宽下的Tensor split推理性能:PP达1300t/s,TG约26t/s,提供了eGPU实际带宽影响的量化数据。[5]