本周社区迎来Moondream 3.1视觉语言模型发布,以及Fable 5在Claude套餐延期一周,同时有多个本地部署技巧分享。

模型动态

Moondream 3.1 发布:9B参数2B活跃MoE视觉语言模型

Moondream 3.1发布,9B参数2B活跃的MoE架构,在视觉推理和检测方面达到SOTA,支持查询、检测、指向和描述等原生任务,部署高效成本低。链接:https://www.reddit.com/r/LocalLLaMA/comments/1uunqcz/moondream319ba2b/[1]

产品工具

Fable 5在Claude套餐延期一周至7月19日

原计划最后一天的Fable 5在Claude套餐延期一周至7月19日,用户仍有时间使用该功能。[4][5]

技巧教程

在64GB M2 Max上通过MLX运行Nemotron Puzzle 75B的实践分享

社区成功在64GB M2 Max上通过MLX运行Nemotron Puzzle 75B,对比了4位与5位专家量化性能差异,为苹果芯片大模型部署提供实用参考。[2]

Reddit建立24GB显存GPU的llama-server配置交换线程

用户发起线程交换24GB VRAM(RTX 3090/4090等)的llama-server启动配置,目标最大化显存利用并提供至少20万token的KV缓存。链接:https://www.reddit.com/r/LocalLLaMA/comments/1uukj2m/24gb_vram_llamaserver_config_exchange_thread/[3]

行业资讯

评论文章:AI医疗“医学奇迹”是否会成为下一个“坏血”骗局?

文章探讨AI医疗领域的医学奇迹是否可能成为下一个【坏血】骗局,反思硅谷式浮躁与行业泡沫风险。[6]