本期亮点包括GenAI经济过去12个月实现1100亿美元销售额,以及13个模型在长上下文基准测试中发现预填充KV头数比参数量更重要。

模型动态

13个模型长上下文基准测试揭示预填充和KV头数比参数量更重要

13个模型在65K-128K上下文测试显示:预填充KV头数比参数量更关键,对代理工作负载有指导意义。[2]

产品工具

基于树莓派的llama-server自动检测扩展发布,简化边缘设备部署

开源工具实现树莓派上llama-server自动检测,简化边缘设备部署本地LLM流程。[4]

GitHub Copilot BYOK限制行内补全,社区已给出修复方法

GitHub Copilot限制BYOK自定义模型用于行内补全,社区已给出修复方法,对使用自定义模型的开发者重要。[5]

Codex发布rust-v0.143.0-alpha.36新版本

Codex发布rust-v0.143.0-alpha.36新版本,代码生成工具持续迭代。项目地址:https://github.com/openai/codex/releases/tag/rust-v0.143.0-alpha.36[6]

行业资讯

GenAI经济12个月产生1100亿美元销售额,增长速度为移动或互联网三倍

数据显示GenAI经济过去12个月1100亿美元销售额,增长速度为移动或互联网的【三倍】。[1]

多分辨率流匹配方法无需训练即可加速文本到图像扩散推理

新论文提出多分辨率流匹配,无需训练即可加速文本到图像扩散推理,降低生成成本。[3]