Kimi发布Attention Residuals架构,提升模型效率
Kimi团队提出Attention Residuals架构,用输入依赖的注意力机制替代传统的深度递归,可选择性检索过往层表征。在Kimi Linear架构上验证,实现了【1.25倍计算优势】且推理延迟开销极小。报告链接:https://t.co/u3EHICG05h[1]
本期重点关注Kimi发布创新的Attention Residuals架构,以及Google与微软联合推动的WebMCP标准草案,旨在让网站主动适配AI Agent。