Kimi团队分享Attention Residuals创新思路
Kimi团队在GTC上介绍了Attention Residuals概念,将注意力机制从时间维度扩展到模型深度维度,旨在让模型在信息跨层传输时也能进行【选择性记忆】。这代表了对Transformer架构的一种新探索。[1]
本期重点关注Kimi在模型架构上的创新探索,以及CapCut推出的画布式AI制片新工作流。同时,社区涌现出实用的桌面小人开源工具和排版自动化教程。