Tongyi Lab发布HydraHead注意力融合架构研究
HydraHead在注意力头级别融合Full Attention和Linear Attention,受机械可解释性启发,旨在构建更高效的长上下文模型。[6]
本期重点包括:MiniMax在上海电影节正式发布视频生成模型Hailuo AI,ElevenLabs推出ElevenAgents Procedures功能,以及Tongyi Lab发布HydraHead注意力融合架构研究。