快讯内容
7月25日,AMD宣布推出全开源混合专家模型(MoE)Instella-MoE,该模型拥有160亿总参数,每个Token激活28亿参数,号称在同规模开源语言模型中具备领先性能。AMD 表示,Instella-MoE 完全基于自家 AMD Instinct MI300X 和 MI325X GPU,以及 ROCm 软件栈从零训练完成,并采用 Gated Multi-head Latent Attention(Gated MLA)和 FarSkip-Collective 等架构创新,以提升训练和推理效率。性能测