2026-07-25 11:31:29
访问量 loading...

AMD发布全开源MoE大模型Instella-MoE,16B参数规模挑战主流开源模型

快讯内容
7月25日,AMD宣布推出全开源混合专家模型(MoE)Instella-MoE,该模型拥有160亿总参数,每个Token激活28亿参数,号称在同规模开源语言模型中具备领先性能。AMD 表示,Instella-MoE 完全基于自家 AMD Instinct MI300X 和 MI325X GPU,以及 ROCm 软件栈从零训练完成,并采用 Gated Multi-head Latent Attention(Gated MLA)和 FarSkip-Collective 等架构创新,以提升训练和推理效率。性能测
声明:文章不代表币圈网观点及立场,不构成本平台任何投资建议。投资决策需建立在独立思考之上,本文内容仅供参考,风险自担!转载请注明出处!侵权必究!
币圈快讯
查看更多
回顶部