2026-11-06 00:17:27
访问量 loading...

英伟达提出AI内存全栈协同设计方案,推理吞吐量提升最高30倍

快讯内容
英伟达宣布,随着 AI 模型规模扩大、上下文窗口延长以及智能体应用普及,GPU 内存压力持续上升,HBM 供应趋紧、价格上涨。英伟达提出通过 GPU、CPU、网络、存储及软件协同设计,提高内存使用效率,而非单纯增加 GPU 内存容量。 具体来看,英伟达通过 NVFP4 低精度格式压缩模型权重和 KV Cache,将暂时不活跃的上下文转移至成本更低的存储层,并利用多 GPU 分布式部署释放 HBM 空间。 英伟达披露,在 SemiAnalysis AgentX 测试中,GB300 NVL72 在特定工作负载
声明:文章不代表币圈网观点及立场,不构成本平台任何投资建议。投资决策需建立在独立思考之上,本文内容仅供参考,风险自担!转载请注明出处!侵权必究!
币圈快讯
查看更多
回顶部