快讯内容
英伟达(NVIDIA)推出 AI 模型路由系统 NeMo Switchyard,旨在帮助开发者在多个大模型之间动态分配 AI 智能体(AI Agent)任务,在保证性能的同时降低成本和延迟。 英伟达表示,构建 AI 智能体并不意味着必须依赖单一大模型。不同模型在推理能力、响应速度和运行成本方面各有优势,例如分类任务可能适合轻量模型,复杂推理则需要更强大的前沿模型。如果所有请求都发送至最大规模模型,将导致成本和延迟增加;而全部使用小模型则可能降低复杂任务完成质量。NeMo Switchyard 通过智能路由