当前,人工智能发展正经历范式重构的关键阶段。随着Scaling Law受限于高质量数据、知识的日益短缺,全球AI产业开始将战略重心从单纯扩展基础模型规模,转向开发具备高阶认知能力的推理模型体系。
NVIDIA 发布了开源推理软件 NVIDIA Dynamo,旨在以高效率、低成本加速并扩展 AI 工厂中的 AI 推理模型。作为 NVIDIA Triton 推理服务器的后续产品,NVIDIA Dynamo 是一款全新的 AI ...
Nvidia的首席执行官Jensen Huang在GTC的演讲中将Dynamo称作“AI工厂的操作系统”,并将其与引发工业革命的发电机制相提并论,强调了其在未来AI领域的核心地位。他指出:“发电机是启动上一次工业革命的第一个工具。水进来,电出去。”从本质上来看,Dynamo是一个开源的推理套件,旨在通过优化推理引擎,如TensorRT ...
十轮网科技资讯 on MSN6 天
Nvidia开源全新推论软件Dynamo
Nvidia周二(3/17)开源了全新的推论软件Dynamo,它可大幅提高推论性能,令Llama模型的推论性能及营收提高一倍,也能在执行DeepSeek-R1模型时,让每个GPU产生的Token数量增加超过30倍。