俺来也 英伟达:创造DeepSeek-R1推感性能宇宙记载

发布日期:2025-03-20 21:28    点击次数:202

俺来也 英伟达:创造DeepSeek-R1推感性能宇宙记载

俺来也

(文/汤普济 裁剪/吕栋)

当地技艺3月18日,黄仁勋于GTC AI大会上发扮演讲,发布最新一代Blackwell Ultra GPU(GB300)。同日, 英伟达官方博客发布著作,文牍诈欺Blackwell架构GPU结束DeepSeek-R1模子推感性能的宇宙记载。

英伟达这次诈欺单个配备八块Blackwell架构B200 GPU的英伟达DGX系统,在英伟达评价为“超大规模、起程点进的“DeepSeek-R1模子上,结束每用户每秒可惩办杰出250个token的性能,或每秒最大详尽量杰出30000个token。

乱伦文学

NVIDIA

英伟达于2025年1月30日在面向成立者的网站上发布NVIDIA NIM微处事版的DeepSeek,之后,英伟达束缚通过优化推理生态,刷新DeepSeek-R1模子的详尽量。英伟达宣称,自1月以来,DeepSeek-R1 671B模子的详尽量已被提高了约36倍,异常于每token的老本裁汰了约32倍。

同期,英伟达宣称,记载还将跟着Blackwell Ultra GPU和 Blackwell GPU在推感性能上的冲突刷新。

据悉,英伟达这次发布的GB300是公共首个288GB HBM3E GPU,FP4推感性能可达客岁发布的GB200的1.5倍,峰值可达15PFLOPS。将在2025年下半年出货。

英伟达还预览了下一代AI超等芯片——Vera Rubin,由Rubin GPU和Vera CPU构成。Vera CPU领有88个定制Arm中枢、176个线程。Rubin由两块掩模尺寸的GPU构成,领有288GB HBM4内存,FP4峰值推忠良商可达50PFLOPS,比拟GB300,举座性能可达3.3倍。

此外俺来也,英伟达还发布了用于加快AI模子推理的漫步式推理处事库NVIDIA Dyamo,据称,在GB200 NVL72架构上开动Dyamo推理,能使DeepSeek-R1模子的详尽量提高30倍。



相关资讯



Powered by 在线伦理片 @2013-2022 RSS地图 HTML地图

Copyright Powered by365站群 © 2013-2024