俺来也 英伟达:创造DeepSeek-R1推感性能宇宙记载
发布日期:2025-03-20 21:28 点击次数:202
俺来也
(文/汤普济 裁剪/吕栋)
当地技艺3月18日,黄仁勋于GTC AI大会上发扮演讲,发布最新一代Blackwell Ultra GPU(GB300)。同日, 英伟达官方博客发布著作,文牍诈欺Blackwell架构GPU结束DeepSeek-R1模子推感性能的宇宙记载。
英伟达这次诈欺单个配备八块Blackwell架构B200 GPU的英伟达DGX系统,在英伟达评价为“超大规模、起程点进的“DeepSeek-R1模子上,结束每用户每秒可惩办杰出250个token的性能,或每秒最大详尽量杰出30000个token。
乱伦文学NVIDIA
英伟达于2025年1月30日在面向成立者的网站上发布NVIDIA NIM微处事版的DeepSeek,之后,英伟达束缚通过优化推理生态,刷新DeepSeek-R1模子的详尽量。英伟达宣称,自1月以来,DeepSeek-R1 671B模子的详尽量已被提高了约36倍,异常于每token的老本裁汰了约32倍。
同期,英伟达宣称,记载还将跟着Blackwell Ultra GPU和 Blackwell GPU在推感性能上的冲突刷新。
据悉,英伟达这次发布的GB300是公共首个288GB HBM3E GPU,FP4推感性能可达客岁发布的GB200的1.5倍,峰值可达15PFLOPS。将在2025年下半年出货。
英伟达还预览了下一代AI超等芯片——Vera Rubin,由Rubin GPU和Vera CPU构成。Vera CPU领有88个定制Arm中枢、176个线程。Rubin由两块掩模尺寸的GPU构成,领有288GB HBM4内存,FP4峰值推忠良商可达50PFLOPS,比拟GB300,举座性能可达3.3倍。
此外俺来也,英伟达还发布了用于加快AI模子推理的漫步式推理处事库NVIDIA Dyamo,据称,在GB200 NVL72架构上开动Dyamo推理,能使DeepSeek-R1模子的详尽量提高30倍。