英伟达老黄，成了往年的圣诞老黄。AI芯片年夜礼包刚曝光：GPU新核弹B300，以及附带CPU的超等芯片GB300。高算力，在产物层面上比拟B200在FLOPS上进步50%年夜显存，从192GB晋升到288GB，也是进步了50%。△GrokAI画图包括72块GB300的“新一代盘算单位”GB300 NVL72，更是被评估为“能让OpenAI o1/o3推理年夜模子的头脑链长度，在高batch size下到达10万tokens的独一计划”。这与往年3月份“AI春晚”宣布的B200系列只隔了多少个月。依据SemiAnalysis爆料，从第三季度开端，很多AI巨子曾经将订单从B200转移到了B300（只有微软还在第四序度持续购置了局部B200）。有不少网友感慨，更新速率切实太快了！既是处理了此前风闻中B200因计划缺点自愿推迟的成绩，又是对隔邻AMD MI300系列后续产物将在2025年晋升显存容量的回应。又一款AI核弹既然都是Blackwell架构不跨代，B300的算力进步来自那里呢？依据此次爆料，重要有三局部：工艺节点，与B200应用同样的台积电4NP，然而全新流片增添功率，GB300跟B300 HGX的TDP分辨到达1.4KW、1.2KW，比拟之下B200系列分辨进步0.2KW架构微翻新，比方在CPU跟GPU之间静态调配功率除了更高FLOPS之外，B300系列的显存也做了进级：从8层重叠的HBM3E进级到12层（12-Hi HBM3E）显存容量从192GB进级到288GB显存带宽坚持稳定，仍为8TB/s别的产物交付层面另有一个年夜变更：GB200系列供给全部Bianca Board，也就包含两颗GPU、一颗CPU、CPU的内存等全部组件都集成在一块PCB版上。△GB200观点图GB300系列将只供给参考板（Reference Board），包含两颗B300 GPU、一颗Grace CPU、HMC（Hybrid Memory Cube），LPCAMM内存模块等组件将由客户自行洽购。这给供给链上的OEM跟ODM制作商带来了新的机遇。为推理年夜模子打造显存的进级对OpenAI o1/o3一类的推理年夜模子至关主要，由于推理头脑链长度会增添KVCache，影响batch size跟耽误。以一个GB300 NVL72“盘算单位”为单元斟酌时，它使72个GPU可能以极低的耽误处置雷同的成绩，并共享显存。在此基本上从GB200进级到GB300，还能够带来很多利益：每个头脑链的耽误更低实现更长的头脑链下降推理本钱处置统一成绩时，能够搜寻更多样本，终极进步模子才能为懂得释这些晋升，SemiAnalysis举了个更为直不雅的例子。下图是在差别批处置巨细下，应用H100跟H200两种GPU处置长序列时，Llama 3.1 405B在FP8精度下的处置速率。输入设置为1000个token、输出19000个token，由此模仿OpenAI o1跟o3模子中的头脑链。从H100进级到H200，有两个明显改良。一是在全部可比拟的batch size中，H200的内存带宽更年夜（H200 4.8TB/s，H100 3.35TB/s），从而使得处置效力广泛进步了43%。二是H200可运转更高的batch size，这使得其每秒能够天生的token数目增添了3倍，响应地，本钱也增加了约3倍。内存增添所带来的效益远不止名义上的这些。家喻户晓，推理模子呼应时光个别更长，明显收缩推理时光能够进步用户休会跟应用频率。并且内存进级实现3倍机能晋升，本钱增加3倍，这一晋升速率也远超摩尔定律。除此之外，SemiAnalysis还剖析察看到，才能更强跟存在显明差别化的模子能收取更高的溢价——前沿模子毛利率超70%，而还在与开源模子竞争的次一级模子毛利率缺乏20%。固然，英伟达并不是独一一家能增添内存的芯片公司，但怎样英伟达另有杀手锏NVLink。One More Thing英伟达花费级显卡方面，RTX5090的PCB板也初次曝光了～就在昨天，一张RTX 5090 PCB照片在网上疯转。特色就是超超超年夜号。联合此前爆料称5090有可能会装备32GB年夜显存，无望支撑8K超高清游戏，实现60fps的流利游戏休会。网友们直接坐不住。对于5090的宣布时光，年夜伙儿猜想大略会是1月6日老黄CES报告的时间。参考链接：[1]https://semianalysis.com/2024/12/25/nvidias-christmas-present-gb300-b300-reasoning-inference-amazon-memory-supply-chain/[2]https://x.com/mark_k/status/1871864813913330003[3]https://www.gamesradar.com/platforms/pc-gaming/rtx-5090-will-seemingly-come-armed-with-32gb-vram-and-id-be-surprised-if-8k-gaming-isnt-a-thing-this-generation/义务编纂：彩色文章内容告发 ]article_adlist--> 申明：新浪网独家稿件，未经受权制止转载。 -->