當算力需求撞上記憶體高牆:輝達考慮調降 Rubin Ultra 規格的供應鏈訊號
輝達傳出因應高頻寬記憶體短缺,內部評估調降次世代 Rubin Ultra GPU 的 HBM 容量配置,突顯 AI 算力擴張與記憶體產能之間的物理與商業拉扯。
距離輝達(NVIDIA)次世代 Rubin Ultra 架構正式量產還有一段時間,但供應鏈已經傳出規格調整的消息。根據《The Information》報導與多家市場分析機構的追蹤,輝達內部正在測試至少三種降低高頻寬記憶體(HBM)容量的 Rubin Ultra GPU 方案。這意味著,最初公布的高階規格可能會為了配合上遊記憶體的實際產能而妥協。
這則消息的核心在於「物理限制」。AI 模型的參數量正以幾何級數膨脹,負責運算的 GPU 架構每年都在翻新,但負責存放資料的高速記憶體產能,成為了制約整個產業出貨量的實體瓶頸。
為什麼是現在:量產前夕的物理極限
這項規格調整傳聞之所以在此時爆發,與新一代記憶體的驗證週期密切相關。
供應鏈研究機構集邦科技與韓國投資機構尤金投資與證券近期的報告指出,輝達正在評估放棄原定在 Rubin Ultra 上使用的 12 層堆疊(12-Hi)HBM4E 記憶體。原因非常單純:包含三星、SK 海力士與美光在內的三大原廠,目前對於 HBM4E 的驗證進度與良率爬坡,存在著極大的變數。距離大規模量產的時間點越來越近,如果繼續死守最高階的記憶體規格,輝達將面臨無晶片可出的窘境。
這牽涉到半導體製造的物理特性。高頻寬記憶體的運作方式,是將多個動態隨機存取記憶體晶片(DRAM Die)像蓋大樓一樣垂直堆疊起來,並透過硅穿孔(TSV)技術相互連接。層數越多,單顆記憶體的容量與頻寬就越大,但熱量累積與製造良率的挑戰也會呈現指數上升。
當 12 層堆疊的 HBM4E 良率無法滿足輝達每年動輒數百萬顆 AI GPU 的出貨預期時,退而求其次成為唯一的商業解法。
容量減半的代價:算力與頻寬的取捨
根據分析師蒲得宇在社羣平臺上的推測,Rubin Ultra 的 HBM 記憶體容量可能會從最初設定的 384GB,大幅縮減至 192GB 或 256GB。
對於一般消費性電子產品,記憶體容量減半可能只影響多工流暢度。但在人工智慧運算領域,這會直接改變模型訓練的經濟效益。大語言模型在運作時,需要將龐大的模型權重(Parameters)載入到 GPU 旁邊的記憶體中。如果單一 GPU 的記憶體容量不足,工程師就必須將模型拆分到更多張 GPU 上運算。
這會引發連鎖反應。模型拆分意味著資料必須在不同的 GPU 之間頻繁傳輸,這會消耗額外的時間與網路頻寬。報導指出,輝達正在嘗試透過軟體最佳化、快取機制調整或架構內部的其他改進,來減輕降低 HBM 容量後對整體效能的負面影響。然而,硬體規格的降級,終究會在極限運算場景中反映出真實的延遲成本。
這也與我們先前分析的晶圓廠減產帶動終端漲價現象有著相似的底層邏輯。當上遊關鍵零組件的產能受到限制時,終端品牌大廠無法完全吸收這些壓力,必須透過產品線重新配置或規格調整來維持利潤與出貨量之間的平衡。
減少堆疊層數的商業邏輯
除了直接將記憶體規格從 HBM4E 降級到 HBM4 之外,輝達還在評估另一種更符合總體出貨利益的策略:減少 DRAM Die 的堆疊層數,也就是從 12 層(12Hi)降至 8 層(8Hi)。
這是一個純粹的數學分配題。在 DRAM 晶圓總產量固定的情況下,如果每一顆 HBM 都使用 12 層晶片堆疊,能製造出來的 HBM 數量就少。如果改成 8 層堆疊,同樣數量的 DRAM 晶片就能組合出更多的 HBM 模組。
這項策略的核心目標是最大化 Rubin Ultra 的出貨量。對輝達而言,賣出兩百萬顆記憶體容量縮減的 GPU,所獲得的營收與市佔率,遠比只賣出一百萬顆滿配版本來得重要。雲端服務供應商對算力的渴求已經到了「有多少買多少」的階段,對於單卡記憶體容量的妥協,在極度稀缺的算力面前是可以被接受的妥協。
這種為了總體產量而進行的規格調整,也發生在其他零組件上。例如在 Vera CPU 上,原本預計採用的 LPDDR5X SOCAMM2 記憶體同樣面臨供應喫緊的問題,迫使輝達必須平行評估其他的替代方案。整個 AI 伺服器供應鏈正處於一個多點瓶頸的狀態。
對雲端巨頭與開發者的實質影響
當硬體出廠規格發生變動,衝擊最深的是第一線採購這些設備的雲端服務供應商以及底層軟體開發者。
如果 Rubin Ultra 最終定案降低 HBM 容量,超大規模資料中心(Hyperscale Data Centers)的叢集架構設計就必須跟著調整。原本規劃用來連接 GPU 的高速網路交換器數量必須增加,光通訊模組的需求也會相應放大,因為系統需要更多的節點來完成同等規模的模型訓練任務。
這也會將優化壓力轉移到軟體層面。CUDA 生態系的開發者需要花費更多心力去適應記憶體頻寬受限的硬體環境,重新調整模型的平行運算策略。而這與我們在美國管制光模組引發的雲端基礎建設重組觀察到的趨勢一致:算力基礎設施的任何硬體環節出現限制,都會引發全球資料中心建構成本的劇烈波動,最終將由終端應用開發者與企業用戶承擔效率折損的代價。
在算力為王的時代,即使是握有絕對主導權的輝達,也無法完全擺脫實體供應鏈的羈絆。高頻寬記憶體的產能限制,預先為這一波 AI 硬體狂飆設下了一道看不見的天花板。降級規格不是失敗,而是產業在高速擴張期必然面對的務實調整。未來幾季,誰能最快適應這些算力節點的規格變異,誰就能在 AI 模型的訓練競賽中取得最有利的位置。