英偉達(dá)GTC專題：新一代GPU、具身智能與AI應(yīng)用

英偉達(dá)GTC專題：新一代GPU、具身智能與AI應(yīng)用研究助理：楊雷1式AI以及機(jī)器人領(lǐng)域突破性成果。建議關(guān)注三大方向：1）B100及后續(xù)芯片路線。B100預(yù)計(jì)采用B2024-2025年推出，芯片迭代周期縮短至1年，帶動配套工藝及組件加速升級。2）具身智能：AgilityGTC機(jī)器人相關(guān)會議，現(xiàn)場將展出25款機(jī)器人。黃仁勛曾表示具身智能是AI下一個(gè)浪潮，2024年初英偉達(dá)投資人形機(jī)器人公司FigureAI并成GEAR，大會或?qū)⒏孪嚓P(guān)成果。3）AI應(yīng)用。本次GTC共有亞馬遜、Anthropic、Runway等1000多家參會企業(yè)，300多家行業(yè)的應(yīng)用。多模態(tài)大模型助力AI賦能下游行業(yè)，提升預(yù)計(jì)為MCM多芯片封裝，臺積電N3或N4P制程工藝，可能使用CoWoS-L，性能預(yù)計(jì)并將通過ConnectX8實(shí)現(xiàn)每GPU網(wǎng)絡(luò)的完整800G。根據(jù)英偉達(dá)芯片路線圖，GB200將于2024-2025年推出，由CPU和GPU通過N替代預(yù)計(jì)加速。B100后續(xù)迭代版本功耗或達(dá)1000W，GB200或進(jìn)一步增風(fēng)冷帶來挑戰(zhàn)，AI算力將導(dǎo)致數(shù)據(jù)中心能耗不斷抬升與PUE指標(biāo)趨嚴(yán)將共同倒逼產(chǎn)業(yè)對液冷需求升級，冷板式液冷或率先放量，浸沒式液冷為長期方向。溫控風(fēng)險(xiǎn)提示：AI發(fā)展不及預(yù)期、技術(shù)迭代不及預(yù)期、市場競爭加劇、海外貿(mào)易爭端、市場系統(tǒng)性風(fēng)險(xiǎn)、研究報(bào)告使用的公開資料架構(gòu)H100GPU及GraceCPU超級芯片，及更新H100NVLGPU，PCIeH100等硬時(shí)刻”，發(fā)布加速計(jì)算、生成式AI以及Meta、微軟、斯坦福等業(yè)界及學(xué)術(shù)界眾Meta、谷歌等AI巨頭以及Anthropic、344Blackwell架構(gòu)，基于更復(fù)雜的多芯片模塊（MCM）設(shè)計(jì)，與現(xiàn)有采用Hopper架構(gòu)的H200系列相比性能有望翻倍提升，預(yù)計(jì)使用臺積電3nm或N4P工藝制程，功耗或達(dá)1000W，采用液冷方案，2024Q2/Q3開始規(guī)模生產(chǎn)。此外，根據(jù)英偉達(dá)最新官方路線圖及IT之家報(bào)道，預(yù)計(jì)2024-2025年之間推出GB200，或采取差異化策略推動客戶采購，加大其與B100/B200之間的配置差距，特別在NVLink和55n人形機(jī)器人：AgilityRobotics、波士頓動力公司、迪士尼和GoogleDeepMi工業(yè)機(jī)械手等。英偉達(dá)于2018年推出包含全新硬件、軟件和虛擬世界機(jī)器人模擬器的NVIDIAIsaac，同時(shí)還推出專為機(jī)器人設(shè)計(jì)的計(jì)算機(jī)平臺JetsonXavier和相關(guān)的機(jī)器人軟件工具包，2023年發(fā)布多模態(tài)具身智能系統(tǒng)VIM英偉達(dá)通過仿真模擬平臺Omniverse與AI結(jié)合，幫助建立訓(xùn)練數(shù)據(jù)集，23年3月OmniverseCloud托管至微軟Azure人開發(fā)和管理平臺IsaacSim的接入范圍。2024年2月英偉達(dá)向人形機(jī)器人公司FigureAI投資5000萬美元并成立通用具身智能體研究實(shí)驗(yàn)66療和金融服務(wù)等垂直領(lǐng)域廣泛應(yīng)用，其正在推出全新Spectrum-X端到端產(chǎn)品進(jìn)入以太網(wǎng)領(lǐng)域，引入新技術(shù)為AI處理提供較高1.6倍的網(wǎng)絡(luò)性能。根據(jù)路透社報(bào)道，英偉達(dá)正在建立新業(yè)務(wù)部門），n本次GTC共有亞馬遜、Anthropicn生成式AI在影視上的應(yīng)用將被重點(diǎn)展示。中國游戲廠商騰訊、網(wǎng)易，以及傳媒巨頭奈飛、皮克斯、傳媒娛樂討論，可能探討如何利用生成式AI和路徑追蹤技術(shù)創(chuàng)造更加逼真的虛擬人物和世界，輔助游戲開發(fā)和影視制作；Runway訊及Digitrax等有望介紹其文生圖、文生視頻模型及其他AI應(yīng)用。其他可能被討論的應(yīng)用包括3D內(nèi)容生成、云端創(chuàng)作游戲等。）：在未來五年翻一番。AI設(shè)備有望替換掉所有的傳統(tǒng)計(jì)算。77Ampere架構(gòu)在計(jì)算能力、能效和深度學(xué)習(xí)性能方面大幅提升，采用多個(gè)SM和更大的總線寬度，提供更多CUDACore及更第三代TensorCore，具有更高的內(nèi)存容量和帶寬，適用于大規(guī)模數(shù)據(jù)處理和機(jī)器學(xué)習(xí)任務(wù)。2022年發(fā)布HonBlackwell：或?yàn)橛ミ_(dá)首次采用多chiplet設(shè)計(jì)的架構(gòu)，一方面可能簡化基于Blackwell架構(gòu)的GPU硅片層面生產(chǎn)，最大限度提高小型芯片產(chǎn)量，另一方面，多芯片封裝將更加復(fù)雜。預(yù)計(jì)SM和CUDA將采用新結(jié)構(gòu)，光線追蹤性能等將進(jìn)一步優(yōu)化和PT單元所取代，以實(shí)現(xiàn)對AdaLovelace架構(gòu)的性能翻倍。Blackwell架構(gòu)GPU很可能會支持GDDR7內(nèi)存，相比GDDR6X效率更高，鑒于Hopper/Ada架構(gòu)不同，Blackwell或?qū)U(kuò)展到數(shù)據(jù)中心和消費(fèi)級GPU，但消費(fèi)級場景或?qū)⒀永m(xù)單芯片設(shè)計(jì)，以實(shí)現(xiàn)時(shí)間可控及低VoltaTuringAmpereHopper發(fā)布時(shí)間2017201820202022核心參數(shù)80個(gè)SM，每個(gè)SM包括32個(gè)FP64+64個(gè)Int32+64個(gè)FP32+8個(gè)TensorCore102核心92個(gè)SM，SM重新設(shè)計(jì)，每個(gè)SM包含64個(gè)Int32+64個(gè)FP32+8個(gè)TensorCore108個(gè)SM，每個(gè)SM包含64個(gè)FP32+64個(gè)INT32+32個(gè)FP64+4個(gè)TensorCore132個(gè)SM，每個(gè)SM包含128個(gè)FP32+64個(gè)INT32+64個(gè)FP64+4個(gè)TensorCoreNVLink2.0，TensorCore第一代，支持AI運(yùn)算TensorCore2.0，RTCore第一代TensorCore3.0，RTCore2.0，NVLink3.0，結(jié)構(gòu)稀疏性矩陣MIG1.0TensorCore4.0，NVLink4.0，結(jié)構(gòu)稀疏性矩陣MIG2.0制程12nm，211億晶體管12nm，186億晶體管7nm，283億晶體管4nm，800億晶體管代表產(chǎn)品V100/TiTanVT4/2080Ti/RTX5000A100/A800/A30系列H100/H80088nB100：預(yù)計(jì)為MCM多芯片封裝，臺積電N3或N4P制程工藝，可能發(fā)內(nèi)存或?yàn)?00GHBM3e，約為H200的140%；參考?xì)v代NVLink迭代，預(yù)計(jì)雙向帶寬有望較H100接近翻倍，或nB100預(yù)計(jì)2024H2規(guī)模出貨。MorganStanley預(yù)計(jì)2024年英偉達(dá)CoWoS需求量15萬片，對應(yīng)AIGPU出貨量400萬張，其中性能參數(shù)V100PCIeA10080GBPCIeA80080GBPCIeH10080GBPCIe微架構(gòu)VoltaAmpereHopperFP647TFLOPS9.7TFLOPS26TFLOPSFP3214TFLOPS19.5TFLOPS51TFLOPSFP16TensorCore312TFLOPS756.5TFLOPSINT8TensorCore62TOPS624TOPS1513TOPSGPU顯存32/16GBHBM280GBHBM2e80GBHBM3GPU顯存帶寬900GB/s1935GB/s2TB/sTDP250W300W300-350W多實(shí)例GPU最多7個(gè)MIG，每個(gè)10GB外形規(guī)格PCIe雙插槽風(fēng)冷式或單插槽液冷式PCIe雙插槽風(fēng)冷式互連技術(shù)NVLink：300GB/sPCIe：32GB/sNVLink：600GB/sPCIe4.0：64GB/sNVLink：400GB/sPCIe4.0：64GB/sNVLink：600GB/sPCIe5.0：128GB/s服務(wù)器選項(xiàng)搭載1~8個(gè)GPU的合作伙伴認(rèn)證系統(tǒng)和NVIDIA認(rèn)證系統(tǒng)99CoW和oS組合，先將芯片通過ChiponWafer（CoW）的封裝制程連接至硅晶圓，再把CoW芯片與基），），n英偉達(dá)積極與行業(yè)伙伴合作創(chuàng)新液冷方案。2022年推出基于直接芯片冷卻技術(shù)（Direct-to-ch本性能相當(dāng)，電力節(jié)省約30%，單插槽設(shè)浸沒式冷卻集成在帶有內(nèi)置泵和液體-蒸汽分離器的機(jī)架歧管中，使用兩相冷板冷卻芯片，其余具有較低功率密度的服務(wù)器組件將浸沒在密封的浸沒式箱體內(nèi)，服務(wù)器使用綠色制冷劑分別進(jìn)行兩相冷卻和浸沒冷卻。相較當(dāng)前無法處理高于400W/cm2功率密度的液冷，混合冷卻支持服務(wù)器機(jī)架功率高達(dá)200kW，是目前的25倍，與風(fēng)冷相比成本至少降低5%，冷卻效率提高20%。n2024年3月，Vertiv與英偉達(dá)專家團(tuán)隊(duì)共同針對GPU型高密數(shù)據(jù)中心制冷方案進(jìn)行研發(fā)測試并發(fā)布實(shí)測數(shù)據(jù)，結(jié)果顯示冷板液冷和風(fēng)冷的創(chuàng)新風(fēng)液混合制冷方案中大約75%的IT負(fù)載可通過冷板液冷技術(shù)實(shí)現(xiàn)有效冷卻，IT負(fù)載從100%風(fēng)冷轉(zhuǎn)型為器風(fēng)扇用電量降低最多達(dá)到80%，使總體使用效率（液冷將服務(wù)器芯片等高發(fā)熱元件的熱量通過冷板間接傳遞給液體進(jìn)行散熱,低發(fā)熱元件仍通過風(fēng)冷散熱，兼具性能與價(jià)格優(yōu)勢，技術(shù)相散熱效率更高，數(shù)據(jù)中心基礎(chǔ)設(shè)施中應(yīng)用比例有望逐步提升，但對冷卻液要求嚴(yán)格，在建設(shè)改造以及環(huán)境等領(lǐng)先溫控廠商普遍推出數(shù)據(jù)中心液冷解決方案，潤澤科技、科華數(shù)據(jù)等IDC廠商積極通訊等ICT設(shè)備廠商均推出液冷服務(wù)器，以提升自身競爭力，滿nGB200是將CPU和GPU組合的超級芯片，GB200NVL個(gè)B100GPU，內(nèi)存為192GBHBM3e，CPUNVLink連接2500張GPU集群。芯片功耗或達(dá)1200w，采用混合冷卻，預(yù)計(jì)其中GPU/CPU/網(wǎng)卡/NVLinkSwitchASICs使用液冷，其他組nGH200：上一代超級芯片，2023年5月發(fā)布，包含1個(gè)GraceCPU和1個(gè)HopperGPU，之間通過900GB/s的NVLiGPU可以共享CPU內(nèi)存，不再需要傳統(tǒng)的CPU至GPUPCIe連接。與最新的PCIeGen5技術(shù)相比，GPU和CPU之間帶寬提高7倍，互連功耗減少5倍以上。基于GH200芯片的DGXGH200集群，所有256個(gè)GPUs連接可以訪問到累計(jì)144TB內(nèi)存，較DGXH100的640GB提升約谷歌云、Meta和微軟預(yù)計(jì)成為首批DGn產(chǎn)品性能進(jìn)一步加快提升。根據(jù)Bloomberg，英偉達(dá)可能在2026年推出下一代數(shù)據(jù)中心GPUN100，N100的GPU芯片數(shù)量可能由B100的2個(gè)增加到4個(gè)，每個(gè)芯片的尺寸相似，盡管GPU芯片總面積可能翻倍，性能躍進(jìn)將更加顯著。N100預(yù)計(jì)采用臺積電N3E工藝，晶體管密度或增加50%，芯片內(nèi)存可能升級到全新一代HBM4。封裝設(shè)計(jì)將同步升級以擴(kuò)大芯片尺寸，可能加速熱壓縮鍵合（TCB）和混合鍵BOM（250DGXA800，8GPU&IB/SER物料（銅線+光模塊方案）物料（全光模塊方案）GPU（A800）2000GPU（A800）2000IB網(wǎng)卡（200GNDRIB）2000IB網(wǎng)卡（200GNDRIB）2000銅線（200GServer-to-ToR）2000光模塊（200GServer-to-ToR）4000光模塊（200GSpine/Coreswitch）8000光模塊（200GSpine/Coreswitch)8000IB交換機(jī)（200G40port）250IB交換機(jī)（200G40port）250nnBOM測算：以500臺DGXH800主機(jī)測算，每臺搭載8張GPU&400GIB，“銅線+光模塊“方案下，模塊數(shù)量按400G計(jì)算為4000*4=16000個(gè)，考慮800G二合一，即為n全光模塊方案，類似上一代計(jì)算，2000*800G+4000*400G光模塊替換銅線，總光模塊數(shù)包括1萬個(gè)800G（2.5倍GPU）和4物料（銅線+光模塊方案）物料（全光模塊方案）GPU（H800）4000GPU（H800）4000IB網(wǎng)卡（400GNDRIB）4000IB網(wǎng)卡（400GNDRIB）4000銅線（400GServer-to-ToR）2000光模塊（400GServer）4000光模塊（800GSpine/Coreswitch）8000光模塊（800GToR）2000IB交換機(jī)（400G64port）320光模塊（800GSpine/Coreswitch）IB交換機(jī)（400G64port）8000320nn光模塊趨勢向高速率發(fā)展。AIGC等技術(shù)的快速發(fā)展帶來數(shù)據(jù)量呈指數(shù)級增長，設(shè)備與設(shè)備之間的亦需要更大帶寬連接，因此光模n交換機(jī)芯片密度的提升有望帶來1.6T加速放量。數(shù)據(jù)中心交換芯片的演變趨勢基本上處于每兩年翻一番的快速增長，25.6T交換芯片用7nm工藝，51.2T則需要選擇5nm工藝節(jié)點(diǎn)，預(yù)計(jì)2025年3nm工藝節(jié)點(diǎn)可實(shí)現(xiàn)，并支持交換芯片能實(shí)現(xiàn)102.4T的容量。對于102.T的交換容量，則需要來源：光電匯OESHOW，MACOM，CMOS工藝，芯片層面最大程度實(shí)現(xiàn)混合集短距、場景、相干光場景應(yīng)用有望成為主流件和模塊行業(yè)。1.6T時(shí)代，多模VCSEL20nLPO：線性驅(qū)動可插撥光模塊。通過LDSP替換，使用高線性度、具備EQ功能的TIA和DRIVER芯片（成本上升少許}，比傳統(tǒng)DSP解決方?jīng)Q散熱問題，同時(shí)也可以省去很多SerDes功能，節(jié)全球：Finisar、Lumentum、MO全球：全球：Finisar、Lumentum、MO全球：Finisar、Oclaro、Broadcom等算力連接全球：Finisar、Lumetum、BroadC算力網(wǎng)絡(luò)電信、聯(lián)通有線/無線算網(wǎng)設(shè)備算網(wǎng)運(yùn)營電信、聯(lián)通有線/無線算網(wǎng)設(shè)備算網(wǎng)建設(shè)參股/合作算力供給算力散熱算力接入通信大變革算力供給算力散熱算力接入系統(tǒng)風(fēng)扇浸沒式散熱散熱模組冷板式散熱噴淋式散熱算力交換系統(tǒng)風(fēng)扇浸沒式散熱散熱模組冷板式散熱噴淋式散熱算力交換------------43.47%43.67%nnAI發(fā)展不及預(yù)期風(fēng)險(xiǎn)。AI是底層算力增長核心驅(qū)動力之一，若AI技術(shù)及應(yīng)用發(fā)展不及預(yù)期，算力規(guī)模增速可能放緩，進(jìn)而影響產(chǎn)業(yè)鏈公司若不能及時(shí)根據(jù)市場需求變化進(jìn)行技術(shù)、產(chǎn)品及業(yè)務(wù)創(chuàng)新，市場競爭力將可能被削弱，影響經(jīng)濟(jì)效益；n市場系統(tǒng)性風(fēng)險(xiǎn)。全球和國內(nèi)宏觀層面相關(guān)因素仍可能對市場產(chǎn)生系統(tǒng)性影