描述

產(chǎn)品描述

H100是NVIDIA的最新一代超微服務(wù)器，專為高性能計算和人工智能應(yīng)用而設(shè)計。它支持多達(dá)14個NVIDIA的最新一代GPU，并具有高擴展性和高可用性。

特征

強大的計算能力和圖形處理能力

高效的能源利用和散熱設(shè)計

可擴展性和靈活性

H100 NVIDIA超微NV服務(wù)器是一款專為高性能計算和數(shù)據(jù)處理而設(shè)計的服務(wù)器。它采用了先進(jìn)的NVIDIA技術(shù)，提供卓越的計算和圖形處理能力，適用于各種科學(xué)計算、人工智能和深度學(xué)習(xí)任務(wù)。

H100 NVIDIA超微NV服務(wù)器具有卓越的性能和可靠性。它配備了最新的NVIDIA圖形處理器和高效的處理器，能夠處理復(fù)雜的計算任務(wù)和大規(guī)模數(shù)據(jù)處理。其先進(jìn)的散熱設(shè)計和能源利用技術(shù)使其能夠在高負(fù)載情況下保持穩(wěn)定性和高效性能。

NVIDIA H100 GPU采用具有FP8精度的Transformer Engine,相比上一代GPU,為大型語言模型提供高達(dá)4倍的訓(xùn)練速度。第四代NVIDIA NVLink可提供900 GB/s GPU到GPU的互連速度，NVLink Switch系統(tǒng)(可加速每個GPU跨節(jié)點的集體通信)、PCIe 5.0和Magnum IO?軟件相結(jié)合，可實現(xiàn)從小型企業(yè)到大型統(tǒng)一GPU集群的高效可擴展性。這些基礎(chǔ)設(shè)施的進(jìn)步與NVIDIA AI Enterprise軟件套件相結(jié)合，使HGX H100成為強大的端到端AI和HPC數(shù)據(jù)中心平臺。

AI使用同樣廣泛的神經(jīng)網(wǎng)絡(luò)解決了廣泛的業(yè)務(wù)挑戰(zhàn)。出色的AI推理加速器不僅必須提供最高性能，而且還必須具備在客戶選擇部署的任何位置(從數(shù)據(jù)中心到邊緣)加速這些網(wǎng)絡(luò)所需的多功能性。

HGX H100進(jìn)一步擴展了NVIDIA在市場中領(lǐng)先的深度學(xué)習(xí)推理領(lǐng)導(dǎo)地位，在Megatron 5300億參數(shù)聊天機器人上的推理速度比上一代產(chǎn)品提高了30倍。

HGX H100將雙精度Tensor Core的每秒浮點運算次數(shù)(FLOPS)提高了3倍，在8卡GPU配置中為HPC提供高達(dá)535 TeraFLOPS的FP64計算，在4卡GPU配置中提供高達(dá)268 TeraFLOPS的算力。融合AI的HPC應(yīng)用還可以利用H100的TF32精度在零代碼更改的情況下，為單精度矩陣乘法運算實現(xiàn)近8000 TeraFLOPS的吞吐量。

H100采用DPX指令集，可將動態(tài)編程算法（例如用于DNA序列比對和蛋白質(zhì)比對以預(yù)測蛋白質(zhì)結(jié)構(gòu)的Smith-Waterman）的速度比基于NVIDIA Ampere架構(gòu)的GPU提高7倍。通過提高基因測序等診斷功能的吞吐量，H100可為每個診所提供準(zhǔn)確、實時的疾病診斷和精準(zhǔn)的藥物處方。

數(shù)據(jù)中心是新的計算單元，網(wǎng)絡(luò)在擴展應(yīng)用程序性能方面發(fā)揮著不可或缺的作用。搭配NVIDIA Quantum InfiniBand，HGX提供世界一流的性能和效率，確保計算資源的充分利用。NVIDIA Quantum InfiniBand憑借網(wǎng)內(nèi)計算加速、遠(yuǎn)程直接內(nèi)存訪問(RDMA)和高級服務(wù)質(zhì)量(QoS)功能引領(lǐng)潮流。

對于部署以太網(wǎng)的AI云數(shù)據(jù)中心，HGX最適合與NVIDIA Spectrum-X網(wǎng)絡(luò)平臺配合使用，該平臺可在400 Gb/s以太網(wǎng)上提供最高AI性能。Spectrum-X采用NVIDIA Spectrum?-4交換機和BlueField-3 DPU，通過優(yōu)化資源利用率和性能隔離，可在各種規(guī)模上為數(shù)千個同步AI作業(yè)提供一致且可預(yù)測的結(jié)果。Spectrum-X支持高級云多租戶和零信任安全。借助Spectrum-X，云服務(wù)提供商可以加快AI解決方案的開發(fā)、部署和上市速度，同時提高投資回報率。

應(yīng)用領(lǐng)域

H100 NVIDIA超微NV服務(wù)器廣泛應(yīng)用于科學(xué)研究機構(gòu)、大型企業(yè)、教育機構(gòu)等領(lǐng)域，用于高性能計算、人工智能、深度學(xué)習(xí)、大數(shù)據(jù)分析等任務(wù)。

美國出臺了對華半導(dǎo)體出口限制新規(guī)，其中就包括了對于高性能計算芯片對中國大陸的出口限制。并且以NVIDIA的A100芯片的性能指標(biāo)作為限制標(biāo)準(zhǔn)。即同時滿足以下兩個條件的即為受管制的高性能計算芯片：

（1）芯片的I/O帶寬傳輸速率大于或等于600 Gbyte/s；

（2）“數(shù)字處理單元原始計算單元”每次操作的比特長度乘以TOPS計算出的的算力之和大于或等于4800TOPS。這也使得NVIDIA A100/H100系列、AMD MI200/300系列AI芯片無法對華出口。