Nvidia推出具有高達20倍AI性能的Ampere GPU

Nvidia的第一款基于Ampere的圖形卡A100 GPU在826mm 2 的硅上封裝了540億個晶體管，成為世界上最大的7納米芯片。今天，在Nvidia首席執(zhí)行長黃仁勛(Jensen Huang)的預(yù)先錄制的“廚房主題演講”中推出了Ampere架構(gòu)，該架構(gòu)沿襲了前輩Volta的腳步，一個巨型GPU開啟了晶體管，AI專業(yè)化和整體性能的表盤。12nm Volta和7nm Ampere均由臺積電制造。

加上TensorFloat-32(TF32)張量核心，峰值單精度性能比哥哥的Volta(V100)理論上提高了10-20倍。HPC工作負(fù)載受益于峰值雙精度浮點性能提高250%，這歸功于用于HPC處理的新的符合IEEE的張量核心指令。

其他新功能包括：

•多實例GPU(又稱MIG)，可將單個A100 GPU劃分為多達七個獨立的GPU。

•第三代Nvidia NVLink結(jié)構(gòu)，將GPU之間的高速連接性提高了一倍。

•結(jié)構(gòu)稀疏性，它在Tensor核心中引入了對稀疏矩陣運算的支持，并將其加速了兩倍。

Ampere將Nvidia的單一通用GPU策略加倍，該策略是由支持HPC，AI和圖形的Volta架構(gòu)引入的。“在[使用Ampere A100]時，無需擁有一堆Volta GPU服務(wù)器，一堆T4 GPU服務(wù)器和CPU服務(wù)器，所有這些現(xiàn)在都可以在一個統(tǒng)一的Ampere服務(wù)器上運行，”黃在為昨天的媒體。

Huang補充說：“毫無疑問，這是我們首次將整個數(shù)據(jù)中心的加速工作負(fù)載整合到一個平臺中。” “您知道，從視頻分析到圖像處理再到語音再到訓(xùn)練再到推理的一切，數(shù)據(jù)處理現(xiàn)在是一臺統(tǒng)一服務(wù)器。”

Huang在這里指的是今天也推出的新型DGX機器。DGX A100由八個A100 GPU供電，它們一起提供320GB的內(nèi)存和每秒12.4TB的帶寬。六個具有第三代NVLink結(jié)構(gòu)的NVSwitch連接GPU，每秒提供4.8TB的雙向帶寬。每個DGX 100系統(tǒng)都提供9個Mellanox ConnectX-6 200Gb / s網(wǎng)絡(luò)接口和15TB Gen4 NVMe存儲。

對于第三代“ DGX”，英偉達做出了另一項改變，只有昨天的簡報或其他新聞材料沒有強調(diào)。最新的DGX取代了兩個Broadwell Intel Xeon，而是配備了兩個64核AMD Epyc Rome CPU。此舉可能預(yù)示著英偉達(Nvidia)會推遲英特爾正在涌現(xiàn)的GPU業(yè)務(wù)，或者可能是受AMD的性價比故事激勵。

現(xiàn)在還可以選擇Arm CPU選項，并且圍繞GPU加速的Arm正在進行大量的開發(fā)活動，因此看到第四代DGX中的另一次CPU升級也就不足為奇了。Nvidia可以選擇Marvell或Ampere(hmm)的Arm服務(wù)器芯片，也可以決定采用全孔技術(shù)，并將內(nèi)部開發(fā)的Arm CPU添加到其不斷增長的堆棧中。

說到Nvidia的堆棧-四年前通過宣布(現(xiàn)已完成)收購Mellanox引入DGX-1，Nvidia避開了系統(tǒng)制造商的稱號，意識到與OEM合作伙伴的潛在沖突。這種不情愿似乎已經(jīng)減少。

Nvdia數(shù)據(jù)中心和云平臺產(chǎn)品管理總監(jiān)Paresh Kharya在同一場媒體發(fā)布會上表示：“我們開發(fā)了垂直完全集成的系統(tǒng)，以開拓計算機的新外形。” “我們也打開了整個系統(tǒng)，并將它們變成了基本的組成部分。因此，我們的生態(tài)系統(tǒng)，整個行業(yè)都可以購買，甚至整個都可以買到。”他繼續(xù)說道，并引用了由合作伙伴云服務(wù)提供商和服務(wù)器制造商支持的HGX A100設(shè)計。

Huang隨后補充說：“ Nvidia確實是一家數(shù)據(jù)中心規(guī)模的計算公司。30年前我們曾經(jīng)是一家PC公司，然后我們成為了工作站公司，然后又成為了服務(wù)器公司，最終我們進入了數(shù)據(jù)中心。但是計算的未來：數(shù)據(jù)中心是計算單元。計算的未來確實是數(shù)據(jù)中心規(guī)模。應(yīng)用程序?qū)⑼瑫r在整個數(shù)據(jù)中心中運行。”

英偉達還宣布創(chuàng)建DGX A100 Superpod，該產(chǎn)品跨越140個DGX A100系統(tǒng)(1,120個GPU)，170個Mellanox Quantum 200G IB交換機，280 TB / s的網(wǎng)絡(luò)結(jié)構(gòu)(超過15公里的光纜)和4個全閃存聯(lián)網(wǎng)的petabyes存儲。Nvidia表示，整個系統(tǒng)提供了近22 petaflops的峰值雙精度性能(700 petaflops的“ AI計算”)，并在不到三周的時間內(nèi)建成。

Nvidia已在其內(nèi)部超級計算機Saturn-V中添加了四個Superpods，從而將其“ AI超級計算”總?cè)萘刻岣叩浇? exaflops，Nvidia稱這使Saturn-V成為世界上最快的AI超級計算機。所有這些GPU的總雙精度容量達到了約93個峰值petaflops，但Jensen澄清說Saturn-V并不是真正的一個系統(tǒng)。它位于一個管理界面下的四個不同位置。Nvidia將該系統(tǒng)用于與計算機圖形學(xué)，機器人技術(shù)，自動駕駛汽車，醫(yī)療保健及其新推薦系統(tǒng)Merlin有關(guān)的軟件開發(fā)。

DGX A100的價格為199,000美元，現(xiàn)已開始發(fā)售。第一份訂單送給了能源部的阿貢實驗室，該實驗室正在使用該集群進行AI和計算，以更好地理解和對抗。HPC研究社區(qū)的其他早期采用者包括印第安納大學(xué)，朱利希超級計算中心，卡爾斯魯厄技術(shù)學(xué)院，馬克斯·普朗克計算和數(shù)據(jù)設(shè)施以及能源部伯克利實驗室的NERSC。Huang說：“如果我們是一家數(shù)據(jù)中心規(guī)模的公司，以數(shù)據(jù)中心規(guī)模開發(fā)芯片，系統(tǒng)和軟件，那是我們應(yīng)該自己構(gòu)建它的理由。”

有強大的合作伙伴支持。有望集成A100的云服務(wù)提供商和系統(tǒng)構(gòu)建商的名單包括阿里云，亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)，Atos，百度云，思科，戴爾技術(shù)，富士通，技嘉科技，谷歌云，H3C，惠普企業(yè)，浪潮，聯(lián)想，Microsoft Azure，Oracle，Quanta / QCT，Supermicro和騰訊云。

HGX A100參考設(shè)計是DGX A100的骨干，具有四GPU和八GPU配置。四個GPU的HGX A100提供了具有NVLink的GPU之間的完全互連，而八個GPU的版本通過NVSwitch提供了完整的GPU到GPU帶寬。w ^ 第i個新的多實例GPU(MIG)架構(gòu)，安培服務(wù)器，因為我們聽到黃打電話給他們，可配置為56個小GPU來推理或八個GPU的培訓(xùn)或HPC工作負(fù)載一起工作。