| 支持27萬億參數的GPU來了，英偉達還是英偉達 | |
| 發布時間:2024-03-25 14:54:44 | 瀏覽次數： | |
北京時間2024年3月19日凌晨4點，英偉達GTC2024開啟全球直播。英偉達創始人黃仁勛開講后15分鐘，英偉達股價相較昨日漲了100億美金。
在英偉達公布第四季度財報前一晚，彭博社在頭版寫道：“如果今天英偉達的收入沒有超出預期，地球就會爆炸!”
今天，我們同樣可以說“如果英偉達的新芯片沒有超出預期，市場就會爆炸！”
因此黃仁勛拿出了AI算力的新殺手锏——可以支持27萬億參數模型訓練的超級AI算力方案GB200 Superchip。這甚至比當前最大的模型（例如 GPT-4）還要大得多，據報道GPT-4有1.7萬億個參數。
基于新架構的B200 GPU。在處理支持人工智能模型方面，B200單塊芯片的速度，相較當前最領先的H100提高了至少2倍。
不僅單塊GPU性能大幅提升，通過第五代NVLink互連技術，將兩塊B200與一塊Grace CPU組合在一起得到的GB200，可以為大語言模型推理提供超過H100近30倍的性能。同時與H100相比，新方案“可將成本和能耗降低多達25倍”。
這一顯著的改進突破了人工智能超級計算的界限，并將使更復雜的人工智能模型能更有效地開發和部署。
面對英偉達股價有些“漲過頭”了，即將成為下一個思科的質疑。在這場萬眾期待的GTC2024上，黃仁勛用空前強大的B200 GPU，一一做出了回應。
隨著AI算力的瓶頸進一步被打破，黃仁勛也大膽預測：“未來讓AI了解物理世界只需要‘三臺電腦’。”
“女士們先生們，我想向你們介紹一款非常非常大的GPU——Blackwell！”在強調了半個小時生成式AI的重要性后，黃仁勛終于給圣何塞中心座無虛席的觀眾們，搬出了AI算力的新殺手锏——B200 GPU。
這款采取了全新架構GPU的名字，來自于第一位入選美國國家科學院的黑人學者大衛·布萊克威爾（David·Blackwell）。
通過把B200和上一代H100放在一起比較，可以明顯發現，相較于前代814平方毫米的尺寸，B200要明顯大出一圈。
尺寸擴大主要由于新款B200擁有2080億個晶體管，是之前H100芯片800億個晶體管的兩倍多。所有這些晶體管幾乎可以同時訪問芯片上的存儲器，從而提高了生產效率。
黃仁勛稱，B200在處理支持人工智能的模型方面，速度相較H100提高了數倍。包括開發技術的過程 （預訓練階段） 以及技術運行過程 （稱為推理） 。
舉一個更具體的例子。之前訓練一個1.8萬億參數的模型需要8,000個H100GPU和15兆瓦的功率。如今，黃仁勛表示，訓練同樣的模型，只需要2,000個B200GPU就可以，同時功耗僅為4兆瓦，只相當于原先功耗的約四分之一。
不僅單塊GPU效果拔群，連接之后的B200，也讓GPU性能更加強大。
將兩個B200與一個基于Arm架構的Grace CPU配對，就會得到GB200，可以為大語言模型推理負載提供超過現在30倍的性能。
而當前，英偉達所能想象到的最暴力的連接方案，是將72塊B200連接在一起。
英偉達宣布將推出一款液冷服務器機架，配備72個新發布的Blackwell GPU。
GB200 NVL72系統還包括36個Grace CPU和9個NVLink交換機托盤，每個托盤有兩個NVLink交換機。這使得整個系統串聯在一起，形成了一個巨大的 GPU。這種混合配置極大地提高了性能，能夠以更高的速度和效率處理復雜的人工智能工作負載。
英偉達稱，NVLink域可以支持27萬億個參數和130 TB帶寬的模型。這甚至比當前最大的模型 （例如 GPT-4） 還要大得多，據報道GPT-4有1.7萬億個參數。許多人工智能研究人員認為，具有更多參數和數據的更大模型，更有可能突破當前智能涌現的極限，釋放新功能。
用黃仁勛的話來說：“這才是GPU該有的樣子！”
在成本方面，雖然英偉達沒有提供新GB200或它所使用的系統的成本。但據分析師估計，英偉達前代的H100每個芯片成本在25,000美元到40,000美元之間，新一代整個系統的成本可能繼續提升，達到200,000美元。
除了硬件，英偉達還順勢推出了名為NIM的創收軟件，通過這款軟件，可以使人工智能的部署變得更容易，也為客戶提供了另一個理由——在日益白熱化的市場競爭中，為何堅持使用英偉達芯片。
黃仁勛特別提到，“B200不是芯片，而是個平臺，我們不做芯片，只做平臺。”
英偉達高管馬努維爾·達斯 （Manuvir Das ） ，也在后續采訪中進一步闡述，英偉達不再是一個唯利是圖的芯片提供商，而更像是一個平臺提供商，就像微軟或蘋果一樣，其他公司可以在英偉達平臺上構建軟件。“可銷售的商業產品是GPU，而軟件是為了幫助人們以不同的方式使用GPU。”
達斯特別提到：“如果你是一名開發人員，有一個有趣的模型希望向C端推廣，只需要把模型放入NIM軟件中，就可以在英偉達所有的GPU上運行，包括舊款GPU，這樣你就能以更低成本，觸達到更多客戶。”
英偉達三十年來的所有工作幾乎都圍繞技術和市場展開，這也是英偉達的核心：“在創造需求前，先創造技術。”而現如今，面對AMD、英特爾、谷歌等芯片巨頭的強勢競爭，英偉達用新一代B200芯片，進一步拉開了與競爭對手的距離。
現場，黃仁勛進行了這樣一組對比。
2012年對Alex Net輸入“CAT”一詞，會對應生成一張貓咪圖片。當時人們可能覺得這就是奇跡。10 年后，對 AI 大模型輸入同樣三個字母，會出現對“CAT”不同維度的理解而產生大量結果。這種革命性的改變時刻已經到來。
黃仁勛認為，生成式AI讓計算范式，輸入范式，人與機器的交互方式發生了巨變 （從人理解機器，到機器理解人的自然語言） ，因此處理信息的方式必須適應AI模型的發展。
算力技術、信息處理技術的改變，將一切變得數字化。
“未來就是先將一切數字化制造出來，然后再進行物理制造。”黃仁勛表示。
他展示了未來AI將整個地球數字化后，利用AI預測天氣與極端氣象，以保護人類免于災害的場景；他展示了AI將數字化蛋白質、基因和腦電波，以幫助基因測序、醫學成像、藥物研發等等；他展示了未來甚至可以人手一個AI團隊，并隨身攜帶，運行自己的數據模型中心，以及未來將人手一個AI機器人。
值得一提的是，這些技術有相當一部分已經分別應用于英偉達的合作伙伴當中。
黃仁勛稱一切與英偉達合作的伙伴為“孿生兄弟”，如亞馬遜云、谷歌、甲骨文等。因為當人們在使用這些公司的軟件時，背后都有英偉達生態系統的支持。
由現場可見，GTC的參會伙伴、合作伙伴，一個大屏幕已經放不下。
在黃仁勛看來，到目前為止，AI技術還局限于一臺電腦。當數據進入計算機，大模型通過大量閱讀語言、先前的例子來模仿人類，數十億個參數就成了人類的AI。
而在未來， 黃仁勛認為讓AI了解物理世界需要“三臺電腦”。 這將是基于原有的計算機大模型基礎上，與可以模仿人類物理行為的機器人相結合的產物。這“三臺電腦”將理解、模仿并代替人類處理更高難度的日常行為。
截至目前，通過全球頂尖的大模型公司展示的結果，以及今日“皮衣教主”的演講，我們不難看出，AI的發展是具有突破性的。而這些所謂“苦澀的教訓”的結果，與英偉達芯片算力的發展密不可分。
此前“木頭姐”對英偉達的唱衰來自對英偉達股價瘋漲的擔憂。而今可以看到的是，英偉達的股價某種程度上來說是AI行業發展的縮影。換句話來講，“黃氏定律”其實是AI奇點時刻的“響指”賦予了他魔力。
但追溯過去我們會發現，英偉達自創立之初，或許已經在為今天的時刻做準備。
半個月前左右，黃仁勛在母校斯坦福回憶了自己創立英偉達至今的歷程，他認為英偉達始終沒有改變的核心是： 制造特殊的計算機解決普通計算機無法解決的問題。 在那個還沒有 3D 圖形和電子游戲的年代，英偉達需要一邊設計 3D 技術，一邊幫助創造電子游戲市場。
“創造技術，開拓市場”的理念始終貫穿著英偉達。
算力技術和信息處理在藥物設計、天氣模擬、材料設計等領域的應用，是黃仁勛引以為傲的創新創造。可以說，英偉達技術的發展，的確影響著“整個地球”。
黃仁勛曾說：“希望英偉達能通過堅持不懈地去做擅長且熱愛的事，被歷史以‘改變了一切’的名號記住。”
從當下已有的進展來看，黃仁勛正在朝著這個方向前進。
|
|
|
|
| 上一篇:原阿里CEO張勇加入晨壹基金，“逍遙子”迎來創投之路新起點 下一篇:小米造車，就是小米最佳的投資方式 |
貴公網安備 52010302002155號