華碩攜GX10 AI超算亮相工博會:實現2000億參數模型推理
如今我們正處于AI時代,AI模型越來越成為大家的好幫手,而對于一些企業來說,AI的本地化運行與推理十分地重要,可以確保敏感數據不會上傳到云上導致泄露的風險,當然想要實現AI模型本地化推理,沒有一臺強大的計算機顯然是不行的,就在中國國際工業博覽會上,華碩推出了GX10 AI超算,可以支持最高2000億參數的語言模型的推理。
作為華碩旗下最新的AI超算,GX10采用了目前最為先進的圖形架構,搭載了NVIDIA GB10 Grace Blackwell芯片,擁有20核Arm CPU,AI算力可以達到1PFLOP,此外官方還為這款AI超算提供了128GB的內存,從而使得開發人員可以實現2000億參數語言模型的微調。除此之外如果你覺得一臺GX10還不夠給力的話,借助NVIDIA ConnectX-7可以實現兩臺GX10 AI超算的互聯,進而處理更大規模的語言模型,例如擁有4050億參數的Llama 3.1模型。
除此之外,想要讓AI模型運行地更加高效,軟件優化也同樣重要,對此華碩準備了NVIDIA DGX OS系統,對AI環境進行了特別的優化,直接開箱就能進入到AI模型的開發與微調中去,此外得益于NVIDIA GB10 Grace Blackwell芯片,這臺AI超算可以實現NVIDIA AI 軟件堆棧,官方也對其進行了預載框架、SDK 以及相關的工具,可以實現模型的快速部署。并且NVIDIA也借助CUDA、PyTorch、TensorFlow、Jupyter這些開發工具對AI進行特別的優化,從而快速地實現大語言模型的微調。華碩官方也表示DeepSeek R1、Llama 3.1以及Meta、Google模型都可以得到很好地支持。
如果你覺得AI模型還需要加載到云上,官方也表示不用費太大的力氣,只需微調程序代碼,即可將模型從桌面環境轉移至 DGX Cloud上,實現模型的快速訓練以及更快的推理,進而釋放寶貴的算力資源,更為重要的是這臺AI超算的體積也十分地迷你,并不會占用太大的空間,從而滿足開發者隨時隨地攜帶。除了華碩GX10之外,現場華碩也展示了其他的AI超算以及各種NUC,能夠幫助企業更好地實現數字化轉型。
可以說AI的發展超乎尋常,各種迷你AI超算的出現也給了開發者更多的選擇,華碩GX10 AI超算也憑借著強大的AI算力支持更高參數的模型,來為中小型企業提供高效的算力平臺,助力企業AI模型的快速落地。
發表評論注冊|登錄