(資料圖片僅供參考)

封面新聞記者 歐陽宏宇

在BAT、360、商湯等國內(nèi)企業(yè)紛紛宣布入局AI大模型之后，面向大模型訓(xùn)練的高性能計算需求也迎來井噴式增長。

近日，騰訊披露自研高性能計算網(wǎng)絡(luò)星脈高性能計算集群。據(jù)介紹，該計算集群具備3.2T通信帶寬，能提升40%的GPU利用率，節(jié)省30%~60%的模型訓(xùn)練成本，為AI大模型帶來10倍通信性能提升?；隍v訊云新一代算力集群HCC，可支持10萬卡的超大計算規(guī)模。

不久前，為了降低算力支出，OpenAI開始限流。這背后是通用人工智能的火爆帶動了AI大模型參數(shù)量級飆。為支撐海量數(shù)據(jù)的大規(guī)模訓(xùn)練，需要大量服務(wù)器通過高速網(wǎng)絡(luò)組成算力集群。國內(nèi)廠商正試圖通過技術(shù)的演進對算力使用效益優(yōu)化。

今年4月，阿里云也已披露了其高性能AI訓(xùn)練計算平臺靈駿智算；上月底，聯(lián)想高性能計算與人工智能主任技術(shù)顧問郝常杰也對外表示，在高性能計算上走開放融合技術(shù)路線。此外，華為云、商湯、科大訊飛在高性能計算集群上都有布局。

不過，大集群不等于大算力，相反，GPU集群越大，產(chǎn)生的額外通信損耗越多。比如，千億、萬億參數(shù)規(guī)模的大模型，訓(xùn)練過程中通信占比最大可達50%，傳統(tǒng)低速網(wǎng)絡(luò)的帶寬遠遠無法支撐。同時，傳統(tǒng)網(wǎng)絡(luò)協(xié)議容易導(dǎo)致網(wǎng)絡(luò)擁塞、高延時和丟包，而僅0.1%的網(wǎng)絡(luò)丟包就可能導(dǎo)致50%的算力損失，最終造成算力資源的嚴重浪費。

解決這類問題，需要面向AI大模型打造高性能計算網(wǎng)絡(luò)。騰訊云副總裁王亞晨認為，大帶寬、高利用率以及零丟包的高性能網(wǎng)絡(luò)服務(wù)，將助力突破算力瓶頸，進一步釋放AI潛能，全面提升企業(yè)大模型的訓(xùn)練效率。比如，騰訊云自研的端到端全棧網(wǎng)絡(luò)運營系統(tǒng)將整體故障排查時間降低至分鐘級，大模型訓(xùn)練系統(tǒng)的整體部署時間也得以從19天縮減至4.5天。

在專家看來，高性能計算將開啟算力賦能數(shù)字經(jīng)濟的新篇章。中國工程院院士陳左寧指出，在先進計算產(chǎn)業(yè)浪潮下，實現(xiàn)高性能計算的可持續(xù)發(fā)展，能打造以新型算力為基礎(chǔ)的軟硬件協(xié)同的創(chuàng)新生態(tài)環(huán)境，助推行業(yè)賦能，以及數(shù)字產(chǎn)業(yè)化和產(chǎn)業(yè)數(shù)字化水平的不斷躍升。

關(guān)鍵詞：