国产6699视频在线观看_女人爽到喷水的视频大全_亚洲欧美日韩国产视频亚洲欧美综合日韩久久_中文字幕无码久久东京热_av电影中文一区

 
首頁 > 熱點(diǎn) >
 
 

AI投資:海外巨頭布局,國內(nèi)有望迎來加速

2023-04-13 15:46:30  來源:財(cái)聞網(wǎng)

人工智能主要利用數(shù)字計(jì)算機(jī)或者由數(shù)字計(jì)算機(jī)控制的機(jī)器,模擬、延伸和擴(kuò)展人類的智能,感知環(huán)境、獲取知識并使用知識獲得最佳結(jié)果的理論、方法、技術(shù)和應(yīng)用系統(tǒng)。AI的核心技術(shù)主要包含:深度學(xué)習(xí)(DL)、計(jì)算機(jī)視覺(CV)、自然語言處理(NLP)和數(shù)據(jù)挖掘(DM)等,AI目前主要的應(yīng)用場景包括:醫(yī)療、無人機(jī)、自然語言處理和計(jì)算機(jī)視覺與圖像處理等。


(相關(guān)資料圖)

ChatGPT:確立LLM模型的大參數(shù)和深度學(xué)習(xí)兩大屬性

ChatGPT的出現(xiàn)確立了大語言模型兩個必備元素:大參數(shù)+深度學(xué)習(xí)(Large&Deep)。

ChatGPT是基于自然語言處理(NLP)下的AI大模型,產(chǎn)品能夠通過大算力、大規(guī)模訓(xùn)練數(shù)據(jù)突破AI瓶頸,通過理解和學(xué)習(xí)人類的語言來進(jìn)行對話,并引入新技術(shù)RLHF (Reinforcement Learning with Human Feedback,即基于人類反饋的強(qiáng)化學(xué)習(xí))進(jìn)一步提升了人工智能模型的產(chǎn)出和人類的常識、認(rèn)知、需求、價(jià)值觀保持一致。

一般認(rèn)為模型的思維推理能力與模型參數(shù)大小有正相關(guān)趨勢,一般是突破一個臨界規(guī)模(大概62B,B代表10億),模型才能通過思維鏈提示的訓(xùn)練獲得相應(yīng)的能力。如果在6B以下,那很可能還只是GPT-2級別的初級模型。

AI模型作為高性能計(jì)算業(yè)務(wù),強(qiáng)調(diào)低時延高速率,通常由IB網(wǎng)絡(luò)承載。數(shù)據(jù)中心內(nèi)部有三類典型的業(yè)務(wù):通用計(jì)算(一般業(yè)務(wù))、高性能計(jì)算(HPC)業(yè)務(wù)和存儲業(yè)務(wù)。

每類業(yè)務(wù)對于網(wǎng)絡(luò)有不同的訴求,比如:HPC業(yè)務(wù)的多節(jié)點(diǎn)進(jìn)程間通信,對于時延要求非常高;而存儲業(yè)務(wù)對可靠性訴求非常高,要求網(wǎng)絡(luò)0丟包;通用計(jì)算業(yè)務(wù)規(guī)模大,擴(kuò)展性強(qiáng),要求網(wǎng)絡(luò)低成本、易擴(kuò)展。由于上述業(yè)務(wù)對網(wǎng)絡(luò)的要求不同,數(shù)據(jù)中心內(nèi)部一般會部署三張不同的網(wǎng)絡(luò):由IB(InfiniBand)網(wǎng)絡(luò)來承載HPC業(yè)務(wù),由FC(Fiber Channel)網(wǎng)絡(luò)來承載存儲網(wǎng)絡(luò),由以太網(wǎng)來承載通用計(jì)算業(yè)務(wù)。

以太網(wǎng)是一種廣泛使用的網(wǎng)絡(luò)協(xié)議,但其傳輸速率和延遲無法滿足大型模型訓(xùn)練的需求。相比之下,端到端IB(InfiniBand)網(wǎng)絡(luò)是一種高性能計(jì)算網(wǎng)絡(luò),能夠提供高達(dá) 400 Gbps 的傳輸速率和微秒級別的延遲,遠(yuǎn)高于以太網(wǎng)的性能。這使得IB網(wǎng)絡(luò)成為大型模型訓(xùn)練的首選網(wǎng)絡(luò)技術(shù)。

Infiniband網(wǎng)絡(luò)(IB網(wǎng)絡(luò)):是指通過一套中心 Infiniband 交換機(jī)在存儲、網(wǎng)絡(luò)以及服務(wù)器等設(shè)備之間建立一個單一的連接鏈路,通過中心 Infiniband 交換機(jī)來控制流量,能夠降低硬件設(shè)備間數(shù)據(jù)流量擁塞,有效解決傳統(tǒng) I/O結(jié)構(gòu)的通信傳輸瓶頸,還能與遠(yuǎn)程存儲設(shè)備和網(wǎng)絡(luò)設(shè)備相連接。

端到端IB網(wǎng)絡(luò)還支持?jǐn)?shù)據(jù)冗余和糾錯機(jī)制,能夠保證數(shù)據(jù)傳輸?shù)目煽啃?。在處理大模型中較多的數(shù)據(jù)時,數(shù)據(jù)傳輸錯誤或數(shù)據(jù)丟失可能會導(dǎo)致訓(xùn)練過程中斷甚至失敗,因此保證傳輸?shù)目煽啃杂葹橹匾?,而IB網(wǎng)路有效實(shí)現(xiàn)了保證。

AI大模型驅(qū)動高速率光模塊需求釋放

AI模型高并行計(jì)算+低時延,驅(qū)動網(wǎng)絡(luò)部署速率門檻快速提升。AI大語言模型下,存儲和計(jì)算部分發(fā)生了較多變化,存儲介質(zhì)從機(jī)械硬盤(HDD)演進(jìn)到閃存盤(SSD),來滿足存儲介質(zhì)時延降低了不止100倍數(shù);高效計(jì)算部分,已經(jīng)普遍采用GPU或者專用ASIC芯片,處理數(shù)據(jù)能力提升百倍。

AI投資:海外巨頭布局

ChatGPT&AI等應(yīng)用推出衍生出大模型算力的需求:全球OpenAI推出的最新ChatGPT模型參數(shù)已經(jīng)超過1750億個。在美國,OpenAI、谷歌、微軟、臉書等機(jī)構(gòu)形成了GPT-3、SwitchTransformer、MT-NLG等千億或萬億參數(shù)量的大模型。

微軟:早在2019年,微軟就對OpenAI進(jìn)行了高達(dá)10億美元的投資,并獲得了GPT的獨(dú)家授權(quán),而與此同時,OpenAI同意從“谷歌云”轉(zhuǎn)向“微軟云”。2021年,微軟再次進(jìn)行投資,推出OpenAI與自有產(chǎn)品深度集成的新工具。而后在今年1月23日微軟又宣布向OpenAI追加數(shù)十億美元的投資,且于2月2日宣布旗下所有產(chǎn)品將全線整合ChatGPT,包括且不限于Bing搜索引擎、包含Word、PPT、Excel的Office全家桶、Azure云服務(wù)、Teams聊天程序等。

谷歌:盡管被微軟后來居上,但是谷歌早在2013年就開始研究AI聊天機(jī)器人,于2016年出資6億美元收購了英國人工智能公司DeepMind。2017年時谷歌已實(shí)現(xiàn)了重大的技術(shù)突破,推出了神經(jīng)網(wǎng)絡(luò)系統(tǒng)Transformer,并研發(fā)出了一款名叫Meena的聊天機(jī)器人,于2021年更名為LaMDA推出,但由于輿論爭議谷歌取消了原本的發(fā)布安排。但是由于最近微軟的步步緊逼,谷歌開始向AI方向傾斜,今年二月谷歌向ChatGPT的競品公司Anthropic投資3億美元,并計(jì)劃于今年發(fā)布Sparrow內(nèi)測版等一系列AI產(chǎn)品。

AI投資:國內(nèi)有望迎來加速

國內(nèi)企業(yè)積極陸續(xù)布局AI等應(yīng)用場景投資,后續(xù)有望持續(xù)加大。在中國,浪潮、中科院、阿里達(dá)摩院等陸續(xù)推出源1.0、紫東太初、M6等。其中,浪潮“源1.0”巨量模型,參數(shù)量和數(shù)據(jù)集分別達(dá)到2457億和50000GB,相比于美國GPT-3,源1.0參數(shù)集規(guī)模高40%,訓(xùn)練數(shù)據(jù)集規(guī)模領(lǐng)先近10倍。

百度:2月7日晚,百度在官微宣布即將推出大模型新項(xiàng)目“文心一言”(ERNIE Bot),并透露首站將直接接入百度搜索。目前百度可能是國內(nèi)最有實(shí)力推出類ChatGPT產(chǎn)品的科技公司。

阿里:2023年1月,阿里巴巴達(dá)摩院發(fā)布2023年十大科技趨勢,其中多模態(tài)預(yù)訓(xùn)練大模型、生成式AI在列,阿里版聊天機(jī)器人ChatGPT正在研發(fā)中,目前處于內(nèi)測階段。在AI、大模型等ChatGPT所需的底層技術(shù)上,達(dá)摩院此前曾先后推出超越谷歌、微軟的10萬億規(guī)模的M6大模型、AI模型開源社區(qū)“魔搭”等。

騰訊:2022年4月21日,騰訊對外正式對外披露“混元”AI大模型,該模型包含但不限于:計(jì)算機(jī)視覺、自然語言處理、多模態(tài)內(nèi)容理解、文案生成、文生視頻等多個方向的超大規(guī)模AI智能模型。去年12月,騰訊又推出了國內(nèi)首個低成本、可落地的NLP萬億大模型,并公布了大模型的訓(xùn)練方法——最快用256張卡,1天內(nèi)就能訓(xùn)練完成,成本直接降至原來的1/8。今年2月9日,騰訊表示目前在ChatGPT相關(guān)方向上已有布局,專項(xiàng)研究也在有序推進(jìn)。

京東:2月10日,京東正式宣布,京東云旗下言犀人工智能應(yīng)用平臺將整合過往產(chǎn)業(yè)實(shí)踐和技術(shù)積累,推出產(chǎn)業(yè)版ChatGPT:ChatJD,并公布ChatJD的落地應(yīng)用路線圖“125”計(jì)劃。ChatJD將以“125”計(jì)劃作為落地應(yīng)用路線圖,包含一個平臺、兩個領(lǐng)域、五個應(yīng)用。

關(guān)鍵詞:

  
相關(guān)新聞
每日推薦
  • 滾動
  • 綜合
  • 房產(chǎn)