《科創(chuàng)板日報》6月28日（編輯 宋子喬）融合了AlphaGo背后技術(shù)的大模型Gemini，會是谷歌成功反擊OpenAI的王牌嗎？

(相關(guān)資料圖)

在5月的開發(fā)者大會上，谷歌首次透露了其正在開發(fā)的大模型Gemini（雙子座）。谷歌旗下DeepMind CEO戴密斯?哈薩比斯（Demis Hassabis）最近在采訪中進(jìn)一步透露了Gemini的細(xì)節(jié)：Gemini會將AlphaGo中使用的技術(shù)與大模型結(jié)合，以賦予更強(qiáng)的規(guī)劃或解決問題的能力，將比ChatGPT背后的GPT-4更強(qiáng)大。

哈薩比斯表示，除了AlphaGo，Gemini還會有別的創(chuàng)新。

綜合來看，DeepMind擁有的其他領(lǐng)域技術(shù)（如機(jī)器人和神經(jīng)科學(xué)）也可能整合到Gemini中。谷歌曾提到，Gemini具有多模態(tài)功能，將提供多種規(guī)模，旨在支持未來內(nèi)存和規(guī)劃上的創(chuàng)新。另有消息稱，像GPT-4一樣，Gemini具有一萬億個參數(shù)。據(jù)說Gemini將使用數(shù)以萬計(jì)的谷歌TPUAI芯片進(jìn)行訓(xùn)練。

目前，Gemini還在開發(fā)中，這個過程預(yù)計(jì)需要幾個月的時間，可能花費(fèi)數(shù)千萬美元，甚至數(shù)億美元。這一預(yù)計(jì)成本與GPT-4不相上下，打造GPT-4的成本超過1億美元。

▌谷歌大模型將融合AlphaGo技術(shù)

作為ChatGPT的“前輩”，AlphaGo曾是AI史上的超級明星，其在2016年橫空出世，以打敗李世石火速出圈，是第一個擊敗圍棋世界冠軍的程序。

AlphaGo主要基于強(qiáng)化學(xué)習(xí)的訓(xùn)練方法，通過自我對弈進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練。該技術(shù)的核心思想是“試錯”（trial-and-error）：智能體通過與環(huán)境的交互，根據(jù)獲得的反饋信息調(diào)整自己的表現(xiàn)。

另外，AlphaGo還使用了蒙特卡洛樹搜索方法，這也是所有現(xiàn)代圍棋程序的最核心算法，用來探索和記住場景中可能的移動，如棋盤上所有可能的動作。

利用自己在強(qiáng)化學(xué)習(xí)方面的經(jīng)驗(yàn)，DeepMind有望在大語言模型上產(chǎn)生新的突破。

要知道，訓(xùn)練像OpenAI的GPT-4這樣的大型語言模型，需要將來自書籍、網(wǎng)頁和其他來源的大量精選數(shù)據(jù)集的輸入Transformer中。Transformer使用訓(xùn)練數(shù)據(jù)中的模式來熟練預(yù)測后續(xù)文本中應(yīng)該出現(xiàn)的每一個字母和單詞。

這一機(jī)制盡管在回答問題和生成文本或代碼方面非常強(qiáng)大，但也被很多人工智能專家認(rèn)為限制了通用人工智能的發(fā)展。如圖靈獎得主楊立昆（Yann LeCun）就表示，Transformer將語言模型的能力過度限制在了文本的范圍之內(nèi)，ChatGPT還沒有狗聰明。

▌不容小覷的谷歌

谷歌在AI上蟄伏多年，積累了深厚的技術(shù)和經(jīng)驗(yàn)，GPT的技術(shù)底座Transformer架構(gòu)正是由谷歌研發(fā)并開源。

2023年4月谷歌大刀闊斧將DeepMind與谷歌的主要人工智能實(shí)驗(yàn)室Brain合并為谷歌DeepMind。哈薩比斯自信稱，“如果你看看我們在人工智能領(lǐng)域的進(jìn)展，你會相信，未來80%或90%的創(chuàng)新來自其中一個團(tuán)隊(duì)。在過去十年中，這兩個團(tuán)隊(duì)都取得了輝煌的成就。”

值得注意的是，谷歌的AI武器庫不止由DeepMind提供，它旗下知名網(wǎng)站除了谷歌搜索，還有全球最大的視頻網(wǎng)站YouTube，上面有大量原創(chuàng)、轉(zhuǎn)載視頻，活躍著眾多粉絲數(shù)超百萬的網(wǎng)絡(luò)紅人。最新數(shù)據(jù)顯示，YouTube每月有超過20億的登錄用戶，在社交媒體中僅次于Facebook。

這也意味著，YouTube是一個巨大的數(shù)據(jù)庫、流量池。據(jù)The information此前報道，有內(nèi)部人士透露谷歌的研究團(tuán)隊(duì)正在利用YouTube訓(xùn)練Gemini模型，而競爭對手OpenAI早已經(jīng)悄悄地使用YouTube上的內(nèi)容來訓(xùn)練其人工智能模型。顯然，谷歌可以獲得更完整的內(nèi)容數(shù)據(jù)。

前YouTube高管Shishir Mehrotra就曾表示，對谷歌來說，YouTube視頻簡直就是一座數(shù)據(jù)金礦。

谷歌已經(jīng)放出豪言，Gemini將如何超越GPT-4，我們拭目以待?？梢钥隙ǖ氖牵?strong>科技領(lǐng)域的顛覆式創(chuàng)新之路才剛剛起步，OpenAI暫時領(lǐng)先，但追趕者從未停下奔跑的步伐。

關(guān)鍵詞：