編程客棧（）6月26日 消息:微軟的人工智能研究人員發(fā)布了一種新的、輕量級的代碼生成模型 phi-1，并且其性能優(yōu)于 ChatGPT 背后的大型語言模型 GPT-3.5。

(資料圖片)

據(jù)了解， 這個(gè)基于 Transformer 的模型僅擁有13億個(gè)參數(shù)，相比之下，Codex擁有120億個(gè)參數(shù)。

微軟的研究人員僅用了四天時(shí)間就使用 Nvidia 的8個(gè) A100芯片來訓(xùn)練 phi-1。該模型使用來自網(wǎng)絡(luò)的60億個(gè)token以及使用 GPT-3.5生成的另外10億個(gè)token進(jìn)行訓(xùn)練。

在性能方面，phi-1在HumanEval基準(zhǔn)測試中獲得了50.6% 的 pass@1準(zhǔn)確率。盡管模型小得多，但微軟模型擊敗了 Hugging Face 和 ServiceNow 的 StarCoder （33.6%）、OpenAI 的 GPT-3.5(47%) 和谷歌的 PaLM2-S 編程客棧(37.6% ) 。

在MBPP pass@1測試中，phi-1表現(xiàn)更好，取得了55.5% 的分?jǐn)?shù)。上述許多模型尚未發(fā)布該基準(zhǔn)測試的結(jié)果，但 WizardLM 的WizardCoder在本月早些時(shí)候進(jìn)行的測試中得分為51.5%。WizardCoder 是一個(gè)150億個(gè)參數(shù)模型，而 phi-1的參數(shù)模型為13億個(gè)。

高質(zhì)量數(shù)據(jù)帶來差異

微軟的研究人員認(rèn)為，正是“高質(zhì)量數(shù)據(jù)的力量”讓 phi-1表現(xiàn)如此出色。為了說明這一點(diǎn)，研究人員將他們模型的論文js命名為“教科書就是你所需要的”。

他們寫道:“正如一本全面、精心制作的教科書可以為學(xué)生提供掌握新學(xué)科所需的知識一樣，我們的工作展示了高質(zhì)量數(shù)據(jù)在磨練語言模型在代碼生成任務(wù)中的熟練程度方面的顯著影響?！?。

“通過制作‘教科書質(zhì)量’數(shù)據(jù)，我們能夠訓(xùn)練出一個(gè)模型，盡管模型大php小縮小了10倍，數(shù)據(jù)集大小縮小了100倍，但在編碼基準(zhǔn)（例如 HumanEval 和 MBPP）上，該模型超越了幾乎所有開源模型?！?/p>

與其他可用的編碼模型相比，Phi-1僅限于 python 編javascript碼。他們表示，該模型的局限性還在于它缺乏大型模型的特定領(lǐng)域知識，例如使用特定 API 進(jìn)行編程。

為了擴(kuò)展他們的工作，微軟的研究人員建議使用 GPT-4而不是 GPT-3.5來生成用于模型訓(xùn)練的合成數(shù)據(jù)。

研究人員還將尋求提高數(shù)據(jù)集的多樣性和非重復(fù)性，盡管該團(tuán)隊(duì)表示，他們必須找到方法“在數(shù)據(jù)生成過程中注入隨機(jī)性和創(chuàng)造力，同時(shí)仍然保持示例的質(zhì)量和連貫性。”

關(guān)鍵詞：