日前,Meta大模型團(tuán)隊(duì)人員流失大半問(wèn)題引發(fā)熱議。據(jù)統(tǒng)計(jì),今年2月發(fā)表Llama最初研究論文的14位作者中,已有超半數(shù)離開(kāi)了Meta;2022年5月發(fā)布的OPT論文的19位作者中,也有大約一半選擇了離開(kāi)。究其原因,是算力資源短缺導(dǎo)致內(nèi)斗,繼而造成了人才的大量出走。
據(jù)了解,2013年成立的FAIR(Facebook AI Research)曾是Meta AI方面負(fù)責(zé)研究的核心,Llama由FAIR位于巴黎的團(tuán)隊(duì)負(fù)責(zé),OPT則是由FAIR位于美國(guó)的團(tuán)隊(duì)負(fù)責(zé)。
由于沒(méi)有盡快采購(gòu)英偉達(dá)的GPU芯片等原因,導(dǎo)致Meta算力不足?;A(chǔ)AI研究負(fù)責(zé)人Joelle Pineau坦誠(chéng),Llama和OPT團(tuán)隊(duì)在算力分配的問(wèn)題上“有些緊張”。這一情況下,雖然Meta加大了對(duì)生成式AI的關(guān)注,但投入相對(duì)有限,Meta的CFO Susan Li也表示,“基本上所有的AI算力都投向了廣告、信息流和短視頻項(xiàng)目”。
算力的短缺成為兩個(gè)團(tuán)隊(duì)內(nèi)斗的根源,并且,因?yàn)樗懔Y源分配低于北美的OPT團(tuán)隊(duì),Llama的研究人員因此感覺(jué)自己被Meta所冷落,這導(dǎo)致兩個(gè)團(tuán)隊(duì)內(nèi)斗加劇,人員開(kāi)始不斷離開(kāi)。
今年2月,Llama正式發(fā)布一周前,F(xiàn)AIR的聯(lián)合負(fù)責(zé)人兼巴黎分部負(fù)責(zé)人Antoine Bordes離開(kāi)了Meta。三個(gè)月后,Llama論文作者兼FAIR研究總監(jiān)Armand Joulin也選擇離職,加入了蘋(píng)果。另外兩名作者Timothée Lacroix和Guillaume Lample則于6月,在法國(guó)共同創(chuàng)立了初創(chuàng)公司MistralAI,還邀請(qǐng)了另一名作者M(jìn)arie-Anne Lachaux加入。
OPT同樣如此,據(jù)報(bào)道,Meta放棄了OPT團(tuán)隊(duì)想要研發(fā)的更大規(guī)模的模型,直接導(dǎo)致了OPT大量人員的離職。
最終,這場(chǎng)內(nèi)斗以?xún)蓚€(gè)團(tuán)隊(duì)的合并告終,F(xiàn)AIR領(lǐng)導(dǎo)人召集OPT團(tuán)隊(duì)的部分成員,讓其加入Llama團(tuán)隊(duì),專(zhuān)注于模型二代的研發(fā)。
值得注意的是,Meta在A(yíng)I領(lǐng)域依舊在加大投入,“內(nèi)斗”或許也將持續(xù)。Llama研究團(tuán)隊(duì)之外,Meta成立了一個(gè)專(zhuān)攻應(yīng)用的生成式AI團(tuán)隊(duì)。該團(tuán)隊(duì)由蘋(píng)果前高管Ahmad Al-Dahle帶隊(duì),已經(jīng)吸引了多個(gè)FAIR研發(fā)人員的加入。