夢(mèng)晨 金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

一夜之間，大模型界又炸出個(gè)big news！

斯坦福發(fā)布Alpaca（羊駝，網(wǎng)友口中的“草泥馬”）：

只花100美元，人人都可微調(diào)Meta家70億參數(shù)的LLaMA大模型，效果竟可比肩1750億參數(shù)的GPT-3.5（text-davinci-003）。

而且還是單卡就能運(yùn)行的那種，甚至樹(shù)莓派、手機(jī)都能hold??！

還有一個(gè)更絕的“騷操作”。

研究所涉及到的數(shù)據(jù)集，是斯坦福團(tuán)隊(duì)花了不到500美元用OpenAI的API來(lái)生成的。

所以整個(gè)過(guò)程下來(lái)，就等同于GPT-3.5自己教出了個(gè)旗鼓相當(dāng)?shù)膶?duì)手AI。

然后團(tuán)隊(duì)還說(shuō)，用大多數(shù)云計(jì)算平臺(tái)去微調(diào)訓(xùn)練好的模型，成本也不到100美元：

復(fù)制一個(gè)GPT-3.5效果的AI，很便宜，很容易，還很小。

而且團(tuán)隊(duì)還把數(shù)據(jù)集（秒省500刀）、代碼統(tǒng)統(tǒng)都給開(kāi)源了，這下子人人都能去微調(diào)個(gè)效果炸裂的對(duì)話(huà)AI：

項(xiàng)目在GitHub發(fā)布才半天時(shí)間，便已經(jīng)狂攬1800+星，火爆程度可見(jiàn)一斑。

Django聯(lián)合開(kāi)發(fā)者甚至對(duì)斯坦福的新研究用“驚天大事”來(lái)形容：

不僅如此，斯坦福團(tuán)隊(duì)還搞了個(gè)demo，在線(xiàn)可玩的那種。

話(huà)不多說(shuō)，我們現(xiàn)在就來(lái)看看這個(gè)“草泥馬”的效果。

比肩davinci-003的草泥馬Aplaca

在斯坦福官方的演示中，他們先小試牛刀地提了一個(gè)問(wèn)題：

什么是羊駝？它和美洲駝的區(qū)別是什么？

草泥馬Aplaca給出的答案較為干練：

羊駝是一種小型駱駝科動(dòng)物，原產(chǎn)于秘魯、玻利維亞、厄瓜多爾和智利；它比美洲駝小，羊毛更細(xì)，也沒(méi)有駝峰。

而后又簡(jiǎn)單的介紹了二者群居生活的不同。

同樣的問(wèn)題若是交給ChatGPT（GPT3.5-turbo），則答案就不會(huì)像草泥馬Aplaca那般簡(jiǎn)潔：

對(duì)此，團(tuán)隊(duì)給出的解釋是：

Alpaca的答案通常比ChatGPT短，反映出text-davinci-003的輸出較短。

而后團(tuán)隊(duì)演示了讓草泥馬Alpaca寫(xiě)郵件：

寫(xiě)一封e-mail祝賀被斯坦福大學(xué)錄取的新生，并提到你很高興能親自見(jiàn)到他們。

草泥馬Alpaca對(duì)于這個(gè)任務(wù)也是信手拈來(lái)，直接給出了一個(gè)像模像樣的郵件模板：

難度再次進(jìn)階，團(tuán)隊(duì)這次提出了讓草泥馬Alpaca寫(xiě)論文摘要的需求：

寫(xiě)一篇經(jīng)過(guò)深思熟慮的機(jī)器學(xué)習(xí)論文摘要，證明42是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的最優(yōu)seed。

草泥馬Alpaca給出的答案從內(nèi)容上來(lái)看，非常符合大多數(shù)論文的摘要形式：試圖回答什么問(wèn)題、用了什么方法、結(jié)果如何，以及未來(lái)展望。

當(dāng)然，也有迫不及待的網(wǎng)友親自下場(chǎng)試驗(yàn)，發(fā)現(xiàn)草泥馬Alpaca寫(xiě)代碼也是不在話(huà)下。

不過(guò)即便草泥馬Alpaca能夠hold住大部分問(wèn)題，但這并不意味著它沒(méi)有缺陷。

例如團(tuán)隊(duì)便演示了一個(gè)例子，在回答“坦桑尼亞的首都是哪里”的問(wèn)題時(shí)，草泥馬Alpaca給出的答案是“達(dá)累斯薩拉姆”。

但實(shí)際上早在1975年便被“多多馬”取代了。

除此之外，若是親自體驗(yàn)過(guò)草泥馬Alpaca就會(huì)發(fā)現(xiàn)，它……巨慢：

對(duì)此，有網(wǎng)友認(rèn)為可能是使用的人太多的原因。

筆記本、手機(jī)、樹(shù)莓派都能跑

Meta開(kāi)源的LLaMA大模型，剛發(fā)布幾周就被大家安排明白了，單卡就能運(yùn)行。

所以理論上，基于LLaMA微調(diào)的Alpaca同樣可以輕松在本地部署。

沒(méi)有顯卡也沒(méi)關(guān)系，蘋(píng)果筆記本甚至樹(shù)莓派、手機(jī)都可以玩。

在蘋(píng)果筆記本部署LLaMA的方法來(lái)自GitHub項(xiàng)目llama.cpp，使用純C/C++做推理，還專(zhuān)門(mén)對(duì)ARM芯片做了優(yōu)化。

作者實(shí)測(cè)，M1芯片的MacBook Pro上即可運(yùn)行，另外也支持Windows和Linux系統(tǒng)。

還是這個(gè)C++移植版本，有人成功在4GB內(nèi)存的樹(shù)莓派4上成功運(yùn)行了LLaMA的 70億參數(shù)版本。

雖然速度非常慢，大約10秒生成一個(gè)token（也就是一分鐘蹦出4.5個(gè)單詞）。

更離譜的是僅僅2天之后，有人把LLaMA模型量化壓縮（權(quán)重轉(zhuǎn)換成更低精度的數(shù)據(jù)格式）后成功在Pixel 6安卓手機(jī)上運(yùn)行（26秒一個(gè)token）。

Pixel 6使用谷歌自研處理器Google Tensor，跑分成績(jī)?cè)隍旪?65+到888之間，也就是說(shuō)新一點(diǎn)的手機(jī)理論上都能勝任。

微調(diào)數(shù)據(jù)集也開(kāi)源

斯坦福團(tuán)隊(duì)微調(diào)LLaMA的方法，來(lái)自華盛頓大學(xué)Yizhong Wang等去年底提出的Self-Instruct。

以175個(gè)問(wèn)題作為種子任務(wù)，讓AI自己從中組合出新的問(wèn)題以及生成配套答案實(shí)例，人工過(guò)濾掉低質(zhì)量的，再把新任務(wù)添加到任務(wù)池里。

所有這些任務(wù)，之后可以采用InstructGPT的方法讓AI學(xué)會(huì)如何遵循人類(lèi)指令。

套娃幾圈下來(lái)，相當(dāng)于讓AI自己指導(dǎo)自己。

斯坦福版Alpaca，就是花了不到500美元使用OpenAI API生成了5.2萬(wàn)個(gè)這樣的示例搞出來(lái)的。

這些數(shù)據(jù)同樣開(kāi)源了出來(lái)，并且比原論文的數(shù)據(jù)多樣性更高。

同時(shí)還給出了生成這些數(shù)據(jù)的代碼，也就是說(shuō)如果有人還嫌不夠，可以再去自行擴(kuò)充微調(diào)數(shù)據(jù)，繼續(xù)提高模型的表現(xiàn)。

微調(diào)代碼也會(huì)在HuggingFace官方支持LLaMA后放出。

不過(guò)Alpaca最終的模型權(quán)重需要Meta許可才能發(fā)布，并且繼承了LLaMA的非商用開(kāi)源協(xié)議，禁止任何商業(yè)用途。

并且由于微調(diào)數(shù)據(jù)使用了OpenAI的API，根據(jù)使用條款也禁止用來(lái)開(kāi)發(fā)與OpenAI形成競(jìng)爭(zhēng)的模型。

One More Thing

還記得AI繪畫(huà)的發(fā)展歷程嗎？

2022年上半年還只是話(huà)題熱度高，8月份Stable Diffusion的開(kāi)源讓成本下降到可用，并由此產(chǎn)生爆炸式的工具創(chuàng)新，讓AI繪畫(huà)真正進(jìn)入各類(lèi)工作流程。

語(yǔ)言模型的成本，如今也下降到了個(gè)人電子設(shè)備可用的程度。

最后還是由Django框架創(chuàng)始人Simon Willison喊出：

大語(yǔ)言模型的Stable Diffusion時(shí)刻到了。

— 完 —

「中國(guó)AIGC產(chǎn)業(yè)峰會(huì)」啟動(dòng)

邀您共襄盛舉

「中國(guó)AIGC產(chǎn)業(yè)峰會(huì)」即將在今年3月舉辦，峰會(huì)將邀請(qǐng)AIGC產(chǎn)業(yè)相關(guān)領(lǐng)域的專(zhuān)家學(xué)者，共同探討生成新世界的過(guò)去、現(xiàn)在和未來(lái)。

峰會(huì)上還將發(fā)布《中國(guó)AIGC產(chǎn)業(yè)全景報(bào)告暨AIGC 50》，全面立體描繪我國(guó)當(dāng)前AIGC產(chǎn)業(yè)的競(jìng)爭(zhēng)力圖譜。點(diǎn)擊鏈接或下方圖片查看大會(huì)詳情：

被ChatGPT帶飛的AIGC如何在中國(guó)落地？量子位邀你共同參與中國(guó)AIGC產(chǎn)業(yè)峰會(huì)

本文使用 文章同步助手 同步