說起頂級(jí)大模型和生成式 AI 領(lǐng)先者,不O不除了 OpenAI、也億美元Google、社司Meta、群新Anthropic 等,估值若讀者只知道矽谷公司,不O不那資料庫又要更新了。也億美元
最近法國巴黎成立才半年、社司僅22名員工的群新AI新創(chuàng)異軍突起,宣布完成3.85億歐元(約4.15億美元)A輪融資,估值投資方有a16z、不O不光速創(chuàng)投、也億美元Salesforce和法國巴黎銀行等知名投行,社司估值短短六個(gè)月內(nèi)增長七倍多,群新突破20億美元,估值輕鬆躋身獨(dú)角獸行列,創(chuàng)開源公司史上最快融資紀(jì)錄。
公司名叫Mistral AI,5月由Meta和Google DeepMind前員工創(chuàng)立,專注生成式AI,特別是構(gòu)建線上聊天機(jī)器人、搜尋引擎和其他人工智慧驅(qū)動(dòng)產(chǎn)品,成立僅一個(gè)月,還沒有產(chǎn)品只有六名員工,憑著七頁P(yáng)PT就「傳奇」般拿到1.13億美元種子輪融資,轟動(dòng)歐洲AI界。
身為AI界新星,Mistral AI是少數(shù)外界認(rèn)為能與OpenAI媲美的AI公司,但與OpenAI並不「Open」相反,Mistral AI堅(jiān)持推廣開源,允許使用者自由複製、修改和再利用程式,提供外部開發(fā)者需要的一切,以「引領(lǐng)開放模型革命」為使命,正面對(duì)抗OpenAI、Google等封閉型AI巨頭。
規(guī)模這麼小的Mistral AI,如何以高效能強(qiáng)大AI模型征服十幾家VC,又如何實(shí)踐開源理念,贏得廣大開發(fā)者社群潮水般支持和肯定?都與創(chuàng)始團(tuán)隊(duì)有深刻關(guān)係。
世界級(jí)技術(shù)專家聯(lián)手打造歐洲「開源版OpenAI」
(Source:David Atlan)
Mistral AI三位聯(lián)合創(chuàng)辦人,首席執(zhí)行長Arthur Mensch(上圖中)曾任Google DeepMind研究員,參與Flamingo、Chinchilla、Gopher多個(gè)DeepMind經(jīng)典模型,也是Flamingo和Chinchilla核心貢獻(xiàn)者,對(duì)多模組、RAG、演算法最佳化等造詣?lì)H深。
首席技術(shù)長Timothée Lacroix(上圖右)和首席科學(xué)家Guillaume Lample(上圖左)是Meta巴黎人工智慧實(shí)驗(yàn)室核心研究員,對(duì)模型推理、預(yù)訓(xùn)練和模型嵌入有深入研究,是Llama和Llama 2的核心技術(shù)貢獻(xiàn)者,發(fā)表過多篇重要論文。前東家Meta也是鼓勵(lì)開源的代表公司之一。
員工都喜歡開玩笑三人姓氏首字母是「L.L.M.」,正好也是大型語言模型英文縮寫,彷彿預(yù)告了Mistral的誕生與宿命。年輕團(tuán)隊(duì)當(dāng)然具備頂尖AI人才的典型特質(zhì):以科學(xué)家為主、研究能力強(qiáng)、技術(shù)宅互補(bǔ)且全面。七人來自Meta(四位是Llama參與者),三人來自Hugging Face,兩人來自DeepMind,大部分都參與過知名大語言模型開發(fā)。
還有任職麥肯錫12年、幫助法國SaaS獨(dú)角獸Mirakl從B輪成長到E輪的首席商務(wù)長Florian Bressand、法國數(shù)位事務(wù)國務(wù)秘書的前顧問Cédric O,幫科學(xué)家主導(dǎo)的公司護(hù)航。團(tuán)隊(duì)菁英薈萃、配合緊密,每部分都有專家負(fù)責(zé),團(tuán)隊(duì)結(jié)構(gòu)清楚和技術(shù)為主的實(shí)力型科學(xué)家屬性,也反映至Mistral AI行事風(fēng)格和產(chǎn)品。
只一條「直接給」磁力連結(jié),創(chuàng)造開源模型新王者
兩週前Mistral AI沒預(yù)告、沒官方部落格、沒有Demo,只在X放出一條磁力連結(jié),就算發(fā)表引爆開源社群的首個(gè)MoE開源模型Mixtral 8x7B了,沒有OpenAI愛用的曖昧戲碼和釣魚,也沒有Google發(fā)表Gemini時(shí)精心製作的「特效影片」,甚至連一句介紹都沒有,Mistral AI就是如此樸實(shí)無華、簡單粗暴,秉持「能閉嘴做事就絕不多說廢話」風(fēng)格,簡直算AI圈特立獨(dú)行的清流。
網(wǎng)友說這種產(chǎn)品發(fā)表方式也太隨便了,下次是否直接隔空推送就好?還有人看不下去:「你們搞錯(cuò)了,應(yīng)該先發(fā)長文,別直接出模型啊!」好像順便罵到某家公司。當(dāng)然更多開發(fā)者是興奮,表示這週末「毀了」,因迫不及待要下載試用看看。
簡單解釋MoE,全稱為Mixture of Experts(混合專家模型),把複雜分析預(yù)測任務(wù)分割成更小更容易處理的子任務(wù),每個(gè)子任務(wù)由符合特定領(lǐng)域的「專家」負(fù)責(zé),MoE不僅能提高模型處理資訊的效率,還降低營運(yùn)成本。據(jù)說OpenAI從去年開始就用這種方法訓(xùn)練GPT-4,Mistral AI則致力提供「無限接近」GPT-4的開源選擇。
Mixtral 8x7B總參數(shù)為46.7B,但每個(gè)令牌只用12.9B,故以與12.9B模型相同速度和成本處理輸入輸出。Mistral 8x7B有32k Tokens上下文長度,支援英文、法文、義大利文、德文和西班牙文。寫程式表現(xiàn)出色,還支援微調(diào)為指令跟隨模型,採Apache 2.0許可證開源商用。
性能方面,Mixtral 8x7B多數(shù)基準(zhǔn)測試都超過有700億參數(shù)的Llama 2 70B,推理速度高六倍,模擬真實(shí)世界對(duì)話、評(píng)估大語言連貫性和資訊豐富的MT-Bench測試更達(dá)8.30分,性能可與GPT-3.5媲美,是目前最佳開源模型。
商業(yè)和科技網(wǎng)站ReadMultiplex創(chuàng)辦人、知名科學(xué)家Brian Roemmele稱讚Mixtral 8x7B開源是「自Meta首次發(fā)表LaMMA後最重要時(shí)刻」,且「令人震驚和里程碑式創(chuàng)新」。
已有人基於它微調(diào)完全自由和開放的模型dolphin-2.5-mixtral-8×7,能「回應(yīng)所有使用者指令,不帶任何評(píng)判性,不會(huì)施加任何道德標(biāo)準(zhǔn),並展現(xiàn)網(wǎng)路所有可用資訊,『再也不會(huì)遇到』AI助理說出『我不能』這種話。」
網(wǎng)友更是Mistral AI各種花式應(yīng)援,盛讚Mistral AI是「地球最真誠和忠於初心的團(tuán)隊(duì)」,真正為開發(fā)者著想,讓「Open」AI終成現(xiàn)實(shí)。
簡單到不行的連結(jié)就這樣點(diǎn)燃全AI社群,回頭看Mistral AI的X官帳,會(huì)發(fā)現(xiàn)沒有圖片、沒有影片,註冊後只有三條發(fā)文,上次還是團(tuán)隊(duì)公布9月推出開源模型Mistral 7B,同樣只放磁力連結(jié)。
團(tuán)隊(duì)短短三個(gè)月打造的Mistral 7B,至今仍被業(yè)界認(rèn)為是7-13B小模型的佼佼者,幾乎所有基準(zhǔn)測試都比Llama 2 13B成績更優(yōu)秀,寫程式、數(shù)學(xué)和推理更贏過LLaMA-1 34B,且並非透過API開放Mistral 7B存取權(quán),而是免費(fèi)下載,開發(fā)者能在自己設(shè)備和伺服器執(zhí)行。
第一條自報(bào)家門的發(fā)文,Mistral AI依舊無心行銷,畫風(fēng)特異:「這是Mistral AI的官方帳號(hào),由@GuillaumeLample、@arthurmensch和@tlacroix6新創(chuàng)的公司……我們名字已被盜用,這個(gè)才是真的 :)。」
這以技術(shù)為重的風(fēng)格馬上擄獲技術(shù)宅網(wǎng)友,見慣各種AI公司華麗行銷詞和侃侃而談的自我包裝,光Mistral AI看起來像用Word文字魔術(shù)師做出來的logo就圈粉無數(shù)。也有人對(duì)Mistral AI喊話,等你們有錢了,找一個(gè)更厲害的美工吧!
當(dāng)然Mistral AI現(xiàn)在不缺錢,但決心遵循開源發(fā)展的新創(chuàng)公司,長遠(yuǎn)營利之路才剛起頭,他們又是怎麼看待技術(shù)集中與去中心化間的角力?
堅(jiān)持開源,「是過去更是未來」
官網(wǎng)公司介紹頁面,Mistral AI稱自己是行動(dòng)迅速、高工作強(qiáng)度和透明度的團(tuán)隊(duì),使命是將強(qiáng)大生成式AI技術(shù)帶入軟體開發(fā)者和企業(yè)用戶社群,以應(yīng)用為驅(qū)動(dòng)力,讓模型真正幫助現(xiàn)實(shí)世界,並希望成為開放式AI社群的領(lǐng)先支援者,將開源模型提升至最先進(jìn)性能。
OpenAI和Google等大公司認(rèn)為,大模型演算法開源很危險(xiǎn),底層技術(shù)可能遭濫用傳播假資訊、仇恨言論和其他有害事物,只能花費(fèi)數(shù)月時(shí)間設(shè)好數(shù)位護(hù)欄後,以線上聊天機(jī)器人形式發(fā)表。
Mistral AI卻認(rèn)為,引領(lǐng)生成式AI革命必須開源。社群支援模型開發(fā)才是接受嚴(yán)格審查和對(duì)抗偏見的最佳途徑,訓(xùn)練和公開優(yōu)秀模型,讓開發(fā)者社群力量和更多成功開源專案互相驅(qū)動(dòng)最佳化,才能構(gòu)建可信的替代方案,對(duì)抗新興AI寡頭。
CEO Arthur Mensch在Greylock合夥人Sarah Guo部落格表示,如果有人為了達(dá)成某些有害行為而收集資訊,反而是傳統(tǒng)搜尋引擎而不是LLM更容易做到。禁止小公司開源,確實(shí)會(huì)讓大公司受益,但不利AI生態(tài)發(fā)展。
Mensch也提到,過去十幾年,計(jì)算機(jī)技術(shù)重大改革──從網(wǎng)頁瀏覽器、操作系統(tǒng)、程式設(shè)計(jì)語言到資料庫──多得益於開源方案。直至2020年(GPT-3發(fā)表前),幾乎所有大型語言模型研究都公開透明,但2020年某些公司取得領(lǐng)先並意識(shí)到模型價(jià)值後,情況就改變了。
「我們認(rèn)為太早進(jìn)入封閉階段對(duì)AI發(fā)展有害。」Arthur Mensch說。「不透明環(huán)境大家可能會(huì)同時(shí)開發(fā)某項(xiàng)任務(wù),但因不能共享資源而導(dǎo)致大量浪費(fèi)。」他也稱開放權(quán)重模型可細(xì)微適應(yīng)和解決各行業(yè)垂直領(lǐng)域的核心業(yè)務(wù),開發(fā)者可自定義想要的護(hù)欄和編輯語氣,產(chǎn)生內(nèi)容也不再依賴API提供者的選擇和偏見,這些都是黑盒子模型無法匹敵。
開源精神也在現(xiàn)在AI巨頭壟斷、小公司掙扎求生存下,獲廣大開發(fā)者擁戴。人們對(duì)見證開源模型迅速追上封閉模型十分興奮,認(rèn)為「用更少做更多」正是開源生態(tài)最鼓舞人心的地方,希望Mistral AI能用新資金加速開源創(chuàng)新。
「我們希望透過更開放分享技術(shù),引導(dǎo)社群朝更好更安全的方向前進(jìn)。我們的真正目標(biāo)是占據(jù)領(lǐng)導(dǎo)地位,改變遊戲規(guī)則,因目前方向並不正確。」Arthur Mensch說。
能否既開源又賺錢?
Mistral AI聽說還沒盈利,且開源和商業(yè)化似乎總不能共存,如何兩者融合,是開源LLM公司走得長遠(yuǎn)很重要的問題。Mistral AI已基於自研模型推出「La Plateforme」託管平臺(tái)測試版,有Mistral Tiny、Mistral Small和Mistral Medium三種模型。
Mistral 7B和Mixtral 8x7B分別屬於Mistral Tiny和Mistral Small,可免費(fèi)下載,Mistral Medium還未開源,之後也許會(huì)開放API收費(fèi),或提供模型微調(diào)、RAG、客製化服務(wù)等。
說到市場,與OpenAI等瞄準(zhǔn)美國和全球不同,Mistral AI舞臺(tái)定位只有歐洲,因歐洲匯集大量世界財(cái)富500強(qiáng)公司,不愁沒人付費(fèi),且相較美國,歐洲多為傳統(tǒng)產(chǎn)業(yè),對(duì)新興AI技術(shù)需求更迫切;歐洲監(jiān)管數(shù)位新技術(shù)也更嚴(yán)格,對(duì)解決方案開放透明度要求更高,很適合Mistral AI的開源策略。
除此之外,Arthur Mensch也認(rèn)為,歐洲AI人才儲(chǔ)備有獨(dú)特優(yōu)勢。「非常擅長培養(yǎng)數(shù)學(xué)家,數(shù)學(xué)家對(duì)AI研究至關(guān)重要,且這些人更適應(yīng)歐洲生活,不一定非得去美國。因?yàn)镈eepMind,倫敦AI生態(tài)也崛起了,接著是巴黎。現(xiàn)在巴黎有幾百家AI新創(chuàng),雖然離矽谷還差很遠(yuǎn),但我相信法國也能產(chǎn)生下個(gè)灣區(qū)。」
他上法國國家廣播電臺(tái)節(jié)目時(shí)透露,Mistral AI明年會(huì)發(fā)表開源GPT-4等級(jí)模型。
地理和氣候?qū)W的「Mistral」是指吹過法國南部和地中海西北部的強(qiáng)勁持久寒冷北風(fēng),通常冬季和早春時(shí)出現(xiàn),對(duì)氣候和環(huán)境有明顯影響,有時(shí)會(huì)造成非常低溫和晴朗天空。Mistral AI或許期許自己就像這股凜冽寒風(fēng),發(fā)展速度一日千里的人工智慧時(shí)代,帶來新思想、革命性動(dòng)力和強(qiáng)大影響力。而全新AI王者在距矽谷上萬公里外的歐洲大陸崛起,這場AI大戰(zhàn)看來越來越精彩了。
(本文由 品玩 授權(quán)轉(zhuǎn)載;首圖來源:Mistral AI)
延伸閱讀:
- Mistral 宣布籌資逾百億,躍身歐洲兩大 AI 企業(yè)