【導讀】Mixtral 8x7B模型開源后，最佳AI社區再次迎來一大波微調實踐。開源t開來自Nous Research應用研究小組團隊微調出新一代大模型Nous-Hermes 2 Mixtral 8x7B，模型在主流基準測試中擊敗了Mixtral Instruct。刷新首次
Mixtral 8x7B開源模型的多項誕生，正如Llama一樣，源版為開源社區了帶來曙光。最佳
前段時間，開源t開Mixtral剛剛發布了8x7B模型的模型論文。在基準測試結果中，刷新首次其性能達到或超過 Llama 2-70B和GPT-3.5。多項
甚至，源版Mixtral在數學、最佳代碼生成和多語言理解任務方面表現亮眼。開源t開
最近，模型一個開源研究小組Nous Research推出了新一代旗艦大模型Nous-Hermes 2 Mixtral 8x7B。
這是首個通過RLHF訓練的模型，并在主流基準測試中超越Mixtral Instruct，成為最佳開源模型。
此外，Nous Research團隊發布的SFT和SFT+DPO模型，以及DPO適配器將為用戶提供更多選擇。
在所有的基準測試中，Nous-Hermes 2 Mixtral 8x7B模型也略不遜色。
目前，這些模型同樣在Hugging Face上開源上線。
最佳開源模型誕生
據介紹，最新模型是在Mixtral 8x7B MoeLLM微調訓練而來。
具體來說，Nous-Hermes 2 Mixtral 8x7B是在1,000,000個條目進行了訓練（主要是GPT-4生成的數據），以及整個AI領域開放數據集等其他高質量數據集。
研究人員同時還發布了SFT Only版本，以及SFT+DPO版本。
模型演示
那么，Nous Research團隊最新的模型能力有多強？
編寫可視化數據代碼完全是小菜一碟。
它還能寫賽博朋克的迷幻詩。
可以執行反向翻譯，從輸入文本中創建提示信息。
基準測試
與Mixtral基礎模型相比，Mixtral 8x7B上的Nous-Hermes 2在以下基準測試中取得了全面提升，也是MistralAI首次擊敗旗艦型號Mixtral Finetune。
在GPT4All中，Nous-Hermes Mixtral 8x7B（SFT+DPO）拿下了75.7分，位列榜單第三。
在AGIEval的排行中，Nous-Hermes Mixtral 8x7B（SFT+DPO）拿下了46.05的成績。
此外，在BigBench Reasoning Test中，Nous-Hermes 2 Mixtral 8x7B（SFT+DPO）霸榜第一。
背后團隊
成立于2023年，Nous Research是一個在大模型領域發布開源研究而聞名的私人應用研究小組。
去年12月，這個研究團隊成員曾發布了一款輕量的視覺語言模型——Nous Hermes 2 Vision。
這個模型以希臘神使赫爾墨斯的名字命名。它通過用戶上傳的圖像數據，通過自然語言提供詳細的答案。
就在前幾天，Nous Research宣布了一輪520萬美元的種子融資，涉及了多位天使投資人。
到目前為止，Nous Research已經發布了40多個開源模型，包括Hermes、YaRN、Capybara、Puffin和Obsidian系等系列。
Mixtral模型，會將成為開源版GPT-4
繼2023年年初Llama發布之后，一系列羊駝家族瞬間爆發。年底，Mixtral的開源MoE發布，更是為開源年做了一個完美的收尾。
有網友表示，Mixtral或將有實力將于今年接管GPT-4。
在Chatbot Arena排行榜上，Mixtral成為（繼GPT-4、Claude和Mistral Medium之后）唯一能打的開源模型，也是僅有7B參數的最小模型，甚至比谷歌的Gemini Pro還要好！
而且它是開源的！任何人可以獲取該模型，并將其部署到自己的設備，而且可以對其進行微調，可以隨心所欲地使用它。
現在，在Mixtral-7B上進行微調、部署的模型案例，也是非常的多。
比如，有網友用樹莓派在本地跑起了Phi-2、Mistral和LLaVA等模型。
還有人出了一款APP，名為Offline Chat：Private AI，能夠在iPhone上離線跑Mistral 7B模型。
這樣一來，模型生成的內容，可以保障安全和隱私。
還有人用直接偏好微調了Mistral-7B模型。
具體來說，研究人員將使用一種類似RLHF的技術：直接偏好優化(DPO)對OpenHermes-2.5進行微調，從而創建NeuralHermes-2.5。
為此，他們還引入了一個偏好數據集，描述DPO算法的工作原理，并將其應用到模型中。我們將看到它顯著提高了OpenLLM排行榜上基本模型的性能。
有網友進行的海底撈針實驗中， Mistral-7B-Instruct-v0.2在80000 token情況下，召回率下降。
相信未來，Mixtral模型會向羊駝家族一樣，迎來大爆發。
