Meta 加緊開發(fā) AI 技術(shù)，推出Llama 2 就是型處主力大型語言模型產(chǎn)品，最近推出 Llama 2 Long，理長以 Llama 2 為基礎(chǔ)提升長文本處理效能，指令據(jù)稱部分應(yīng)用表現(xiàn)甚至比 Anthropic Claude 2 和 OpenAI GPT-3.5 Turbo 更優(yōu)秀。表現(xiàn)
Meta 最近於 arXiv 發(fā)表論文，更佳提及新模型 Llama 2 Long，推出據(jù)稱是型處「透過 Llama 2 持續(xù)預(yù)訓(xùn)練，並在向上採樣（Upsample）長文本資料庫用更長訓(xùn)練序列改善」版本，理長可接受高達(dá) 32,768 個 Token 指令輸入。指令以長文本指令測試，表現(xiàn)表現(xiàn)比 GPT-3.5 Turbo（最多 16,000 字）及 Claude 2（最多 100,000 字）更佳。更佳
Meta 論文表示，推出透過真人回饋的型處強(qiáng)化學(xué)習(xí)（RLHF），也就是理長真人監(jiān)督下獎勵正確答案，並使用 Llama 2 chat 自己產(chǎn)生的合成數(shù)據(jù)，提升 Llama 2 Long 於常見 LLM 應(yīng)用的表現(xiàn)，包括編碼、數(shù)學(xué)、語言理解、常識推理及回答用戶問題等。不過架構(gòu)與 Llama 2 沒有太大不同，只是對應(yīng)更長指令做必要小修改。結(jié)果是，以開源大型語言模型來說，表現(xiàn)已相當(dāng)優(yōu)秀，難怪開源 AI 開發(fā)社群對這沒有大肆宣傳的消息拍手叫好。
Meta introduces LLAMA 2 Long
– context windows of up to 32,768 tokens
– the 70B variant can already surpass gpt-3.5-turbo-16k’s overall performance on a suite of long-context tasks https://t.co/uzsVslLUkX pic.twitter.com/aXyPmeLXMo— AK (@_akhaliq) September 29, 2023
- Meta quietly unveils Llama 2 Long AI that beats GPT-3.5 Turbo and Claude 2 on some tasks
（本文由 Unwire Pro 授權(quán)轉(zhuǎn)載；首圖來源：Meta）
