發表開源商用大模型 Llama 2 後，迅速型直Meta 日前又發表程式設計版 Code Llama，逼近彌補程式碼任務表現不佳缺點，最新追拉近與閉源 GPT 模型的程式差距，測試結果直追 GPT-4。碼產
Code Llama發表前兩天，生模OpenAI開放微調GPT-3.5功能，迅速型直允許開發者和企業據自己需求客製模型。逼近身為開源和閉源綜合實力最強的最新追兩大模型，不免有些你追我趕意味，程式甚至出現一絲火藥味。碼產
程式設計為大語言模型最重要應用，生模幾乎所有產品和服務都離不開，迅速型直每次最佳化和改版都有重要意義。逼近此次Code Llama是最新追在Llama 2基礎上，以特定程式資料庫訓練，支援C++、Java、Python、PHP、Typescript（Javascript）、C#和Bash等許多主流語言，且依然開源可商用。
Code Llama對程式設計專家和初學者都非常好用，無論專業程式設計語言還是自然語言描述程式設計需求，Code Llama都能理解，並產生程式碼或相關解釋，大大降低開發門檻和效率。
多版本模型涵蓋更多特定場景
Meta部落格文說明Code Llama分為7B、13B和34B三個參數版，可滿足不同服務和延遲要求。每版模型都使用500B tokens與相關資料訓練。
最小7B參數模型可用單GPU運行，回應速度快，適用低延遲任務。但比起更大模型，程式碼產生或理解當然不夠精準。最大34B模型提供最佳編碼輔助，複雜程式設計表現最好，但需要最多計算資源，延遲也可能更高。中等規模13B參數模型在性能和延遲間找到平衡點。7B和13B模型經過中間填充（fill-in-the-middle，FIM）訓練，理解如何在現成程式碼內加入新程式碼，可補全直接自動程式碼等，無需另外設定或訓練。
Code Llama支援一次性理解並記住最多10萬token上下文，強大的文本處理能力對處理大型程式庫或長篇文章都非常有用。當開發者需處理大量程式碼時，可將整個程式碼片段一次性餵給Code Llama。為了滿足更多特定需求，Meta還針對Python和自然語言指令微調兩個Code Llama變體，分別稱為Code Llama-Python和Code Llama-Instruct。
Python是最受歡迎程式設計語言，多領域廣泛應用，特別數據科學、機器學習等。專門針對Python的模型能更準確產生和理解Python程式碼，提高模型處理相關任務時的性能。
Code Llama-Instruct更注重理解自然語言指令，非常適合不很熟悉程式設計但又有這方面需求的使用者，更容易理解自然語言指令，更適合非專業使用者，除了產生程式碼，也能勝任其他相關自然語言處理任務，如程式碼註釋或產生文件。
透過更多垂直子版，Code Llama模型涵蓋更廣範例和族群，滿足不同場景特定需求，更容易取得競爭優勢。Meta說明，Code Llama更專注程式碼任務，不適合當成聊天或寫文章等日常語言的基礎模型，只是為了幫助人們設計程式或處理程式碼問題而設計。
性能和安全性雙雙領先
Code Llama的性能，多程式碼基準測試都達開源模型最先進程度。Code Llama所有模型在MultiPL-E都優於其他公開模型。34B參數版的HumanEval得分為53.7%，MBPP得分56.2%，與ChatGPT（GPT 3.5）相當，優於其他開放解決方案。
安全性方面，Meta採取許多措施，如研究者要求寫惡意程式，Code Llama是否會聽話產生，並與ChatGPT比較，結果顯示Code Llama更不容易產生有問題或有害程式碼。
Meta詳細介紹Code Llama的論文〈Code Llama： Open Foundation Models for Code〉披露Code Llama開發細節及如何基準測試等，其中出現Unnatural Code Llama模型（上圖），各項評分都非常高，但只是一閃而過並未詳述，或許之後Code Llama還會出現更強版本。
（本文由 品玩 授權轉載；首圖來源：Meta）
