💥 Gate廣場活動: #PTB创作大赛# 💥
在 Gate廣場發布與 PTB、CandyDrop 第77期或 Launchpool 活動 相關的原創內容,即有機會瓜分 5,000 PTB 獎勵!
CandyDrop 第77期:CandyDrop x PTB 👉 https://www.gate.com/zh/announcements/article/46922
PTB Launchpool 火熱進行中: 👉https://www.gate.com/zh/announcements/article/46934
📅 活動時間:2025年9月10日 12:00 – 9月14日24:00 UTC +8
📌 參與方式:
發布原創內容,主題需與 PTB、CandyDrop 或 Launchpool 相關
內容不少於 80 字
帖子添加話題: #PTB创作大赛#
附上 CandyDrop 或 Launchpool 參與截圖
🏆 獎勵設置:
🥇 一等獎(1名):2,000 PTB
🥈 二等獎(3名):800 PTB/人
🥉 三等獎(2名):300 PTB/人
📄 注意事項:
內容必須原創,禁止抄襲或刷量
獲獎者需完成 Gate 廣場身分認證
活動最終解釋權歸 Gate 所有
官方的Code Llama開源:免費商用,神秘版本接近GPT-4
來源:機器之心
編輯:杜偉、陳萍
今日,Meta 的開源Llama 模型家族迎來了一位新成員—— 專攻代碼生成的基礎模型Code Llama。
作為Llama 2 的代碼專用版本,Code Llama 基於特定的代碼數據集在其上進一步微調訓練而成。
Meta 表示,Code Llama 的開源協議與Llama 2 一樣,免費用於研究以及商用目的。
GitHub 地址:
Code Llama 系列模型有三個版本,參數量分別為7B、13B 和34B。並且支持多種編程語言,包括Python、C++、Java、PHP、Type (Java)、C# 和Bash。
Code Llama 穩定支持了最高10 萬token 的上下文生成。下圖2 為Code Llama 的微調流程。
另外,Code Llama 的「Unnatural」34B 版本在Human 數據集上的pass@1 接近了GPT-4(62.2% vs 67.0%)。 Meta 沒有發布這個版本,但通過一小部分高質量編碼數據的訓練實現了明顯的效果改進。
文中雖然提到它是「在15000 個unnatural 指令上微調的Code Llama-Python 34B 版本」,但Karpathy 仍然對這個「神秘的名稱、模糊的描述、碾壓其他的保密模型」感到很好奇。
Code Llama 如何工作
Code Llama 編碼能力非常強,它可以根據代碼和自然語言提示生成代碼(例如用戶輸入提示「幫我寫一個輸出斐波那契序列的函數。」) 它還可幫助用戶進行代碼補全和調試代碼。
下表為Code Llama 的訓練數據集。
除了作為生成更長程序的先決條件外,擁有更長的輸入序列也為Code Llama 帶來新的功能。例如,用戶可以為模型提供來自他們代碼庫的更多上下文,以使生成的代碼更相關。
Code Llama-Python 是Code Llama 的一種變體,其在Python 代碼的100B token 上進一步微調。下表為Code Llama-Python 的訓練數據集。
Meta 表示,他們不建議使用Code Llama 或Code Llama - Python 執行一般的自然語言任務,因為這兩個模型都不是為遵循自然語言指令而設計的。 Code Llama 專門用於特定於代碼的任務,不適合作為其他任務的基礎模型。
使用Code Llama 模型時,用戶必須遵守許可和使用政策。
Code Llama 性能如何
Meta 使用了Human 和MBPP(Mostly Basic Python Programming)兩個編碼基准進行測試。其中,Human 測試模型基於文檔字符串(docstrings)完成代碼的能力,MBPP 測試模型基於描述編寫代碼的能力。
結果表明,Code Llama 的性能優於開源、特定於代碼任務的LLM,並且優於自家Llama 2。例如,Code Llama 34B 在Human 上得分為53.7%,在MBPP 上得分為56.2%,與其他最先進的開源解決方案相比是最好的,與ChatGPT 相當。
由此看來,編碼能力不是特別強的Llama 2,這個坑已被Code Llama 填上了。 Meta 希望Code Llama 的出現能夠激勵其他研究者基於Llama 2 為研究和商業產品創建新的創新工具。
參考鏈接: