💥 Gate廣場活動: #ART创作大赛# 💥
在 Gate廣場發布與 ART、Launchpool、交易賽或餘幣寶活動 相關的原創內容,即有機會瓜分 1,600 ART 獎勵!
📅 活動時間:2025年9月12日 12:00 – 9月17日 24:00 (UTC+8)
📌 相關詳情:
Gate Launchpool:抵押 GT 領取 ART 空投
連結:https://www.gate.com/announcements/article/46996
ART 交易賽:分享總獎池 208,334 ART
連結:https://www.gate.com/announcements/article/47047
Gate 餘幣寶:ART 7天定期投資,年化收益高達 500% APR
連結:https://www.gate.com/announcements/article/47046
📌 參與方式:
發布原創內容,主題需與 ART 或相關活動(Launchpool / 交易賽 / 餘幣寶) 相關
內容不少於 80 字
帖子添加話題: #ART创作大赛#
附上任意活動參與截圖
🏆 獎勵設置:
🥇 一等獎(1名):500 ART
🥈 二等獎(2名):250 ART/人
🥉 三等獎(6名):100 ART/人
📄 注意事項:
內容必須原創,禁止抄襲或刷量
獲獎者需完成 Gate
官方的Code Llama開源:免費商用,神秘版本接近GPT-4
來源:機器之心
編輯:杜偉、陳萍
今日,Meta 的開源Llama 模型家族迎來了一位新成員—— 專攻代碼生成的基礎模型Code Llama。
作為Llama 2 的代碼專用版本,Code Llama 基於特定的代碼數據集在其上進一步微調訓練而成。
Meta 表示,Code Llama 的開源協議與Llama 2 一樣,免費用於研究以及商用目的。
GitHub 地址:
Code Llama 系列模型有三個版本,參數量分別為7B、13B 和34B。並且支持多種編程語言,包括Python、C++、Java、PHP、Type (Java)、C# 和Bash。
Code Llama 穩定支持了最高10 萬token 的上下文生成。下圖2 為Code Llama 的微調流程。
另外,Code Llama 的「Unnatural」34B 版本在Human 數據集上的pass@1 接近了GPT-4(62.2% vs 67.0%)。 Meta 沒有發布這個版本,但通過一小部分高質量編碼數據的訓練實現了明顯的效果改進。
文中雖然提到它是「在15000 個unnatural 指令上微調的Code Llama-Python 34B 版本」,但Karpathy 仍然對這個「神秘的名稱、模糊的描述、碾壓其他的保密模型」感到很好奇。
Code Llama 如何工作
Code Llama 編碼能力非常強,它可以根據代碼和自然語言提示生成代碼(例如用戶輸入提示「幫我寫一個輸出斐波那契序列的函數。」) 它還可幫助用戶進行代碼補全和調試代碼。
下表為Code Llama 的訓練數據集。
除了作為生成更長程序的先決條件外,擁有更長的輸入序列也為Code Llama 帶來新的功能。例如,用戶可以為模型提供來自他們代碼庫的更多上下文,以使生成的代碼更相關。
Code Llama-Python 是Code Llama 的一種變體,其在Python 代碼的100B token 上進一步微調。下表為Code Llama-Python 的訓練數據集。
Meta 表示,他們不建議使用Code Llama 或Code Llama - Python 執行一般的自然語言任務,因為這兩個模型都不是為遵循自然語言指令而設計的。 Code Llama 專門用於特定於代碼的任務,不適合作為其他任務的基礎模型。
使用Code Llama 模型時,用戶必須遵守許可和使用政策。
Code Llama 性能如何
Meta 使用了Human 和MBPP(Mostly Basic Python Programming)兩個編碼基准進行測試。其中,Human 測試模型基於文檔字符串(docstrings)完成代碼的能力,MBPP 測試模型基於描述編寫代碼的能力。
結果表明,Code Llama 的性能優於開源、特定於代碼任務的LLM,並且優於自家Llama 2。例如,Code Llama 34B 在Human 上得分為53.7%,在MBPP 上得分為56.2%,與其他最先進的開源解決方案相比是最好的,與ChatGPT 相當。
由此看來,編碼能力不是特別強的Llama 2,這個坑已被Code Llama 填上了。 Meta 希望Code Llama 的出現能夠激勵其他研究者基於Llama 2 為研究和商業產品創建新的創新工具。
參考鏈接: