💥 Gate廣場活動: #ART创作大赛# 💥
在 Gate廣場發布與 ART、Launchpool、交易賽或餘幣寶活動 相關的原創內容,即有機會瓜分 1,600 ART 獎勵!
📅 活動時間:2025年9月12日 12:00 – 9月17日 24:00 (UTC+8)
📌 相關詳情:
Gate Launchpool:抵押 GT 領取 ART 空投
連結:https://www.gate.com/announcements/article/46996
ART 交易賽:分享總獎池 208,334 ART
連結:https://www.gate.com/announcements/article/47047
Gate 餘幣寶:ART 7天定期投資,年化收益高達 500% APR
連結:https://www.gate.com/announcements/article/47046
📌 參與方式:
發布原創內容,主題需與 ART 或相關活動(Launchpool / 交易賽 / 餘幣寶) 相關
內容不少於 80 字
帖子添加話題: #ART创作大赛#
附上任意活動參與截圖
🏆 獎勵設置:
🥇 一等獎(1名):500 ART
🥈 二等獎(2名):250 ART/人
🥉 三等獎(6名):100 ART/人
📄 注意事項:
內容必須原創,禁止抄襲或刷量
獲獎者需完成 Gate
英偉達發布TensorRT-LLM,可將H100 推理性能最高提升8 倍
據IT 之家9 月9 日報導,英偉達近日宣布推出名為TensorRT-LLM,是一個深度優化的開源庫,能夠在Hopper 等AI GPU 上加速所有大語言模型的推理性能。英偉達目前已經和開源社區合作,利用SmoothQuant、FlashAttention 和fMHA 等尖端技術,實現AI 內核來優化其GPU,可以加速GPT-3(175B),Llama Falcom(180B)和Bloom 模型。
TensorRT-LLM 的亮點在於引入了名為In-Flight batching 的調度方案,允許工作獨立於其他任務進入和退出GPU。該方案允許同一GPU 在處理大型計算密集型請求時,動態處理多個較小的查詢,提高GPU 的處理性能,可以讓H100 的吞吐量加快2 倍。
在性能測試中,英偉達以A100 為基礎,對比了H100 以及啟用TensorRT-LLM 的H100,在GPT-J 6B 推理中,H100 推理性能比A100 提升4 倍,而啟用TensorRT-LLM 的H100 性能是A100 的8 倍。