MỚI ĐĂNG: Một nghiên cứu do DeepSeek dẫn đầu gợi ý rằng các mô hình ngôn ngữ lớn đang tiêu tốn quá nhiều tính toán để cố gắng tái tạo kiến thức tĩnh trong Transformer.


Giải pháp của họ là Engram, một mô-đun bộ nhớ điều kiện kết hợp tìm kiếm O(1) với kiến trúc MoE, và trong các thử nghiệm nội bộ đã cho thấy cải thiện về kiến thức, lý luận, lập trình, toán học và các nhiệm vụ dài ngữ cảnh.
Xem bản gốc
post-image
post-image
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 1
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
User_anyvip
· 6phút trước
LFG 🔥
Trả lời0
  • Gate Fun hot

    Xem thêm
  • Vốn hóa:$2.27KNgười nắm giữ:2
    0.00%
  • Vốn hóa:$0.1Người nắm giữ:1
    0.00%
  • Vốn hóa:$2.26KNgười nắm giữ:1
    0.00%
  • Vốn hóa:$2.27KNgười nắm giữ:1
    0.00%
  • Vốn hóa:$0.1Người nắm giữ:1
    0.00%
  • Ghim