Giáo sư Wharton nhấn mạnh mô hình ngôn ngữ thời Victoria được huấn luyện trên 28.000 văn bản thế kỷ 19

robot
Đang tạo bản tóm tắt

Tiêu đề

Giáo sư tại Wharton Chia sẻ Mô hình Ngôn ngữ Thời Victoria, Tò mò về Các Thời kỳ Lịch sử Khác

Tóm tắt

Ethan Mollick, một giáo sư tại Wharton thường xuyên viết về AI, đã đăng tweet về “Mr. Chatterbox”—một mô hình ngôn ngữ được huấn luyện từ đầu dựa trên hơn 28.000 văn bản của Anh thời Victoria từ năm 1837-1899. Mô hình 340 triệu tham số này, được lưu trữ trên Hugging Face, cố gắng mô phỏng cuộc trò chuyện của thế kỷ 19 mà không sử dụng dữ liệu huấn luyện hiện đại. Trip Venturella đã xây dựng nó bằng cách sử dụng nanochat để huấn luyện và tinh chỉnh có giám sát. Câu hỏi của Mollick là: liệu phương pháp này có thể áp dụng cho thời Phục hưng hoặc Thời kỳ Khai sáng nếu có đủ số lượng văn bản số hóa?

Phân tích

Việc huấn luyện chỉ dựa trên các văn bản của Thư viện Anh giúp Mr. Chatterbox tránh được các thiên kiến hiện đại, nhưng lại thừa hưởng các thiên kiến của thời Victoria. Các bình luận trên Reddit và GitHub mà tôi thu thập cho thấy phản ứng hỗn hợp—người dùng thấy nó thú vị để nhập vai vào thời kỳ đó, nhưng nhận thấy nó tự tin đưa ra những thông tin sai lệch, như gán sai tác giả hoặc tuyên bố thời gian di chuyển không chính xác. Một người bình luận gọi các phản hồi là “kỳ quặc” nhưng dễ thương.

Dự án này phù hợp với xu hướng của các mô hình mã nguồn mở nhỏ, chuyên biệt, tạo ra các ngách mà các hệ thống độc quyền lớn không phục vụ tốt. Một mô hình thực sự mang âm hưởng thời Victoria có thể ứng dụng rõ ràng trong giáo dục và sáng tác, ngay cả khi không thể hoàn toàn tin tưởng vào các dữ liệu của nó.

Sự quan tâm của Mollick là hợp lý, vì ông tập trung vào việc ứng dụng AI vào thực tế. Việc các dự án tương tự xuất hiện cho các thời kỳ khác phụ thuộc vào khả năng tìm kiếm đủ các văn bản công cộng đã được số hóa—đây là một hạn chế thực sự. Tình trạng beta của mô hình và các phản hồi từ cộng đồng cho thấy vẫn còn nhiều việc phải làm để nâng cao độ tin cậy.

Đánh giá Tác động

  • Ý nghĩa: Trung bình
  • Các lĩnh vực: Nghiên cứu AI, Mã nguồn mở, Hiểu biết kỹ thuật
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Gate Fun hot

    Xem thêm
  • Vốn hóa:$2.29KNgười nắm giữ:2
    0.09%
  • Vốn hóa:$2.25KNgười nắm giữ:1
    0.00%
  • Vốn hóa:$2.29KNgười nắm giữ:2
    0.07%
  • Vốn hóa:$2.29KNgười nắm giữ:2
    0.10%
  • Vốn hóa:$0.1Người nắm giữ:1
    0.00%
  • Ghim