Hiệu suất của mẫu lớn 20B có thể so sánh với Llama2-70B! Hoàn toàn là mã nguồn mở, mọi thứ từ nền tảng đến công cụ đều được sắp xếp rõ ràng.

**Nguồn:**Xinzhiyuan

Vừa rồi, bản ghi tham số mô hình nguồn mở trong nước đã được làm mới một lần nữa!

Vào ngày 20 tháng 9, Phòng thí nghiệm Trí tuệ nhân tạo Thượng Hải (Phòng thí nghiệm AI Thượng Hải) và SenseTime phối hợp với Đại học Trung Quốc Hồng Kông và Đại học Fudan đã chính thức mở mã nguồn cho mô hình InternLM-20B trị giá 20 tỷ tham số.

địa chỉ dự án:

Cộng đồng phép thuật:

Lần này, phiên bản 20 tỷ thông số của mẫu lớn Shusheng·Puyu có thể nói là “tăng số lượng mà không tăng giá”, số lượng thông số chưa đến một phần ba nhưng hiệu suất của nó có thể sánh ngang với chuẩn mực của ngày nay. mô hình nguồn mở - Llama2-70B. Các mô hình 13B nguồn mở chính thống hiện tại đã bị InternLM-20B bỏ lại phía sau về mọi mặt.

Không chỉ vậy, hệ thống công cụ toàn chuỗi để phát triển và ứng dụng mô hình lớn cũng được nâng cấp đồng thời.

Từ chính mô hình nguồn mở cho đến toàn bộ chuỗi công cụ nguồn mở, lần này, Phòng thí nghiệm AI Thượng Hải đã sử dụng tất cả kho báu tích lũy được từ quá trình nghiên cứu và phát triển mô hình quy mô lớn của riêng mình, với hy vọng giúp ích cho các nhà nghiên cứu, tổ chức và những người hoạt động xã hội. .. Mọi người đều có thể tham gia vào cuộc cách mạng công nghệ do các mô hình lớn mang lại với chi phí và ngưỡng rất thấp.

Hiệu suất "dẫn đầu phân khúc" và ngưỡng "sẵn sàng sử dụng ngay lập tức". InternLM-20B là chất xúc tác và điểm tựa mới cho các mô hình lớn tiến vào hàng nghìn ngành công nghiệp!

Làn sóng mô hình lớn này sẽ mang lại lợi ích cho tất cả mọi người.

Mọi thứ chúng tôi sử dụng đều là nguồn mở

Như chúng ta đã biết, trong toàn bộ hệ thống R&D của các mô hình lớn đều có nhiều mắt xích xâu chuỗi lại với nhau, là một tập hợp các vòng khép kín rất phức tạp.

Làm thế nào để tổ chức nó một cách chuẩn mực hơn? Làm thế nào để sử dụng mô hình cơ sở sau khi nhận được nó? Cần thực hiện những biện pháp phòng ngừa nào trong quá trình thực hiện từng bước? Có vấn đề ở khắp mọi nơi.

Sau khi thực hành thực tế trong công việc hàng ngày, đội ngũ Phòng thí nghiệm AI Thượng Hải đã tích lũy được bộ kinh nghiệm quý báu.

Giờ đây, để phát triển hệ sinh thái nguồn mở, họ chỉ cần mở nguồn tất cả các công cụ liên quan đến mô hình từ chuẩn bị dữ liệu, đào tạo trước, triển khai đến đánh giá ứng dụng.

Giải mã "Công thức độc quyền"

Tầm quan trọng của dữ liệu đối với các mô hình lớn cũng giống như nguyên liệu thô để sản xuất, nếu không có nguồn điện thì không thể điều khiển hoạt động của các hệ thống AI thông minh. Đặc biệt, dữ liệu chất lượng cao là một trong những yếu tố then chốt cho quá trình công nghiệp hóa các mô hình lớn.

Về mặt thu thập, không chỉ cần lọc và làm sạch một cách hiệu quả các tài liệu gốc được thu thập từ nhiều kênh khác nhau như trang web, sách, báo cáo và tài liệu chuyên môn mà còn phải tận dụng tối đa phản hồi do người dùng thử nghiệm nội bộ mô hình cung cấp.

Tuy nhiên, để LLM có được những khả năng chính như hiểu biết, lập trình và suy luận logic, đồng thời trở thành một “chiến binh lục giác” thực sự, điều quan trọng hơn là phải tự mình xây dựng dữ liệu.

Về vấn đề này, nghiên cứu học thuật cũng rất tích cực, chẳng hạn như "Sách giáo khoa là tất cả những gì bạn cần" của Microsoft có thể đạt được vị trí dẫn đầu tương đối về điểm chuẩn bằng cách xây dựng mô hình đào tạo dữ liệu phi-1.

Theo quan điểm của nhóm Phòng thí nghiệm AI Thượng Hải, họ không chọn xây dựng dữ liệu từ một hướng duy nhất mà từ một "chiều đầy đủ", sắp xếp toàn bộ hệ thống kiến thức và xây dựng kho ngữ liệu.

Vì vậy, mật độ kiến thức và logic trong các ngữ liệu này rất cao.

Việc thêm một lượng nhỏ "chất xúc tác" vào một lượng lớn nội dung thông thường không chỉ có thể kích thích tốt hơn các khả năng chính của LLM mà còn cho phép mô hình tiếp thu và hiểu thông tin liên quan tốt hơn.

Theo lời của Lin Dahua, một nhà khoa học hàng đầu tại Phòng thí nghiệm AI Thượng Hải, “Theo một nghĩa nào đó, một token ở đây có thể tương đương với hiệu quả của 10 hoặc thậm chí 100 token truyền thống”.

Về sức mạnh tính toán, ngoại trừ các công ty Internet lớn có nguồn tài nguyên dồi dào, hầu hết các nhà phát triển trong cộng đồng nguồn mở khó có thể có được nhiều sức mạnh tính toán hơn.

“Tôi hy vọng sẽ có những công cụ gọn nhẹ có thể sử dụng mô hình này”. Đây là phản hồi cộng đồng nhiều nhất mà Shanghai AI Lab nhận được.

Thông qua công cụ tinh chỉnh nhẹ XTuner mã nguồn mở, người dùng có thể sử dụng dữ liệu của riêng mình để tinh chỉnh mô hình nguồn mở của Phòng thí nghiệm AI Thượng Hải trên GPU cấp tiêu dùng 8GB.

Ngoài ra, về mặt ứng dụng mô hình, “đối thoại trò chuyện” vẫn là một phần rất quan trọng trong khả năng của mô hình.

Phòng thí nghiệm AI Thượng Hải cũng muốn nhấn mạnh rằng mô hình lớn đóng vai trò là trung tâm trung tâm và sử dụng các công cụ để giải quyết vấn đề, tương tự như cách Code Interpreter gọi các công cụ.

Đồng thời, trong quá trình này, mô hình lớn còn có thể thực hiện khả năng tự phản ánh, đây chính là tiềm năng to lớn của các tác nhân thông minh với sự hỗ trợ của LLM.

Lin Dahua tin rằng Agent sẽ là một hướng phát triển lâu dài rất có giá trị cần được khám phá.

Trong thế giới cuối cùng của các tác nhân thông minh, toàn bộ bộ phận lao động của tổ chức sẽ tiếp tục nâng cấp và phát triển, trong tương lai chắc chắn sẽ có rất nhiều tác nhân thông minh cùng tồn tại, mỗi tác nhân có lĩnh vực chuyên môn riêng và sẽ có nhiều công nghệ có thể thúc đẩy giao tiếp giữa họ. .

Vậy nâng cấp cụ thể của chuỗi công cụ này ở đâu?

- Dữ liệu: Kho dữ liệu đào tạo trước "Học giả·Mười nghìn tập" mã nguồn mở OpenDataLab

Về mặt dữ liệu, kho dữ liệu đào tạo đa phương thức Scholar·Wanjuan 1.0 đã chính thức được mở nguồn vào ngày 14 tháng 8. Tổng khối lượng dữ liệu vượt quá 2TB, bao gồm tập dữ liệu văn bản, tập dữ liệu đồ họa và tập dữ liệu video.

Thông qua quá trình "tiêu hóa" kho ngữ liệu chất lượng cao, các mô hình dòng Shusheng đã thể hiện hiệu suất xuất sắc trong các nhiệm vụ tổng hợp khác nhau như hiểu ngữ nghĩa, câu hỏi và câu trả lời kiến thức, hiểu bằng hình ảnh cũng như câu hỏi và câu trả lời bằng hình ảnh.

Đến nay đã có gần 100.000 lượt tải xuống.

- Đào tạo trước: Khung đào tạo trước InternLM hiệu quả

Trong giai đoạn tiền đào tạo, kho InternLM cũng đã mở nguồn khung đào tạo trước InternLM-Train.

Một mặt, nó tích hợp sâu các nhà khai thác mô hình Transformer để nâng cao hiệu quả đào tạo, mặt khác, đề xuất công nghệ Hybrid Zero độc đáo để đạt được sự chồng chéo hiệu quả giữa điện toán và truyền thông, giúp giảm đáng kể lưu lượng liên lạc giữa các nút trong quá trình đào tạo.

Nhờ tối ưu hóa hiệu suất tối đa, hệ thống nguồn mở này đạt được hiệu suất cao của tính toán song song kilo-card và hiệu suất đào tạo của nó đã đạt đến mức dẫn đầu ngành.

- Tinh chỉnh: Tinh chỉnh toàn tham số InternLM, tinh chỉnh nhẹ XTuner

Hộp công cụ tinh chỉnh mô hình lớn chi phí thấp XTuner gần đây cũng đã được mở nguồn, hỗ trợ nhiều mô hình lớn nguồn mở như Llama, cũng như các thuật toán tinh chỉnh như LoRA và QLoRA.

Về yêu cầu phần cứng, XTuner chỉ cần bộ nhớ video tối thiểu 8GB để thực hiện tinh chỉnh mô hình 7B với chi phí thấp. Việc tinh chỉnh mô hình 20B cũng có thể được hoàn thành trên card đồ họa cấp độ người tiêu dùng với 24G bộ nhớ video.

XTuner cung cấp nhiều khung tinh chỉnh cho các mô hình nguồn mở khác nhau

- Triển khai: LMDeploy hỗ trợ suy luận hiệu quả từ hàng tỷ đến hàng trăm tỷ mô hình ngôn ngữ tham số

Về mặt triển khai, LMDeploy bao gồm một bộ đầy đủ các giải pháp dịch vụ và triển khai suy luận, gọn nhẹ cho các mô hình lớn.

Nó hỗ trợ suy luận mô hình hiệu quả từ một tỷ đến một trăm tỷ tham số và vượt xa các dự án nguồn mở chính thống của cộng đồng FasterTransformer, vLLM, Deepspeed, v.v. về thông lượng và hiệu suất khác.

- Đánh giá: Nền tảng đánh giá mô hình lớn toàn diện, toàn diện OpenCompass

Trong phần đánh giá, nền tảng đánh giá mô hình lớn mã nguồn mở OpenCompass cung cấp hệ thống đánh giá theo 5 chiều: chủ đề, ngôn ngữ, kiến thức, hiểu biết và lý luận.

Đồng thời, nó cũng hỗ trợ hơn 50 bộ dữ liệu đánh giá, 300.000 câu hỏi đánh giá và hỗ trợ đánh giá mẫu 0, mẫu nhỏ và chuỗi tư duy. Đây hiện là nền tảng đánh giá nguồn mở toàn diện nhất.

-Ứng dụng: Khung tác nhân nhẹ và linh hoạt Lagent

Trong giai đoạn ứng dụng cuối cùng, nhóm Phòng thí nghiệm AI Thượng Hải tập trung vào tác nhân, phát triển và mở khung tác nhân nhẹ và linh hoạt của Lagent.

Nó có thể hỗ trợ người dùng nhanh chóng chuyển đổi một mô hình ngôn ngữ lớn thành nhiều loại tác nhân và cung cấp các công cụ điển hình để trao quyền cho các mô hình ngôn ngữ lớn.

Khung nguồn mở này tích hợp nhiều loại khả năng của tác nhân, bao gồm ReAct cổ điển, AutoGPT và ReWoo.

Cấu trúc mã của khung này không chỉ rõ ràng mà còn đơn giản. Với ít hơn 20 dòng mã, các nhà phát triển có thể tạo một tác nhân của riêng mình.

Ngoài ra, Lagent hỗ trợ nhiều mô hình lớn bao gồm InternLM, Llama, ChatGPT.

Với sự hỗ trợ của Lagent, các tác nhân này có thể gọi các mô hình ngôn ngữ lớn để lập kế hoạch lập luận và gọi công cụ, đồng thời có thể tiến hành phản ánh và tự sửa kịp thời trong quá trình thực thi.

Bối cảnh 16k đầu tiên trong nước, 20 tỷ tham số gắn với Llama2-70B

Ngoài bộ đầy đủ các chuỗi công cụ mô hình lớn, Phòng thí nghiệm AI Thượng Hải còn có InternLM-20B nguồn mở mới với tối đa 20 tỷ tham số.

Kết quả đánh giá cho thấy trong số các mô hình mã nguồn mở có cùng độ lớn, InternLM-20B rất xứng đáng với hiệu năng tổng thể tốt nhất.

- Hỗ trợ ngữ cảnh cực dài

Đầu tiên, xét về độ dài ngữ cảnh, InternLM-20B có thể hỗ trợ cửa sổ ngữ cảnh lên tới 16K.

Như thể hiện trong hình bên dưới, InternLM-20B đã có thể trả lời chính xác ba câu hỏi sau khi đọc một bài báo dài về một thương hiệu cà phê nổi tiếng.

Đối với các bài báo và báo cáo cực kỳ dài, InternLM-20B cũng có thể trích xuất các bản tóm tắt một cách chính xác.

Ví dụ, sau khi nhập bài viết ResNet cổ điển vào, nó sẽ viết ngay một bản tóm tắt, tóm tắt chính xác những ý tưởng cốt lõi và kết quả thử nghiệm của ResNet.

- Gọi các công cụ và tự học

Thứ hai, với sự hỗ trợ của ngữ cảnh dài, khả năng của mô hình được mở rộng đáng kể và có nhiều chỗ hơn cho việc gọi công cụ, giải thích mã cũng như phản ánh và sửa lỗi. Và điều này đã trở thành công nghệ chủ chốt để xây dựng cơ thể thông minh trên InternLM-20B.

Giờ đây, InternLM-20B không chỉ có thể hỗ trợ xuất nội dung theo hàng chục hướng như ngày tháng, thời tiết, du lịch, thể thao, v.v. cũng như hàng chục nghìn API khác nhau mà còn có thể gọi các công cụ theo cách tương tự như Code Interpreter .

Đồng thời, trong quá trình này còn có thể phản ánh, chỉnh sửa và kết nối với cảnh vật thực tế.

Trong ToolBench, một bộ đánh giá cuộc gọi công cụ mô hình lớn do Đại học Thanh Hoa và các tổ chức khác đồng phát hành, InternLM-20B đã đạt được tỷ lệ chiến thắng là 63,5% so với ChatGPT, đạt kết quả tốt nhất trong danh sách.

Hơn nữa, mẫu InternLM-20B còn thể hiện khả năng tổng quát hóa mẫu không nhất định. Ngay cả khi mô hình chưa học một số công cụ trong quá trình đào tạo, nó vẫn có thể gọi các công cụ dựa trên mô tả công cụ và câu hỏi của người dùng.

Như thể hiện trong hình bên dưới, nếu bạn cung cấp cho nó một số công cụ AI, nó có thể tự lập kế hoạch và giải quyết các vấn đề của người dùng và giải quyết.

- Dẫn đầu toàn diện trong cùng hạng cân

Trong bộ đánh giá chính thống lên tới 50 mô hình ở nhiều kích thước khác nhau, InternLM-20B cũng đã đạt được hiệu suất tổng thể tốt nhất trong số các mô hình nguồn mở có cùng độ lớn.

Đồng thời, nó cũng vượt trội rõ ràng so với Llama-33B lớn hơn về hiệu suất trung bình, thậm chí còn suýt đánh bại Llama2-70B trong một số đánh giá.

Cụ thể, InternLM-20B có kết quả xuất sắc trong các đánh giá chủ đề toàn diện MMLU, C- và AGI, đồng thời đứng ở vị trí dẫn đầu trong số các mô hình nguồn mở có cùng tầm cỡ.

Đặc biệt là ở môn C- và AGI, bao gồm cả bài kiểm tra môn tiếng Trung, kết quả vượt xa đáng kể so với Llama2-70B.

Trong bài đánh giá kiểm tra kiến thức thực tế, InternLM-20B vượt trội một cách toàn diện so với mẫu 13B và có thể cạnh tranh với Llama-33B.

Nhưng vẫn có một khoảng cách nhất định so với Llama-65B hay Llama2-70B.

Xét về khả năng hiểu bài, hiệu năng của InternLM-20B thậm chí còn vượt trội hơn, vượt qua tất cả các mẫu mã nguồn mở trong đó có Llama2-70B.

Lý luận là “vật cản” khiến nhiều mô hình thất bại, nó kiểm tra khả năng kiếm tiền thật của các mô hình lớn và cũng quyết định phần lớn liệu mô hình có thể hỗ trợ các ứng dụng thực tế hay không.

Trong bốn bộ đánh giá suy luận sau đây, kết quả của InternLM-20B đã vượt qua mô hình nguồn mở 13B chính thống và thậm chí còn tiến gần đến khả năng suy luận của Llama-65B.

Về khả năng lập trình, InternLM-20B cũng được cải thiện đáng kể. Trên 2 bộ đánh giá tiêu biểu là Human và MBPP thì nó gần bằng Llama2-70B.

Lưu ý: Phông chữ đậm trong ảnh chụp màn hình ở trên là kết quả tốt nhất trong phạm vi 13B-33B.

Trong danh sách đánh giá Open LLM Leaderboard mới nhất do HuggingFace công bố, InternLM-20B dẫn đầu điểm trung bình trong số các mẫu cơ sở có thông số dưới 60B và cũng vượt qua Llama-65B.

- Một mô hình nguồn mở an toàn hơn

Cuối cùng, về mặt căn chỉnh giá trị, InternLM-20B cũng hoàn thiện và an toàn hơn.

Nếu bạn hỏi nó một câu hỏi thiên vị, nó sẽ ngay lập tức xác định được các yếu tố không an toàn và đưa ra hướng dẫn về giá trị chính xác.

Mẫu mã lớn chưa bao giờ là sản phẩm độc quyền của các nhà sản xuất lớn.

Sau khi làn sóng mô hình lớn bắt đầu, điều chúng ta cần tập trung không chỉ là đứng đầu danh sách đánh giá mà còn là làm thế nào để tạo ra những mô hình lớn từ “viên ngọc quý của AI” thành “năng suất mới” có thể sử dụng trong hàng ngàn ngành công nghiệp.

Trong suốt lịch sử, những công nghệ thực sự dẫn đầu thời đại không chỉ là những đổi mới mang tính đột phá mà quan trọng hơn là chúng có chi phí thấp, ngưỡng thấp và sẵn có cho tất cả mọi người. Nhưng các công ty lớn như OpenAI và Google sẽ không bao giờ công khai các chi tiết cụ thể.

Và đây chính là ý định ban đầu của Phòng thí nghiệm AI Thượng Hải.

Kể từ khi ra mắt vào tháng 6, Shusheng Puyu đã hoàn thành nhiều đợt nâng cấp và có tác động rộng rãi đến cộng đồng và ngành công nghiệp nguồn mở.

Hơn nữa, ngoài việc mở mã trên GitHub và đưa các mô hình lên cộng đồng HuggingFace và Moda, Phòng thí nghiệm AI Thượng Hải thậm chí còn cử nhân viên tận tâm đọc phản hồi từ cộng đồng mỗi ngày và trả lời cẩn thận các câu hỏi của người dùng.

Trước đây, mô hình LLaMA của Meta có nguồn mở, gây ra làn sóng thay thế ChatGPT một cách điên cuồng và mở ra thời điểm Khuếch tán ổn định cho các mô hình văn bản lớn.

Cũng giống như hệ sinh thái thịnh vượng của gia đình alpaca ngày nay, những nỗ lực về nguồn mở của Phòng thí nghiệm AI Thượng Hải chắc chắn sẽ mang lại giá trị vô giá cho cộng đồng.

Đối với các nhà phát triển và nhà nghiên cứu tích cực trên khắp thế giới, Shusheng Puyu sẽ cung cấp nền tảng có quy mô vừa phải nhưng khả năng rất mạnh mẽ.

Mặc dù hầu hết các công ty, đặc biệt là các doanh nghiệp vừa và nhỏ đã nhìn thấy xu hướng mô hình lớn nhưng họ khó có thể chi nhiều tiền để mua sức mạnh tính toán và thu hút nhân tài hàng đầu như các nhà sản xuất lớn.

Trên thực tế, bắt đầu từ Hội nghị Trí tuệ nhân tạo vào ngày 6 tháng 7, Phòng thí nghiệm AI Thượng Hải đã triển khai nguồn mở trong toàn bộ chuỗi. Ví dụ: XTuner cho phép người dùng huấn luyện các mô hình của riêng họ chỉ bằng cách sử dụng một số dữ liệu của riêng họ một cách rất nhẹ nhàng.

Không chỉ vậy, một nhóm đã kết hợp các câu hỏi, kho ngữ liệu, tài liệu và mô hình XTuner của cộng đồng nguồn mở để đào tạo dịch vụ khách hàng cộng đồng nguồn mở. Đây là một đóng góp thực sự cho cộng đồng nguồn mở.

Trên thực tế, Phòng thí nghiệm AI Thượng Hải đã chia sẻ toàn bộ hệ thống kỹ thuật của mình với cộng đồng (tức là hệ thống công cụ toàn chuỗi đã đề cập ở trên).

Có rất nhiều ngành công nghiệp, rất nhiều công ty, rất nhiều tổ chức và nhà phát triển trong toàn xã hội, nếu họ thực sự có thể nhận ra giá trị của những mô hình lớn thì đó sẽ là một lực lượng rất quan trọng.

Họ có khả năng sáng tạo vô tận, thứ duy nhất họ thiếu là nguồn lực.

Sự “trợ giúp khi cần thiết” của Phòng thí nghiệm AI Thượng Hải chắc chắn sẽ cho phép các mô hình lớn phát huy giá trị to lớn trong lĩnh vực triển khai.

Như Lin Dahua đã nói——

Với tư cách là một phòng thí nghiệm, chúng tôi có thể cung cấp các mô hình cơ bản và một loạt công cụ tích hợp bí quyết của các ngành khác nhau vào dữ liệu và khả năng mô hình, đồng thời làm cho chúng rất dễ sử dụng và hướng dẫn nhiều người hơn cách sử dụng chúng để chúng có thể được sử dụng. trong các ngành công nghiệp khác nhau Có hoa và trái cây.

Liên kết mã nguồn mở hệ thống công cụ chuỗi đầy đủ

Kho tài liệu đào tạo trước "Học Giả·Vạn Quyển":

Khung đào tạo trước InternLM:

Hộp công cụ tinh chỉnh XTuner:

Chuỗi công cụ suy luận LMDeploy:

Nền tảng đánh giá mô hình lớn OpenCompas:

Khung tác nhân Lagent: