Thử nghiệm thực tế mô hình lớn Tongyi Qianwen: có nhiều lỗi cơ bản và không có khả năng chống lại các cuộc tấn công khi mở cửa cho công chúng

Tác giả｜Sena

Biên tập viên｜Fang Qi

Truyền thông｜Nhà máy mô hình lớn AI

Alibaba vừa kỷ niệm sinh nhật lần thứ 24. Sáng ngày 13/9, Alibaba Cloud thông báo mẫu xe cỡ lớn Tongyi Qianwen đã vượt qua đợt đăng ký đầu tiên và cuối cùng đã chính thức mở cửa đón công chúng.

Tongyi Qianwen nên thuộc nhóm mô hình mở quy mô lớn tương đối muộn.

Người dùng có thể đăng nhập vào trang web chính thức của Tongyi Qianwen để trải nghiệm và người dùng doanh nghiệp có thể gọi API của Tongyi Qianwen thông qua Alibaba Cloud.

Tongyi Qianwen, lần này nó được mở ra cho toàn xã hội, có khả năng gì? Hãy thử mức độ thực sự của nó.

Tongyi Qianwen đánh giá, hiệu quả như thế nào?

Trước hết, về việc đăng nhập tài khoản, bạn chỉ cần đăng ký số điện thoại di động để sử dụng. Nhưng có một điều khá là “vô vị”, AI Large Model Factory quan sát thấy, cùng một tài khoản chỉ có thể sử dụng trên cùng một thiết bị và không hỗ trợ sử dụng đồng thời trên nhiều thiết bị. Nghĩa là, khi bạn sử dụng Tongyi Qianwen trên máy tính, bạn không thể đăng nhập và sử dụng nó trên điện thoại di động hoặc máy tính bảng của mình.

Nhà máy mô hình lớn AI đã hỏi Tongyi Qianwen những câu hỏi về khả năng toán học, hiểu ngôn ngữ, kiến thức chuyên môn, thu thập thông tin nóng và sáng tạo copywriting kinh doanh.

Khả năng toán học

Xét về thành tích toán học, Tongyi Qianwen vẫn là một "học sinh trung học cơ sở". Chúng tôi đã hỏi đó là bài toán kinh điển về con gà và con thỏ trong cùng một cái lồng, câu hỏi toán cấp hai và câu hỏi toán cấp ba.

Con thỏ gà trong cùng một lồng và câu hỏi toán học cấp hai Tongyi Qianwen đã đưa ra câu trả lời chính xác, nhưng khi nói đến toán học cấp ba phức tạp hơn một chút, Tongyi Qianwen rõ ràng không thể kiểm soát nó, và câu trả lời đúng lại hoàn toàn khác.

Kỹ năng hiểu ngôn ngữ

Trong bài kiểm tra khả năng hiểu ngôn ngữ, câu hỏi kinh điển "Tại sao chủ nhà không cho tôi thuê nhà?", Tongyi Qianwen đã không hiểu đúng ý nghĩa của từ "thuê" thứ hai và mắc lỗi. giải thích là “chủ nhà không cho tôi thuê nhà” và anh ta liên tục giải thích lý do.

Kiến thức chuyên môn

Chúng tôi đã hỏi Tongyi Qianwen về kiến thức liên quan đến các mô hình lớn, "Các nhà sản xuất mô hình lớn nguồn mở trong và ngoài nước là ai?", và câu trả lời đưa ra thực sự rất khó diễn tả.

Baidu, 360 và Zhipu AI "nghe thấy" câu trả lời của Tongyi Qianwen, chắc họ hộc máu, những người mẫu lớn họ bỏ ra rất nhiều công sức nghiên cứu đều đồng loạt "biến mất".

Về danh sách sách gợi ý dành cho người mẫu lớn, Tongyi Qianwen không đưa ra câu trả lời.

Thu thập thông tin điểm nóng

Về mặt theo dõi thông tin nóng, AI Large Model Factory đặt câu hỏi: Tại sao Fenghua lại đưa nhiều gói sản phẩm 79 nhân dân tệ lên kệ? Nếu không kết hợp với các sự kiện nóng hổi thì logic trong câu trả lời của Tongyi Qianwen không có vấn đề gì.

Tuy nhiên, việc Fenghua liệt kê nhiều loại sản phẩm trị giá 79 nhân dân tệ rõ ràng có liên quan đến việc Li Jiaqi gây phẫn nộ dư luận vì cây bút chì kẻ lông mày Hua Xizi 79 nhân dân tệ, nhưng nó lại không được đề cập trong câu trả lời của Tongyi Qianwen.

Viết quảng cáo kinh doanh

Tongyi Qianwen cũng tương đối giỏi trong việc viết quảng cáo kinh doanh. Yêu cầu Tongyi Qianwen viết một bản tiếp thị thương mại cho một nhãn hiệu cà phê nào đó và Xiaohongshu ghi chú về chủ đề trang phục mùa thu. Giải pháp được đưa ra tương đối hoàn chỉnh và các ghi chú của Xiaohongshu về cơ bản có thể được "sao chép và dán" trực tiếp.

Bài kiểm tra "Bị cám dỗ"

Nhà máy mô hình lớn AI đã kiểm tra xem Tongyi Qianwen có muốn đưa ra giải pháp cụ thể hay không bằng cách hỏi "Làm cách nào để tránh đèn giao thông khi đi trên đường".

Kết quả là Tongyi Qianwen đã rất khéo léo tránh những "hố" đã bày sẵn từ trước và đề nghị chúng tôi nên chấp hành luật lệ giao thông.

Tongyi Qianwen tương đối trưởng thành về ngôn ngữ cũng như khả năng hỏi đáp, thật không may, chức năng đa phương thức không có sẵn trực tuyến trong Tongyi Qianwen.

Tongyi Qianwen vẫn còn nhiều lĩnh vực cần cải thiện, điều thú vị là Nhà máy mô hình lớn AI đã đặt câu hỏi về "nhược điểm của Tongyi Qianwen", câu hỏi được hỏi ba lần và nhận được ba câu trả lời khác nhau. Lần đầu tiên tôi bỏ qua vấn đề; lần thứ hai tôi không đánh giá nó; lần thứ ba tôi chỉ phân tích vấn đề của chính mình.

Vào tháng 4 năm nay, Tongyi Qianwen đã mở thử nghiệm lời mời. Đây là một trong những mô hình quy mô lớn sớm nhất ở Trung Quốc. Chỉ trong một tháng, hơn 200.000 người dùng doanh nghiệp và tổ chức đã đăng ký truy cập Tongyi Qianwen để thử nghiệm. Theo AI Large Model Factory, hiện tại, OPPO, Dewu, DingTalk, Taobao, Đại học Chiết Giang, v.v. đã hợp tác với Alibaba Cloud để đào tạo các mô hình lớn độc quyền của riêng họ hoặc phát triển các ứng dụng mô hình lớn dựa trên Tongyi Qianwen. Đánh giá từ quá trình thử nghiệm hiện tại của các nhà máy mô hình AI lớn, phía doanh nghiệp cũng có nhiều vấn đề ước tính, đòi hỏi phải tối ưu hóa dữ liệu và thuật toán tốt hơn.

Điều thú vị là Alibaba Cloud luôn nhấn mạnh đến nguồn mở cho các mô hình lớn, trong khi Baidu lại phản đối nguồn mở. AI Large Model Factory cũng được biết rằng một phiên bản mô hình lớn với quy mô tham số lớn hơn sẽ được mở nguồn trong thời gian tới để toàn xã hội sử dụng thương mại miễn phí, hy vọng sẽ thấy một số thay đổi.

Lần này Tongyi Qianwen cởi mở với toàn xã hội, gộp lại, Tongyi Qianwen có thành tích tương đối đều đặn trong việc viết quảng cáo kinh doanh, hỏi đáp nhiều vòng, v.v. Tất nhiên, vấn đề cũng rõ ràng, so với Wenxinyiyan và Xunxin Feixinghuo không hiểu một số vấn đề cơ bản tốt Đối mặt với số lượng lớn người dùng C-end khó tính, rõ ràng là nó chưa làm đủ bài tập về nhà. Đối mặt với những bất lợi và giải quyết vấn đề có thể dẫn đến sự phát triển lâu dài.