Lao Huang đã tham gia đầu tư và các nữ nhà khoa học Trung Quốc của MIT đã huy động được 200 triệu USD! 10.000 H100 đào tạo tác nhân AI với hơn 100 tỷ thông số

Nguồn: Xinzhiyuan

Biên tập viên: Aeneas buồn ngủ quá

Vừa rồi, một kỳ lân AI khác đã ra đời ở Thung lũng Silicon!

Công ty do nữ nhà khoa học Trung Quốc này thành lập có tên là Imbue, gần đây đã nhận được 200 triệu USD tài trợ và định giá đã lên tới 1 tỷ USD.

Imbue cũng là một trong số ít kỳ lân có người sáng lập là phụ nữ.

Không những vậy, Imbue còn có 10.000 card đồ họa Nvidia H100 nên anh không còn phải lo lắng về ngoại tệ nữa.

Vâng, bạn đã đoán đúng rồi, NVIDIA lại đầu tư vào con kỳ lân AI này!

Jim Fan, một nhà khoa học cấp cao tại Nvidia, cũng vui vẻ tweet lời chúc mừng của mình: Năm ngoái chúng ta đã nói về Avalon và MineDojo tại NeurIPS, và bây giờ công ty đứng sau Avalon đã trở thành một con kỳ lân!

Câu chuyện này khuyên chúng ta đừng bỏ qua mọi nhà nghiên cứu kém ấn tượng mà bạn gặp tại một hội nghị hàng đầu. Ai biết được, một ngày nào đó công ty của họ sẽ nhận được nguồn tài trợ cấp cao nhất và Sam Altman tiếp theo sẽ ra đời.

Không có tiền được tạo ra nhưng hàng trăm triệu đã được quyên góp, điều kỳ diệu như vậy chỉ có thể xảy ra ở Thung lũng Silicon.

NVIDIA lạc quan

Hiện tại, mô hình lớn “quy mô cực lớn” mà Imbue đang đào tạo có hơn 100 tỷ thông số và Imbue hiện có trong tay 10.000 GPU NVIDIA H100.

Công ty vẫn chưa phát hành bất kỳ sản phẩm nào ngoài môi trường đào tạo nguồn mở Avalon vào mùa thu năm ngoái.

Đồng sáng lập Kanjun Qiu và Josh Albrecht

Tuy nhiên, số tiền Imbue tài trợ trong vòng này gấp 10 lần số tiền huy động được trước đó.

Khoản đầu tư này được dẫn dắt bởi Astera Institute, một tổ chức phi lợi nhuận do tỷ phú Jed McCaleb thành lập, với sự tham gia của Nvidia, Kyle Vogt, Giám đốc điều hành công ty xe tự lái Cruise của General Motors và người đồng sáng lập Notion Simon Last.

Giờ đây, tổng số vốn tài trợ của Imbue đã lên tới 220 triệu USD, khiến nó trở thành một trong những công ty khởi nghiệp được tài trợ tốt nhất trong những tháng gần đây. Một số ít dẫn đầu là Cohere (435 triệu USD), Adept (415 triệu USD) và AI21 Labs (283 triệu USD).

Cái tên được các nhà đầu tư chú ý nhất chắc chắn là Nvidia.

Chỉ trong năm nay, Nvidia đã đầu tư vào bảy kỳ lân AI, bao gồm Adept, Coreweave, Cohere, Inflection, Runway, AI21 Labs và Imbue.

Nhắm mục tiêu vào các tác nhân AI

Một công ty khởi nghiệp vẫn còn ở giai đoạn đầu, chỉ có 20 nhân viên và chưa ra mắt sản phẩm nào ra công chúng nhưng lại giành được sự ưu ái của nhiều nhà đầu tư AI nổi tiếng ở Thung lũng Silicon.

Lý do là vì con đường mà Imbue chọn không phải là mô hình cơ bản của AI mà là một đặc vụ AI!

Sau sự bùng nổ của AI tạo ra bởi các mô hình lớn, thị trường đã hoàn toàn hồi sinh và các nhà đầu tư tự tin đang háo hức tìm kiếm điểm nóng tiếp theo.

Tác nhân AI là hướng đi được nhiều lãnh đạo AI và gã khổng lồ công nghệ lạc quan.

Karpathy, một nhân vật nổi bật gia nhập OpenAI năm nay và là cựu giám đốc Tesla AI, từng nói: Các tác nhân AI đại diện cho tương lai của AI!

Karpathy từng gọi AutoGPT là biên giới tiếp theo

Tác nhân AI là tác nhân tự trị, ở dạng đơn giản nhất, hoạt động theo vòng lặp, tạo ra các hướng dẫn và hành động tự định hướng sau mỗi lần lặp. Do đó, chúng không dựa vào con người để hướng dẫn các cuộc trò chuyện và có khả năng mở rộng cao.

Là một hệ thống điện toán mô phỏng các lựa chọn của con người để hoàn thành các nhiệm vụ phức tạp, các tác nhân AI chắc chắn là một con đường giàu trí tưởng tượng hơn các mô hình ngôn ngữ lớn.

Trên thực tế, ngay từ tháng 3 và tháng 4 năm nay, đã có sự bùng nổ của các tác nhân AI, như thể trùng hợp ngẫu nhiên, chỉ trong hai tuần, nhiều tác nhân thông minh như Stanford Westworld Town, BabyAGI, AutoGPT và GPT-Engineer đã được ra mắt. Thân bật lên như măng sau mưa.

Thậm chí, có người còn kêu gọi: Đừng tung ra các mô hình ngôn ngữ lớn, chúng ta không thể tung ra OpenAI, nhưng khi nói đến các tác nhân AI, họ không có nhiều kinh nghiệm hơn chúng ta. Biết đâu nếu không cẩn thận, bạn có thể trở thành "OpenAI" trên đường đua tác nhân AI!

Không, Imbue đang đến.

Nhà đầu tư: Khám phá từ từ, đừng vội thực hiện

Tuy nhiên, người sáng lập cho biết mặc dù Imbue đang phát triển một số sản phẩm nhưng họ không có kế hoạch đưa hầu hết vào sản xuất.

Imbue hy vọng rằng những mô hình và công cụ này là cách giúp chúng tôi dẫn đến AGI trong tương lai, để mọi người có thể có một nền tảng để tạo ra các mô hình tùy chỉnh của riêng mình.

Thái độ của Imbue đối với thị trường là không cấp bách, điều này cũng có thể được nhìn thấy từ nguồn tài chính——

Nhà đầu tư chính là Astera Institute, một tổ chức phi lợi nhuận chuyên phát triển các dự án công nghệ, chứ không phải các công ty đầu tư mạo hiểm lao vào các dự án AI khi chúng còn đang hot.

Những người sáng lập cho biết họ cố tình tránh gặp gỡ các công ty đầu tư mạo hiểm trong quá trình gây quỹ.

Điều này là do, theo quan điểm của họ, công việc của Imbue có thể vẫn phải mất vài năm trước khi nó thực sự được thương mại hóa. Các công ty đầu tư mạo hiểm sẽ không đủ kiên nhẫn như vậy, trong khi các tổ chức phi lợi nhuận sẽ khoan dung hơn với thời gian biểu thương mại hóa của họ.

Nhà đầu tư và tỷ phú lớn nhất Jed McCaleb cho biết sau khi xem PPT của Qiu và Albrecht xây dựng đặc vụ AI, ông cảm thấy rất hài lòng nên đã quyết định đầu tư chỉ bằng một cái vẫy tay.

Tất nhiên, ông cũng hiểu rằng đây là một canh bạc lớn: để thúc đẩy nghiên cứu sang giai đoạn tiếp theo và thương mại hóa công việc của phòng thí nghiệm, rất nhiều tiền sẽ bị đốt cháy chỉ khi đầu tư vào GPU.

Qiu và Albrecht cũng rất tự tin rằng trong mười năm nữa, kết quả của PPT có thể sẽ trở thành ứng dụng hàng ngày của mọi người và có thể sẽ không được sử dụng trong mười năm nữa.

Huấn luyện mô hình suy luận cơ bản

Trong blog chính thức của Imbue, họ đã giải thích điều này -

Hiện tại, hệ thống AI có khả năng rất hạn chế trong việc hoàn thành các nhiệm vụ đơn giản thay mặt người dùng. Một trong những trở ngại quan trọng là "lý luận".

Có thể nói, khả năng suy luận mạnh mẽ là điều kiện cần để các tác nhân AI đạt được những hành động hiệu quả.

Điều này có thể được chia nhỏ hơn thành: khả năng đối phó với sự không chắc chắn, khả năng biết khi nào cần thay đổi cách tiếp cận, khả năng đặt câu hỏi và thu thập thông tin mới, khả năng phát triển kịch bản và đưa ra quyết định, khả năng đề xuất và loại bỏ các giả thuyết. và khả năng đối phó với tính chất phức tạp và khó lường của thế giới thực.

Để điều chỉnh các mô hình cơ bản cho "các tác nhân AI suy luận" có nghĩa là không chỉ tận dụng các khả năng mạnh mẽ do LLM cung cấp mà còn phải hiểu một cách chi tiết và thực tế cách các mô hình này được đào tạo và cách chúng hoạt động.

Điều đó có nghĩa là, một mặt, cần tạo ra dữ liệu tiền huấn luyện chuyên dụng để tăng cường suy luận mô hình, mặt khác, công nghệ phải được phát triển để làm cho kết quả suy luận trở nên đáng tin cậy hơn.

Để làm được điều này, nhóm đã áp dụng phương pháp tiếp cận toàn diện: đào tạo mô hình cơ sở, tạo nguyên mẫu các tác nhân và giao diện thử nghiệm, xây dựng các công cụ và cơ sở hạ tầng mạnh mẽ, đồng thời hiểu nền tảng lý thuyết về cách mô hình học.

- Người mẫu

Huấn luyện và tối ưu hóa các mô hình cực lớn (>100 tỷ tham số) để đạt được hiệu suất vượt trội trên các điểm chuẩn suy luận.

Vòng tài trợ mới nhất đã mang lại cho Imbue những khả năng mà các công ty khác không thể sánh được: một cụm máy tính được trang bị khoảng 10.000 H100, có thể đạt được khả năng lặp lại nhanh chóng mọi thứ từ dữ liệu đào tạo đến kiến trúc và cơ chế suy luận.

-Đại lý

Ngoài mô hình, Imbue đã thiết kế một nguyên mẫu tác nhân để sử dụng nội bộ (chủ yếu để mã hóa). Đồng thời, chúng tôi cũng đang thử nghiệm nhiều loại tác nhân khác để có được một tác nhân đa năng mạnh mẽ và đáng tin cậy.

-Giao diện

Giao diện trò chuyện AI ngày nay về cơ bản là đa dạng. Nhóm tin rằng có nhiều vấn đề cốt lõi liên quan đến sự mạnh mẽ, tin cậy và cộng tác của các tác nhân có thể được giải quyết bằng cách phát minh lại giao diện tương tác.

Ngoài ra, các tác nhân AI có thể hiểu thế giới cũng mang đến cơ hội suy nghĩ lại cách con người tương tác với máy tính, từ đó tạo ra các hệ thống hỗ trợ và trao quyền tốt hơn cho chúng ta.

- dụng cụ

Các công cụ tuyệt vời giúp tăng tốc chu kỳ lặp lại.

Để đạt được mục tiêu này, nhóm đã nỗ lực rất nhiều để xây dựng các công cụ cho riêng mình: cho dù đó là nguyên mẫu tác nhân đơn giản để sửa lỗi kiểm tra loại và phân luồng, giao diện gỡ lỗi và trực quan hóa trên các tác nhân và mô hình hay các hệ thống phức tạp hơn (Ví dụ: CARBS có thể tự động hoàn thành hầu hết các điều chỉnh siêu tham số và tìm kiếm kiến trúc mạng).

-Lý thuyết

Để tạo ra một mô hình cho các tác nhân cung cấp nền tảng vững chắc đồng thời duy trì tính bảo mật lâu dài, lý thuyết học sâu phải được phát triển.

Để đạt được mục tiêu này, nhóm tập trung nghiên cứu về tính năng học tập và tìm hiểu cơ chế cốt lõi đằng sau quá trình học tập của các mô hình ngôn ngữ lớn.

Hiện tại, nhóm đã xuất bản nhiều bài viết về cơ sở lý thuyết của việc học tự giám sát và các quy tắc học tập cơ bản trong các hệ thống như mạng lưới thần kinh.

Tác nhân AI có thể suy luận và viết mã

Tuy nhiên, trước khi phát triển một tác nhân AI mà mọi người đều có thể sử dụng, trước tiên, nhóm đã tiến hành nghiên cứu chuyên sâu về các kịch bản sử dụng của chính nó.

Tìm hiểu cách bạn có thể liên tục cải thiện các mô hình suy luận được thiết kế dành riêng cho tổng đài viên và cách bạn có thể xây dựng các công cụ để giúp tổng đài viên trở nên đáng tin cậy hơn.

Kết quả là, phần lớn các nguyên mẫu đặc vụ đầu tiên đều xoay quanh công việc cốt lõi của nhóm - mã hóa.

Lý do cụ thể như sau:

- Sử dụng là điều kiện thiết yếu của phát minh

Cách tốt nhất để khiến các tác nhân AI hoạt động ổn định với con người là tạo ra các tác nhân AI có thể được sử dụng trong công việc hàng ngày và giải quyết các vấn đề khác nhau trong quá trình này.

**- Mã có thể cải thiện kỹ năng suy luận **

Đầu tiên, đào tạo về mã giúp mô hình học cách suy luận tốt hơn. Thứ hai, vì các câu hỏi lập trình rất khách quan (mã có thể vượt qua bài kiểm tra hoặc không), nó cung cấp một nền tảng lý tưởng để kiểm tra các kỹ năng suy luận rộng hơn, cho phép các nhóm xem liệu những cải tiến của họ đối với hệ thống cơ bản có hiệu quả hay không.

- Mã rất quan trọng đối với hành động

Tạo mã là một cách hiệu quả để các tác nhân tương tác với máy tính. Khả năng mã hóa tốt hơn sẽ chuyển trực tiếp thành một tác nhân có nhiều khả năng hoàn thành thành công các nhiệm vụ phức tạp hơn. Ví dụ: một tác nhân có thể viết các truy vấn SQL để trích xuất thông tin từ một bảng có nhiều khả năng đáp ứng nhu cầu của người dùng hơn một tác nhân trực tiếp cố gắng tổng hợp cùng một thông tin.

- Có tầm quan trọng chiến lược

Với những cải tiến liên tục, các đại lý có thể đảm nhận nhiều nhiệm vụ hơn, tăng tốc độ nghiên cứu và kỹ thuật. Bằng cách này, nó không chỉ giúp xây dựng các hệ thống phần mềm mà còn giúp thiết lập một nguyên mẫu tổ chức để xem một tác nhân AI thực sự có thể sử dụng được sẽ trông như thế nào.

Hiện tại, nhóm chưa có kế hoạch đưa những “đại lý mã” này vào sản xuất. Tuy nhiên, họ hy vọng sẽ công khai những công cụ và mô hình này theo thời gian, cho phép mọi người tạo tác nhân AI của riêng mình.

**Máy tính cá nhân thực sự mang lại cho chúng ta sự tự do, phẩm giá và khả năng làm những gì chúng ta thích. **

Một tác nhân AI thực sự hữu ích thực chất là một máy tính có thể hiểu mục tiêu, chủ động giao tiếp và làm việc ở hậu trường cho chúng ta—xóa bỏ các rào cản giữa ý tưởng và việc thực thi.

Thay vì nhìn chằm chằm vào màn hình, chúng ta có thể tự do khám phá trí tò mò của mình, khám phá quy luật của vũ trụ, tạo ra những kiệt tác nghệ thuật, tìm hiểu nhau sâu sắc hơn hoặc chỉ dành thời gian để tận hưởng cuộc sống.

thành viên của đội

Dù chỉ có khoảng 20 người nhưng các thành viên trong đội của Imbue có thể được miêu tả là những chú hổ ngồi, những con rồng ẩn náu.

Người đồng sáng lập và Giám đốc điều hành Kanjun Qiu đã nhận bằng cử nhân và thạc sĩ của MIT. Ngoài AI, các thành viên khác thậm chí còn có kiến thức nền tảng về khoa học thần kinh và vật lý plasma.

Những người sáng lập Kanjun Qiu và Josh Albrecht tin rằng kiến thức nền tảng sâu rộng mà nhóm có là một lợi thế.

Mặc dù theo Wall Street News, một số nhà đầu tư ở Thung lũng Silicon nghi ngờ liệu nhóm nhỏ này có đủ khả năng điều hành một phòng thí nghiệm nghiên cứu AI thực sự hay không.

Nhưng theo quan điểm của những người biết rõ về những người sáng lập Imbue, vốn mạo hiểm có xu hướng hỗ trợ một số ít những người sáng lập có lý lịch nổi tiếng nên mối lo ngại này không quan trọng.

Một số nhà đầu tư và cố vấn

Người giới thiệu: