Лао Хуан участвовала в инвестициях, а китайские женщины-ученые Массачусетского технологического института собрали 200 миллионов долларов США! 10 000 H100 обучают ИИ-агента более чем 100 миллиардам параметров

Источник: Синьчжиюань

Монтажер: Эней такой сонный

Только что в Кремниевой долине родился еще один единорог искусственного интеллекта!

Компания Imbue, основанная китайской женщиной-ученым, недавно получила финансирование в размере 200 миллионов долларов США, а ее оценка достигла 1 миллиарда долларов США.

Imbue также является одним из немногих единорогов, основателями которых являются женщины.

Мало того, у Imbue также есть 10 000 видеокарт Nvidia H100, так что ему больше не нужно беспокоиться о твердой валюте.

Да, вы правильно догадались, NVIDIA снова вложила средства в этого ИИ-единорога!

Джим Фан, старший научный сотрудник Nvidia, также радостно написал в Твиттере свои поздравления: В прошлом году мы говорили об Avalon и MineDojo на NeurIPS, а теперь компания, стоящая за Avalon, стала единорогом!

Эта история говорит нам: не игнорируйте каждого невпечатляющего исследователя, которого вы встречаете на престижной конференции. Кто знает, однажды их компания получит финансирование на высшем уровне, и на свет появится следующий Сэм Альтман.

Никаких денег не было получено, но были собраны сотни миллионов. Такое чудо может случиться только в Кремниевой долине.

NVIDIA настроена оптимистично

В настоящее время «сверхкрупномасштабная» большая модель, которую обучает Imbue, имеет более 100 миллиардов параметров, и в настоящее время Imbue имеет в своем распоряжении 10 000 графических процессоров NVIDIA H100.

Компания пока не выпустила никаких продуктов, за исключением среды обучения с открытым исходным кодом Avalon прошлой осенью.

Соучредители Imbue Канджун Цю и Джош Альбрехт

Однако сумма финансирования Imbue в этом раунде в 10 раз превышает сумму, собранную ранее.

Инвестиции возглавил Astera Institute, некоммерческая организация, основанная миллиардером Джедом Маккалебом, при участии Nvidia, Кайла Фогта, генерального директора компании General Motors по производству беспилотных автомобилей Cruise, и соучредителя Notion Саймона Ласта.

Теперь общий объем финансирования Imbue достиг 220 миллионов долларов, что делает его одним из наиболее финансируемых стартапов за последние месяцы. Немного впереди — Cohere (435 миллионов долларов), Adept (415 миллионов долларов) и AI21 Labs (283 миллиона долларов).

Самым привлекательным именем среди инвесторов, несомненно, является Nvidia.

Только в этом году Nvidia инвестировала в семь компаний-единорогов искусственного интеллекта, включая Adept, Coreweave, Cohere, Inflection, Runway, AI21 Labs и Imbue.

Нацеленность на агентов ИИ

Стартап-компания, которая все еще находится на ранней стадии своего развития, имеет всего 20 сотрудников и еще не выпустила ни одного продукта для широкой публики, тем не менее, она завоевала благосклонность многих известных инвесторов в области искусственного интеллекта в Кремниевой долине.

Причина в том, что маршрут, выбранный Imbue, — это не базовая модель ИИ, а агент ИИ!

После бурного роста генеративного искусственного интеллекта, вызванного появлением больших моделей, рынок полностью оживился, и уверенные в себе инвесторы с нетерпением ищут следующую горячую точку.

Агенты ИИ — это направление, в отношении которого с оптимизмом смотрят многие лидеры ИИ и технологические гиганты.

Карпати, видный деятель, присоединившийся к OpenAI в этом году и бывший директор Tesla AI, однажды сказал: «Агенты ИИ представляют будущее ИИ!»

Карпаты однажды назвали AutoGPT следующим рубежом

Агенты ИИ — это автономные агенты, которые в своей простейшей форме работают в циклах, генерируя самостоятельные инструкции и действия на каждой итерации. Таким образом, они не полагаются на участие людей в ведении разговора и обладают высокой масштабируемостью.

Будучи вычислительной системой, которая имитирует выбор человека для выполнения сложных задач, агенты ИИ, несомненно, представляют собой более творческий путь, чем большие языковые модели.

Фактически, уже в марте и апреле этого года произошел настоящий взрыв агентов ИИ: как будто по совпадению, всего за две недели было запущено множество интеллектуальных агентов, таких как Stanford Westworld Town, BabyAGI, AutoGPT и GPT-Engineer. Тело всплывает, как побеги бамбука после дождя.

Некоторые люди даже выступили с призывом: не запускайте большие языковые модели. Мы не можем внедрять OpenAI, но когда дело доходит до агентов ИИ, у них не намного больше опыта, чем у нас. Возможно, если вы не будете осторожны, вы сможете стать «OpenAI» на треке агента ИИ!

Нет, Имбуэ идёт.

Инвесторы: изучайте медленно, не спешите реализовывать

Однако основатель заявил, что хотя Imbue разрабатывает некоторые продукты, большую часть из них она не планирует запускать в производство.

Imbue надеется, что эти модели и инструменты помогут нам создать AGI в будущем, чтобы люди могли иметь платформу для создания своих собственных индивидуальных моделей.

Отношение Imbue к рынку не является срочным. Это также видно по финансированию——

Основным инвестором является Astera Institute, некоммерческая организация, занимающаяся технологическими проектами, а не компании венчурного капитала, которые бросаются в проекты искусственного интеллекта, пока они горячие.

Учредители заявили, что намеренно избегали встреч с венчурными компаниями в процессе сбора средств.

Это связано с тем, что, по их мнению, работа Imbue может пройти еще несколько лет, прежде чем она будет по-настоящему коммерциализирована.

Крупнейший инвестор и миллиардер Джед Маккалеб сказал, что после просмотра PPT Цю и Альбрехта, создающих агента искусственного интеллекта, он почувствовал себя очень удовлетворенным, поэтому принял решение инвестировать, взмахнув рукой.

Конечно, он также понимает, что это большая авантюра: чтобы продвинуть исследования на следующий этап и коммерциализировать работу лаборатории, будут сожжены большие деньги только на инвестиции в графические процессоры.

Цю и Альбрехт также уверены, что через десять лет результаты PPT, вероятно, станут повседневным применением людей и, вероятно, через десять лет они не будут использоваться.

Базовая модель обучающего вывода

В официальном блоге Imbue это объяснили:

В настоящее время системы искусственного интеллекта имеют очень ограниченные возможности по выполнению простых задач от имени пользователей. Одним из важных препятствий является «рассуждение».

Можно сказать, что сильная способность к рассуждению является необходимым условием для агентов ИИ для достижения эффективных действий.

Далее это можно разделить на: способность справляться с неопределенностью, способность знать, когда следует изменить подход, способность задавать вопросы и собирать новую информацию, способность разрабатывать сценарии и принимать решения, способность выдвигать гипотезы и отказываться от них. и способность справляться со сложной и непредсказуемой природой реального мира.

Адаптировать базовые модели для «рассуждающих агентов ИИ» означает не только воспользоваться мощными возможностями, предоставляемыми LLM, но и детально и практически понять, как эти модели обучаются и как они работают. Что может пойти не так.

То есть, с одной стороны, необходимо создать данные для предварительного обучения, специально используемые для усиления вывода модели, а с другой стороны, необходимо разработать технологию, чтобы сделать результаты вывода более надежными.

Для этого команда применила комплексный подход: обучение базовой модели, прототипирование экспериментальных агентов и интерфейсов, создание надежных инструментов и инфраструктуры, а также понимание теоретических основ обучения модели.

- Модель

Обучайте и оптимизируйте чрезвычайно большие модели (более 100 миллиардов параметров) для достижения выдающейся производительности в тестах вывода.

Последний раунд финансирования предоставил Imbue возможности, с которыми не могут сравниться другие компании: вычислительный кластер, оснащенный примерно 10 000 H100, который может обеспечить быструю итерацию всего: от обучающих данных до архитектуры и механизмов вывода.

-Агент

Помимо модели, Imbue разработал прототип агента для внутреннего использования (в основном для кодирования). В то же время мы также пытаемся использовать множество других агентов, чтобы получить мощный и надежный агент общего назначения.

-Интерфейс

Сегодняшние интерфейсы чатов ИИ в основном скевоморфны. Команда считает, что существует множество основных проблем, касающихся надежности, доверия и сотрудничества агентов, которые можно решить, заново изобретя интерфейс взаимодействия.

Кроме того, агенты ИИ, способные понимать мир, также дают возможность переосмыслить то, как люди взаимодействуют с компьютерами, тем самым создавая системы, которые лучше нас поддерживают и расширяют возможности.

- инструмент

Отличные инструменты ускоряют итеративные циклы.

С этой целью команда прилагает много усилий для создания инструментов для себя: будь то простой прототип агента для исправления ошибок проверки типов и многопоточности, интерфейсы отладки и визуализации поверх агентов и моделей или более сложные системы (например, CARBS может автоматически выполнять большинство настроек гиперпараметров и поиск сетевой архитектуры).

-Теория

Чтобы создать модель для агентов, обеспечивающую надежную основу при сохранении долгосрочной безопасности, необходимо разработать теорию глубокого обучения.

С этой целью команда сосредотачивает свои исследования на изучении функций и понимании основного механизма процесса обучения больших языковых моделей.

В настоящее время команда опубликовала множество статей по теоретической основе самостоятельного обучения и основным правилам обучения в таких системах, как нейронные сети.

Агент ИИ, который может рассуждать и кодировать

Однако прежде чем разработать ИИ-агент, который сможет использовать каждый, команда сначала провела углубленное исследование собственных сценариев использования.

Узнайте, как можно постоянно совершенствовать модели вывода, разработанные специально для агентов, и как создавать инструменты, повышающие надежность агентов.

В результате большая часть первой партии прототипов агентов вращалась вокруг основной работы команды — кода.

Конкретные причины заключаются в следующем:

- Использование является непременным условием изобретения

Лучший способ обеспечить стабильную работу ИИ-агентов с людьми — создать ИИ-агенты, которые можно будет использовать в повседневной работе и решать при этом различные проблемы.

**- Код может улучшить навыки рассуждения **

Во-первых, обучение коду помогает модели научиться лучше рассуждать. Во-вторых, поскольку вопросы по программированию очень объективны (код либо проходит тест, либо нет), оно обеспечивает идеальную платформу для тестирования более широких навыков рассуждения, позволяя командам увидеть, эффективны ли их улучшения базовой системы.

- Код важен для действий

Генерация кода — это эффективный способ взаимодействия агентов с компьютерами. Более широкие возможности кодирования напрямую преобразуются в агента, который с большей вероятностью успешно выполнит сложные задачи. Например, агент, который может писать запросы SQL для извлечения информации из таблицы, с большей вероятностью удовлетворит потребности пользователя, чем агент, который пытается напрямую агрегировать ту же информацию.

- Имеет стратегическое значение

Благодаря постоянным улучшениям агенты могут брать на себя больше задач, ускоряя исследования и разработку. Таким образом, это не только помогает создавать программные системы, но и помогает создать организационный прототип, чтобы увидеть, как будет выглядеть по-настоящему полезный агент ИИ.

В настоящее время команда не планирует запускать этих «кодовых агентов» в производство. Однако они планируют со временем сделать эти инструменты и модели общедоступными, что позволит каждому создавать собственных агентов ИИ.

**Настоящие персональные компьютеры дают нам свободу, достоинство и возможность делать то, что нам нравится. **

По-настоящему полезный ИИ-агент на самом деле представляет собой компьютер, который понимает цели, активно общается и работает за нас за кулисами, устраняя барьеры между идеями и их реализацией.

Вместо того, чтобы смотреть в экран, мы можем исследовать свои любопытства, открывать законы Вселенной, создавать шедевры искусства, узнавать друг друга глубже или просто наслаждаться жизнью.

участник команды

Хотя в команде всего около 20 человек, членов команды Imbue можно охарактеризовать как крадущихся тигров, затаившихся драконов.

Соучредитель и генеральный директор Канджун Цю получил степени бакалавра и магистра в Массачусетском технологическом институте. Помимо искусственного интеллекта, другие участники даже имеют опыт работы в области нейробиологии и физики плазмы.

Основатели Канджун Цю и Джош Альбрехт считают, что широта базовых знаний, которыми обладает команда, является преимуществом.

Хотя, по данным Wall Street News, некоторые инвесторы в Кремниевой долине сомневаются, сможет ли эта небольшая команда управлять настоящей исследовательской лабораторией искусственного интеллекта.

Но, по мнению тех, кто знает основателей Imbue, венчурный капитал имеет тенденцию поддерживать нескольких основателей с известным опытом, поэтому это беспокойство не имеет значения.

Некоторые инвесторы и консультанты

Использованная литература: