Лао Хуанг брав участь в інвестиціях, а китайські вчені Массачусетського технологічного інституту зібрали 200 мільйонів доларів! 10 000 H100 навчає агента ШІ з понад 100 мільярдами параметрів

Джерело: Xinzhiyuan

Редактор: Еней такий сонний

Щойно в Силіконовій долині народився ще один штучний єдиноріг!

Компанія, заснована цією китайською вченою, називається Imbue, нещодавно отримала 200 мільйонів доларів фінансування, а її вартість досягла 1 мільярда доларів.

Imbue також є одним із небагатьох єдинорогів, засновниками якого є жінки.

Мало того, Imbue також має 10 000 графічних карт Nvidia H100, тому йому більше не потрібно турбуватися про тверду валюту.

Так, ви правильно вгадали, NVIDIA знову інвестувала в цього єдинорога зі штучним інтелектом!

Джим Фан, старший науковий співробітник Nvidia, також з радістю написав своє привітання: минулого року ми говорили про Avalon і MineDojo на NeurIPS, а тепер компанія, що стоїть за Avalon, стала єдинорогом!

Ця історія говорить нам, що не ігноруйте кожного невражаючого дослідника, якого зустрінете на конференції. Хто знає, одного дня їхня компанія отримає фінансування найвищого рівня, а наступний Сем Альтман народиться.

Грошей не зароблено, але зібрано сотні мільйонів.Таке диво може статися лише в Кремнієвій долині.

NVIDIA оптимістична

Наразі «надвелика» велика модель Imbue, яку навчає Imbue, має понад 100 мільярдів параметрів, і наразі Imbue має 10 000 графічних процесорів NVIDIA H100.

Компанія ще не випустила жодних продуктів, окрім навчального середовища з відкритим кодом Avalon минулої осені.

Співзасновники Imbue Канджун Цю та Джош Альбрехт

Однак сума фінансування Imbue у цьому раунді в 10 разів перевищує суму, зібрану раніше.

Інвестиції очолила некомерційна організація Astera Institute, заснована мільярдером Джедом Маккалебом, за участю Nvidia, Кайла Фогта, генерального директора безпілотної компанії General Motors Cruise, і співзасновника Notion Саймона Ласта.

Зараз загальний обсяг фінансування Imbue досяг 220 мільйонів доларів, що робить його одним із найкраще фінансованих стартапів за останні місяці. Кілька попереду — Cohere ($435 млн), Adept ($415 млн) і AI21 Labs ($283 млн).

Найпривабливіша назва серед інвесторів, безсумнівно, Nvidia.

Лише цього року Nvidia інвестувала в сім штучних єдинорогів, включаючи Adept, Coreweave, Cohere, Inflection, Runway, AI21 Labs і Imbue.

Націлювання на агентів ШІ

Нова компанія, яка все ще перебуває на ранніх стадіях розвитку, має лише 20 співробітників і ще не випустила жодних продуктів для громадськості, але вона завоювала прихильність багатьох відомих інвесторів ШІ в Кремнієвій долині. Чому це так?

Причина в тому, що маршрут, обраний Imbue, не є базовою моделлю ШІ, а агентом ШІ!

Після вибуху генеративного штучного інтелекту, викликаного великими моделями, ринок повністю відродився, і впевнені інвестори з нетерпінням шукають наступну гарячу точку.

Агенти штучного інтелекту – це напрямок, щодо якого багато лідерів ШІ та технологічних гігантів дивляться оптимістично.

Карпаті, видатна постать, яка цього року приєдналася до OpenAI і колишній директор Tesla AI, одного разу сказав: агенти ШІ представляють майбутнє ШІ!

Карпати колись назвали AutoGPT наступним рубежем

Агенти штучного інтелекту — це автономні агенти, які, у своїй найпростішій формі, працюють у циклі, генеруючи самокеровані інструкції та дії з кожною ітерацією. Таким чином, вони не покладаються на людей у розмові та мають високу масштабованість.

Як обчислювальна система, яка моделює вибір людини для виконання складних завдань, агенти ШІ, безсумнівно, є більш творчим шляхом, ніж великі мовні моделі.

Справді, ще в березні та квітні цього року відбувся вибух агентів штучного інтелекту.Як би випадково, лише за два тижні було запущено багато інтелектуальних агентів, таких як Stanford Westworld Town, BabyAGI, AutoGPT та GPT-Engineer. Тіло спливає, як бамбук після дощу.

Деякі люди навіть закликали: «Не розгортайте великі мовні моделі. Ми не можемо розгортати OpenAI, але коли справа доходить до агентів ШІ, вони мають не набагато більше досвіду, ніж ми». Можливо, якщо ви не будете обережні, ви зможете стати «OpenAI» на доріжці AIагента!

Ні, Імбу приходить.

Інвестори: досліджуйте повільно, не поспішайте впроваджувати

Однак засновник сказав, що хоча Imbue розробляє деякі продукти, більшість із них не планує запускати у виробництво.

Imbue сподівається, що ці моделі та інструменти допоможуть нам у майбутньому створити AGI, щоб люди могли мати платформу для створення власних індивідуальних моделей.

Ставлення Imbue до ринку не є нагальним, це також видно з фінансування——

Головним інвестором є Astera Institute, некомерційна організація, що займається технологічними проектами, а не венчурні компанії, які кидаються в проекти ШІ, поки вони гарячі.

Засновники заявили, що вони навмисно уникали зустрічей з фірмами венчурного капіталу під час процесу збору коштів.

Це пояснюється тим, що, на їхню думку, робота Imbue ще може зайняти кілька років, перш ніж вона буде справді комерціалізована.Компанії венчурного капіталу не матимуть такого терпіння, тоді як некомерційні організації будуть більш терпимими до свого графіка комерціалізації.

Найбільший інвестор і мільярдер Джед Маккалеб сказав, що після перегляду PPT Цю та Альбрехта, які створюють агента штучного інтелекту, він був дуже задоволений, тому він прийняв рішення інвестувати одним помахом руки.

Звичайно, він також розуміє, що це велика авантюра: щоб перевести дослідження на наступний етап і комерціалізувати роботу лабораторії, багато грошей буде спалено лише за рахунок інвестицій у GPU.

Цю та Альбрехт також дуже впевнені, що через десять років результати PPT, ймовірно, стануть щоденними додатками людей, і вони, ймовірно, не будуть використовуватися через десять років.

Базова модель навчального висновку

В офіційному блозі Imbue вони пояснили це -

Зараз системи ШІ мають дуже обмежені можливості для виконання простих завдань від імені користувачів. Однією з важливих перешкод є «міркування».

Можна сказати, що сильна здатність міркувати є необхідною умовою для ефективних дій агентів ШІ.

Далі це можна розділити на: здатність справлятися з невизначеністю, здатність знати, коли змінити підхід, здатність ставити запитання та збирати нову інформацію, здатність розробляти сценарії та приймати рішення, здатність пропонувати гіпотези та відмовлятися від них. і здатність справлятися зі складною та непередбачуваною природою реального світу.

Пристосувати базові моделі для «розумних агентів штучного інтелекту» означає не лише скористатися перевагами потужних можливостей, наданих LLM, але й детально та практично зрозуміти, як ці моделі навчаються та як вони працюють. Що може піти не так.

Тобто, з одного боку, необхідно створити дані попереднього навчання, які спеціально використовуються для посилення модельного висновку, а з іншого боку, необхідно розробити технологію, щоб зробити результати логічного висновку більш надійними.

Для цього команда застосувала комплексний підхід: навчання базової моделі, прототипування експериментальних агентів та інтерфейсів, створення надійних інструментів та інфраструктури та розуміння теоретичних основ того, як модель навчається.

- Модель

Навчіть і оптимізуйте надзвичайно великі моделі (>100 мільярдів параметрів), щоб досягти видатної продуктивності в контрольних тестах.

Останній раунд фінансування надав Imbue можливості, з якими інші компанії не можуть зрівнятися: обчислювальний кластер, оснащений приблизно 10 000 H100, які можуть досягати швидкої ітерації всього, від навчальних даних до архітектури та механізмів висновку.

-Агент

Крім моделі, Imbue розробив прототип агента для внутрішнього використання (переважно для кодування). У той же час ми також пробуємо низку інших агентів, щоб отримати потужний і надійний агент загального призначення.

-Інтерфейс

Сучасні інтерфейси чату AI в основному скевоморфні. Команда вважає, що є багато ключових проблем щодо надійності, довіри та співпраці агентів, які можна вирішити шляхом переосмислення інтерфейсу взаємодії.

Крім того, агенти штучного інтелекту, які можуть розуміти світ, також дають можливість переосмислити те, як люди взаємодіють з комп’ютерами, таким чином створюючи системи, які краще підтримують і розширюють наші можливості.

- інструмент

Чудові інструменти прискорюють ітераційні цикли.

З цією метою команда докладає багато зусиль для створення інструментів для себе: будь то простий прототип агента для виправлення помилок перевірки типу та потоків, інтерфейси налагодження та візуалізації поверх агентів і моделей або більш складні системи (наприклад, CARBS може автоматично виконувати більшість налаштувань гіперпараметрів і пошук архітектури мережі).

-Теорія

Щоб створити модель для агентів, яка забезпечує міцну основу, зберігаючи при цьому довгострокову безпеку, необхідно розробити теорію глибокого навчання.

З цією метою команда зосереджує свої дослідження на вивченні функцій і розумінні основного механізму процесу навчання великих мовних моделей.

На даний момент команда опублікувала багато статей про теоретичні основи самоконтрольованого навчання та основні правила навчання в таких системах, як нейронні мережі.

Агент штучного інтелекту, який може міркувати та кодувати

Однак перш ніж розробити агент ШІ, яким зможе користуватися кожен, команда спочатку провела глибоке дослідження власних сценаріїв використання.

Дізнайтеся, як ви можете постійно вдосконалювати моделі висновків, розроблені спеціально для агентів, і як ви можете створити інструменти, щоб зробити агентів більш надійними.

У результаті велика частина першої партії прототипів агентів оберталася навколо основної роботи команди – коду.

Конкретні причини такі:

- Використання є обов’язковою умовою винаходу

Найкращий спосіб змусити агентів штучного інтелекту стабільно працювати з людьми — створити агентів штучного інтелекту, які можна використовувати в щоденній роботі та вирішувати різні проблеми в процесі.

**- Код може покращити навички міркування **

По-перше, навчання коду допомагає моделі навчитися міркувати краще. По-друге, оскільки питання програмування є дуже об’єктивними (код або проходить тест, або ні), це забезпечує ідеальну платформу для перевірки ширших навичок міркування, дозволяючи командам побачити, чи ефективні їхні вдосконалення базової системи.

- Код важливий для дії

Генерація коду є ефективним способом взаємодії агентів із комп’ютерами. Більші можливості кодування перетворюються безпосередньо на агента, який, швидше за все, успішно виконає складні завдання. Наприклад, агент, який може писати запити SQL для отримання інформації з таблиці, швидше за все, задовольнить потреби користувача, ніж агент, який безпосередньо намагається агрегувати ту саму інформацію.

- Має стратегічне значення

Завдяки постійним вдосконаленням агенти можуть виконувати більше завдань, прискорюючи дослідження та розробку. Таким чином, це не тільки допомагає створювати програмні системи, але й допомагає створити організаційний прототип, щоб побачити, як виглядатиме справді придатний для використання агент ШІ.

Наразі команда не планує запускати цих «кодових агентів» у виробництво. Однак вони очікують, що з часом ці інструменти та моделі стануть загальнодоступними, дозволяючи будь-кому створювати власних агентів ШІ.

**Справжні персональні комп’ютери дають нам свободу, гідність і можливість робити те, що нам подобається. **

По-справжньому корисний агент штучного інтелекту — це насправді комп’ютер, який розуміє цілі, активно спілкується та працює за лаштунками для нас, усуваючи бар’єри між ідеями та виконанням.

Замість того, щоб дивитися на екран, ми вільно досліджуємо наші цікаві факти, відкриваємо закони Всесвіту, створюємо шедеври мистецтва, глибше пізнаємо один одного або просто знаходимо час, щоб насолоджуватися життям.

член команди

Хоча там лише близько 20 людей, членів команди Імбуе можна описати як тигрів, що присідають, прихованих драконів.

Співзасновник і генеральний директор Канджун Цю отримав ступінь бакалавра та магістра в Массачусетському технологічному інституті. Окрім штучного інтелекту, інші учасники навіть мають досвід у нейронауці та фізиці плазми.

Засновники Канджун Цю та Джош Альбрехт вважають, що широкі знання, які має команда, є перевагою.

Хоча, згідно з Wall Street News, кілька інвесторів у Кремнієвій долині сумніваються, чи ця невелика команда здатна керувати справжньою дослідницькою лабораторією ШІ.

Але на думку тих, хто знає засновників Imbue, венчурний капітал, як правило, підтримує кількох засновників із добре відомим досвідом, тому це занепокоєння не має значення.

Деякі інвестори та радники

Література: