Прогресс ИИ теперь зависит от «мировых моделей», которые понимают физическую реальность

Вкратце

• Профессор компьютерных наук Стэнфорда Фей-Фей Ли сказал, что прогресс ИИ теперь ограничен системами, которые не могут понимать физическое пространство.
• Мировые модели предназначены для симуляции окружающей среды и предсказания того, как сцены меняются со временем.
• Ранние прототипы, такие как Marble, намекают на то, как эти модели могут изменить творческую работу,Robotics и науку.

Центр Искусства, Моды и Развлечений Decrypt.

Откройте SCENE

Роботы и мультимодальный искусственный интеллект все еще не могут понять физический мир, что, по словам одного известного исследователя, является сейчас крупнейшим препятствием в этой области.

Фэй-Фэй Ли, компьютерный ученый из Стэнфорда, широко признанный пионером современной компьютерной визуализации, заявил, что разрыв между ИИ и физической реальностью стал самой срочной проблемой технологий и утверждает, что его преодоление потребует создания систем, основанных на пространственном мышлении, а не только на языке.

Искусственный интеллект стремительно приближается к пределам обучения на основе текста, и прогресс в конечном итоге будет зависеть от “мировых моделей”, сказал Ли в отчете, опубликованном в понедельник.

“В основе разблокировки пространственного интеллекта лежит разработка мировых моделей—нового типа генеративного ИИ, который должен решать принципиально иной набор задач, чем LLM,” написал Ли в X. “Эти модели должны генерировать пространственно согласованные миры, которые подчиняются физическим законам, обрабатывать мультимодальные входные данные от изображений до действий и предсказывать, как эти миры будут развиваться или взаимодействовать с течением времени.”

Что это за модели в мире?

Концепция «мировых моделей» восходит к началу 1940-х годов, когда шотландский философ и психолог Кеннет Крайк проводил исследования в области когнитивной науки.

Идея вновь возникла в современном ИИ после того, как статья Дэвида Ха и Юргена Шмидубера 2018 года показала, что нейронная сеть может выучить компактную внутреннюю модель среды и использовать ее в качестве симулятора для планирования и управления.

Ли утверждал, что мировые модели важны, потому что роботы и мультимодальные системы все еще испытывают трудности с обоснованным пространственным рассуждением, что оставляет их неспособными оценивать расстояния и изменения сцены или предсказывать основные физические результаты.

“Роботы как человеческие партнеры, будь то помощь ученым в лаборатории или поддержка пожилых людей, живущих в одиночестве, могут расширить часть рабочей силы, которой смертельно не хватает труда и производительности,” - написал Ли. Реальные среды следуют правилам, которые современные машины не могут уловить, утверждает Ли.

От формирования движения гравитацией до воздействия материалов на свет, для решения этой задачи требуются системы, способные хранить пространственную память и моделировать сцены более чем в двух измерениях.

В сентябре компания Ли, World Labs, выпустила бета-версию Marble, ранней модели мира, которая создавала исследуемые трехмерные окружения на основе текстовых или изображенческих подсказок.

Компания утверждает, что пользователи могли проходить через эти миры без ограничений по времени или смещения сцен, и окружающая среда оставалась стабильной, а не изменялась или разрушалась.

“Мрамор - это только наш первый шаг к созданию действительно пространственно интеллектуальной модели мира,” написал Ли. “По мере ускорения прогресса исследователи, инженеры, пользователи и бизнес-лидеры начинают осознавать его необычайный потенциал. Следующее поколение моделей мира позволит машинам достичь пространственного интеллекта на совершенно новом уровне - достижение, которое откроет основные возможности, которые до сих пор в значительной степени отсутствуют в современных AI-системах.”

Ли сказал, что примеры использования мировых моделей включают поддержку различных приложений, потому что они дают ИИ внутреннее понимание того, как ведут себя окружающие среды.

Создатели могут использовать их для изучения сцен в реальном времени, роботы могут полагаться на них для навигации и более безопасного обращения с объектами, а исследователи в области науки и здравоохранения могут проводить пространственные симуляции или улучшать визуализацию и автоматизацию лабораторий.

Ли связал исследования пространственного интеллекта с ранними биологическими исследованиями, отметив, что люди научились воспринимать и действовать задолго до того, как они развили язык.

“Долго до появления письменного языка люди рассказывали истории—рисовали их на стенах пещер, передавали через поколения, строили целые культуры на общих нарративах,” написала она. “Истории — это то, как мы осознаем мир, соединяемся через расстояния и время, исследуем, что значит быть человеком, и, что наиболее важно, находим смысл в жизни и любви внутри себя.”

Ли сказал, что ИИ нуждается в таком же основании, чтобы функционировать в физическом мире, и утверждал, что его роль должна заключаться в поддержке людей, а не в их замене. Тем не менее, прогресс будет зависеть от моделей, которые понимают, как работает мир, а не только описывают его.

“Следующий рубеж ИИ — пространственный интеллект, технология, которая превратит зрение в рассуждение, восприятие в действие и воображение в создание,” сказал Ли.