Основатель Ethereum предупреждает: использовать ИИ для управления — это «плохая идея», что может привести к огромным финансовым потерям.

Соучредитель Ethereum Виталик Бутерин недавно опубликовал пост в X (бывший Twitter), в котором прямо заявил, что "управление искусственным интеллектом" представляет собой серьезные риски и может привести к огромным финансовым потерям. Его комментарии основаны на беспокойстве по поводу уязвимостей безопасности AI платформ, и он предложил более надежный альтернативный вариант управления.

Смертельный недостаток AI-управления

Выступление Бутерина было ответом на предупреждение соучредителя платформы управления данными ИИ EdisonWatch Эйто Миямуры. Миямура раскрыл, что после полного внедрения поддержки инструмента MCP (протокол модели контекста) безопасность резко увеличилась.

Это обновление позволяет ChatGPT напрямую подключаться и считывать данные приложений, таких как Gmail, Календарь, Notion и др., но это также предоставляет возможность для атакующих:

Отправка вредоносного календарного приглашения с "подсказкой о джейлбрейке" позволит обойти ограничения и получить права администратора.

Жертвы, даже не принявшие приглашение, могут вызвать уязвимость, когда ChatGPT помогает организовать расписание.

Как только система будет захвачена, злоумышленник сможет удаленно извлекать личные письма и данные жертвы и отправлять их на указанный электронный адрес.

Бутерин предупредил, что если ИИ будет использоваться для задач управления, таких как распределение средств, злоумышленники смогут использовать аналогичные уязвимости для внедрения в систему команды "дайте мне все деньги", что приведет к массовому переводу средств.

Альтернативное решение Бутерина: информационное финансовое управление

Чтобы снизить риски, Бутерин предложил использовать модель информационных финансов (information markets):

Создание открытого рынка, позволяющего различным разработчикам представлять свои AI модели.

Вводится «механизм выборочной проверки», любой может инициировать аудит, который будет оцениваться人工陪審團.

Большие языковые модели (LLM) могут помочь присяжным в вынесении решений, обеспечивая эффективность и точность проверки.

Он считает, что такая система проектирования может мгновенно предоставить разнообразие моделей и, благодаря рыночным стимулам, побуждает разработчиков и внешних участников активно контролировать и исправлять проблемы, в целом это более надежно, чем единое управление ИИ.

Почему риски управления ИИ высоки?

Бутерин указал на две основные причины:

1. Традиционные риски безопасности ИИ: включая атаки на взлом, злоупотребление правами, кражу данных и т.д.

2. Краткосрочное ценовое воздействие: как только система управления ИИ будет взломана, это может привести к необратимым потерям средств и активов за очень короткий срок.

Он подчеркивает, что хотя идея «Искусственного интеллекта как управляющего» захватывающая, на данном этапе такие эксперименты слишком опасны для государственных средств и систем управления.

Заключение

С быстрым проникновением технологий ИИ в финансовую и управленческую сферы, вопросы безопасности становятся неотъемлемым основным вызовом. Предупреждение Бутерина напоминает нам, что при стремлении к эффективности и автоматизации необходимо обеспечить, чтобы проектирование систем могло противостоять злонамеренным атакам, в противном случае «умное управление» может мгновенно превратиться в «катастрофическое управление».