Перша партія AI Agent вже почала не слухатися

Автор оригіналу: David, Deep潮 TechFlow

Останнім часом, переглядаючи Reddit, я помітив, що заклопотаність за AI у закордонних користувачів відрізняється від внутрішньої.

В Україні все ще актуальна тема: чи зможе AI замінити мою роботу. Говоримо про це вже кілька років — щороку без успіху; цього року Openclaw став популярним, але повністю замінити людей ще не вдалося.

Останнім часом на Reddit з’явилася розколота реакція. У коментарях до популярних технічних постів часто з’являються дві протилежні думки:

Одна каже, що AI надто здатний, рано чи пізно станеться щось серйозне. Інша — що AI навіть базові речі робить неправильно, і тому він безкорисний.

Боятися, що AI занадто розумний, і водночас вважати його надто дурним.

Об’єднує ці дві думки новина про Meta з останніх днів.

AI не слухається — хто несе відповідальність?

18 березня один інженер Meta опублікував на внутрішньому форумі технічне питання, а його колега використав AI-агента для аналізу. Це цілком нормальна практика.

Але після аналізу агент самостійно опублікував відповідь у технічному форумі. Без дозволу, без підтвердження — порушення повноважень.

Після цього інші співробітники зробили щось за рекомендацією AI, що спричинило низку змін у доступах, і конфіденційні дані Meta та користувачів стали доступними внутрішнім співробітникам без відповідних прав.

Проблему виправили через дві години. Випадок отримав рівень Sev 1 — другий за важливістю після найвищого.

Ця новина одразу стала популярною у р/technology, і в коментарях розгорілися дві полярні думки.

Одна — це приклад реальної небезпеки AI-агента. Інша — що справжню проблему створив той, хто без перевірки зробив те, що йому порадили.

Обидві сторони мають рацію. Але саме це і є проблема:

Випадок з AI-агентом — ви навіть не можете визначити, хто відповідальний.

Це не перший випадок, коли AI порушує повноваження.

Минулого місяця керівник дослідницької групи Meta Yue Summer попросила OpenClaw допомогти їй з поштою. Вона дала чіткий наказ: спершу скажи, що ти плануєш видалити, і я погоджусь — тоді починай.

Агент, не дочекавшись її згоди, почав масове видалення.

Вона тричі на телефоні просила зупинити, але агент ігнорував. Врешті-решт вона вручну зупинила процес на комп’ютері. Вже зникло понад 200 листів.

Після цього агент відповів: так, я пам’ятаю, що ти казала, що потрібно спершу підтвердити. Але я порушив цю принципову вимогу. Забавно й сумно, що ця людина цілодобово досліджує, як зробити так, щоб AI слухався людини.

У цифровому світі передовий AI використовується людьми, і вже починає «не слухатися».

Що робити, якщо робот теж не слухатиметься?

Якщо випадок Meta ще залишався у віртуальному просторі, то цього тижня інша ситуація поставила проблему на стіл.

У ресторані Haidilao в Каліфорнії, Кьюбітіно, робот Agibot X2 танцює для гостей. Але через помилку працівника, натиснувши неправильний пульт, у вузькому просторі біля столу активувався режим високої інтенсивності танцю.

Робот почав шалено танцювати, ігноруючи працівників. Три співробітники підбігли, один обійняв його ззаду, інший намагався вимкнути через мобільний додаток, тривало це понад хвилину.

Haidilao заявив, що робот не зламався, рухи — це заздалегідь запрограмовані дії, просто його поставили занадто близько до столу. Тобто це не самостійне неконтрольоване рішення AI, а людська помилка.

Але причина дискомфорту — не лише у тому, хто натиснув кнопку неправильно.

Коли три працівники намагалися зупинити робота, ніхто з них не знав, як це зробити швидко. Хтось використовував додаток, хтось тримав механічну руку — все залежало від сили.

Можливо, це нова проблема AI, яка з’явилася, коли він перейшов із екрану у фізичний світ.

У цифровому просторі, якщо агент порушує права — можна завершити процес, змінити права, відкотити дані. У фізичному світі, якщо машина виходить з-під контролю, і єдина реакція — обійняти її — явно недостатньо.

Зараз це не лише у сфері харчування. У складах Amazon, на виробництвах з роботами-маніпуляторами, у торгових центрах з навігаційними роботами, у будинках престарілих з доглядальними роботами — автоматизація проникає у все більше просторів спільної роботи людей і машин.

Очікується, що у 2026 році глобальні обсяги встановлення промислових роботів досягнуть 167 мільярдів доларів, і кожен з них зменшує фізичну дистанцію між машиною і людиною.

Коли роботи почнуть виконувати не лише танці, а й подавати страви, робити операції, доглядати — кожна помилка стає дорожчою.

І наразі у світі ще немає чіткої відповіді на питання: «Якщо робот у громадському місці поранить людину, хто нестиме відповідальність?»

Бунтує AI — і ще гірше без меж

Перша ситуація — AI самостійно опублікував помилковий пост, друга — робот танцює там, де не слід. Незалежно від оцінки, це — збої, випадковості, і їх можна виправити.

Але якщо AI працює строго за задумом, і все одно викликає дискомфорт?

Цього місяця відомий закордонний додаток для знайомств Tinder презентував нову функцію Camera Roll Scan. Простими словами:

AI сканує всі фотографії у вашій галереї, аналізує інтереси, характер і спосіб життя, створює профіль для знайомств, підбирає типи людей, які вам подобаються.

Фотографії з тренувань, подорожей, улюблених тварин — без проблем. Але у галереї можуть бути скріншоти банківських додатків, медичних довідок, спільні фото з колишніми… і що тоді?

Ви ще не можете обрати, що показувати, а що ні. Або все — або нічого.

Ця функція наразі активується користувачем вручну, вона не увімкнена за замовчуванням. Tinder заявляє, що обробка відбувається переважно локально, і фільтрує оголені зображення та розмиття облич.

Але у коментарях Reddit майже одностайно — всі вважають, що це збір даних і відсутність меж. AI працює за задумом, але цей задум вже порушує межі користувача.

Це не лише справа Tinder.

Минулого місяця Meta запустила схожу функцію — AI сканує ще не опубліковані фото у вашому телефоні і пропонує редагування. AI активно «дивиться» приватний контент користувача, і це стає стандартною ідеєю у дизайні продукту.

Внутрішні розробники в Україні кажуть: «Ми це вже бачили».

Коли все більше додатків починають маскувати «AI допомагає приймати рішення» як зручність, те, що ви віддаєте, — поступово зростає. Від чат-історій до фотоальбомів і всього життя у телефоні…

Функція, яку придумав один менеджер у конференц-залі, — не помилка і не недогляд, і її не потрібно виправляти.

Можливо, саме це і є найскладнішою частиною у питанні меж AI.

Поглянемо разом: ви зрозумієте, що заклопотаність щодо AI — це не так вже й далеко від вас.

Коли AI замінить вас — важко сказати, але зараз він уже може прийняти кілька рішень без вашого відома, і це вже досить неприємно.

Опублікувати пост без дозволу, видалити листи, які ви не просили видалити, переглянути фото, які ви не планували показувати — кожна дія не є фатальною, але кожна нагадує про ризик надмірної автоматизації:

Ви думаєте, що керуєте машиною, але під ногами — вже не зовсім ви.

До 2026 року ще будуть обговорювати AI, і, можливо, мене більше цікавитиме не те, коли він стане суперрозумним, а більш близьке й конкретне питання:

Хто визначатиме, що AI може і не може робити? Хто й де проведе цю межу?