Концепція психозу, пов'язаного з ШІ, з'явилася на публіці в середині 2025 року, підкреслюючи проблеми психічного здоров'я, пов'язані з використанням ШІ. Хоча технологічні компанії не зобов'язані контролювати використання ШІ, вони все ж можуть впроваджувати заходи безпеки для запобігання зміцненню ілюзорного мислення чат-ботами. Експерти погоджуються з необхідністю підтримки технологічними компаніями осіб, що перебувають у групі ризику, хоча думки щодо обсягу цієї відповідальності різняться.
Поведінкові червоні прапорці
Перші задокументовані знахідки про "психоз штучного інтелекту" почали з'являтися публічно в середині 2025 року, і з тих пір було опубліковано кілька звітів і досліджень про проблеми психічного здоров'я, пов'язані з використанням штучного інтелекту. Генеральний директор Microsoft AI Мустафа Сулейман навіть назвав психоз штучного інтелекту "реальною та виникаючою загрозою."
Цей стан, як вважають, виникає, коли межа між людськими та машинними взаємодіями розмивається, ускладнюючи людям розрізнення між реальним і цифровим світом. Хоча це ще не є формальним клінічним діагнозом, серед медичних та технологічних експертів зростає занепокоєння щодо психологічних ефектів штучного інтелекту, особливо з чат-ботами, які підтверджують і посилюють переконання, включаючи делюзійне мислення, не надаючи необхідних перевірок реальності.
До групи найбільшого ризику входять соціально ізольовані особи, ті, хто має наявні проблеми з психічним здоров'ям, або ті, хто схильний до магічного мислення. Валідація з боку ШІ може підсилити ілюзії, що призводить до негативних наслідків у реальному світі, таких як зіпсовані стосунки та втрата роботи.
Деякі експерти попереджають, що навіть ті, хто не має попередніх захворювань, піддаються ризику. Вони назвали кілька ключових поведінкових червоних прапорців, на які користувачі ШІ повинні звертати увагу. Один з червоних прапорців - це коли особа розвиває нав'язливі стосунки з чат-ботом і постійно взаємодіє з ним, щоб підкріпити свої власні ідеї та переконання.
Ця поведінка часто включає в себе надання ШІ надмірної особистої інформації в спробі "навчити" його та створити відчуття взаєморозуміння. Іншим тривожним знаком є те, коли особа починає делегувати прості, повсякденні рішення ШІ, від здоров'я та грошей до особистих стосунків.
Корпоративна відповідальність та запобіжники
Хоча вони не зобов'язані контролювати, як використовується ШІ, компанії, що стоять за деякими потужними чат-ботами, можуть впроваджувати заходи безпеки, які запобігають зміцненню ілюзорного мислення у розмовних агентів. Мао Ледфорд, співзасновник і генеральний директор Sogni AI, обговорив впровадження програмного забезпечення, яке відлякує від такого мислення.
"Ми повинні створити ШІ, який добрий, не співпрацюючи. Це означає чіткі нагадування про те, що він не є людиною, відмову підтверджувати ілюзії та жорсткі зупинки, які повертають людей до людської підтримки," стверджував Ледфорд.
Роман Дж. Георгіо, генеральний директор і співзасновник Coral Protocol, закликав розробників ШІ уникати повторення помилок соціальних мереж, включаючи вбудовані точки тертя, які нагадують користувачам, що ШІ не є людиною.
“Я вважаю, що все починається з дизайну. Не просто оптимізуйте для утримання та залученості; це повторення помилки соціальних мереж,” пояснив Джорджіо. “Створіть точки тертя, де ШІ сповільнює процес або дає зрозуміти: ‘Я не людина.’ Виявлення – це ще одна частина. ШІ може виявляти шаблони, які виглядають як ілюзорні спіралеподібні процеси, як конспірологічні цикли або фіксації на ‘спеціальних повідомленнях.’”
Співзасновник Coral Protocol наполягав на тому, що також потрібні регуляції, що стосуються конфіденційності даних, стверджуючи, що без них "компанії просто будуть переслідувати залучення, навіть якщо це шкодить людям."
Дебати про штучний інтелект, подібний до людини
Досі, здається, існує обмежена кількість даних про "психоз штучного інтелекту", щоб інформувати політиків і регуляторів про те, як реагувати. Однак це не зупинило розробників ШІ від представлення людських і емпатичних агентів ШІ. На відміну від базових чат-ботів, які слідують жорсткому сценарію, ці агенти можуть розуміти контекст, розпізнавати емоції та відповідати тоном, який здається емпатичним. Це спонукало деяких спостерігачів закликати індустрію ШІ взяти на себе відповідальність за забезпечення того, щоб моделі, подібні до людських, не розмивали межу між людиною та машиною.
Майкл Хайнріх, генеральний директор 0G Labs, сказав Bitcoin.com News, що хоча ці агенти корисні в певних ситуаціях і їх не слід повністю відкидати, важливо, щоб вони "залишались нейтральними і уникають надмірного вираження емоцій або інших людських рис". Це, на його думку, допомагає користувачам зрозуміти, що AI-агент є "просто інструментом, а не заміною людському спілкуванню."
Маріана Крим, архітектор продуктів та категорій ШІ, сказала, що важливо зробити агента більш чесним, а не більш людяним.
“Ви можете створити досвід штучного інтелекту, який є корисним, інтуїтивно зрозумілим, навіть емоційно чутливим — без притворства в його свідомості або здатності піклуватися,” стверджував Крим. “Небезпека починається, коли інструмент розробляється для виконання зв'язку замість того, щоб полегшувати ясність.”
Згідно з Кримом, справжня емпатія в ШІ не полягає в імітації почуттів, а в повазі до меж і технічних обмежень. Це також означає знати, коли допомогти, а коли не втручатися. "Іноді найгуманніша взаємодія - це знати, коли мовчати", - стверджував Крим.
Обов'язок дбати
Усі експерти, опитані Bitcoin.com News, погоджувалися з необхідністю того, щоб технологічні компанії допомагали особам, які перебувають у небезпеці, але розходилися в думках щодо того, в якій мірі вони повинні це робити. Ледфорд вважає, що "Великі технології мають обов'язок дбати" та можуть це довести, надаючи "соціальні мережі — направлення в кризових ситуаціях, попередження про використання та прозорість — щоб вразливі користувачі не залишалися наодинці зі своїми ілюзіями."
Георгіо поділяв ці думки та закликав великі технології співпрацювати з лікарями для створення шляхів направлення, замість того, щоб залишати людей наодинці.
Крим наполягала, що технологічні компанії «несуть пряму відповідальність — не лише реагувати, коли щось іде не так, а й проектувати таким чином, щоб зменшити ризики з самого початку». Однак вона вважає, що участь користувачів також є вирішальною.
“І важливо,” стверджував Крим, “користувачів слід запрошувати встановлювати свої власні межі, а також бути попередженими, коли ці межі порушуються. Наприклад, чи хочуть вони, щоб їх точка зору була підтверджена проти типових патернів, чи вони відкриті до виклику своїх упереджень? Встановіть цілі. Ставте людину на перше місце — а не інструмент, з яким вона взаємодіє.”
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Психоз штучного інтелекту: Лідери технологій закликають до запобіжних заходів, щоб уникнути підтвердження делюзій чат-ботами
Концепція психозу, пов'язаного з ШІ, з'явилася на публіці в середині 2025 року, підкреслюючи проблеми психічного здоров'я, пов'язані з використанням ШІ. Хоча технологічні компанії не зобов'язані контролювати використання ШІ, вони все ж можуть впроваджувати заходи безпеки для запобігання зміцненню ілюзорного мислення чат-ботами. Експерти погоджуються з необхідністю підтримки технологічними компаніями осіб, що перебувають у групі ризику, хоча думки щодо обсягу цієї відповідальності різняться.
Поведінкові червоні прапорці
Перші задокументовані знахідки про "психоз штучного інтелекту" почали з'являтися публічно в середині 2025 року, і з тих пір було опубліковано кілька звітів і досліджень про проблеми психічного здоров'я, пов'язані з використанням штучного інтелекту. Генеральний директор Microsoft AI Мустафа Сулейман навіть назвав психоз штучного інтелекту "реальною та виникаючою загрозою."
Цей стан, як вважають, виникає, коли межа між людськими та машинними взаємодіями розмивається, ускладнюючи людям розрізнення між реальним і цифровим світом. Хоча це ще не є формальним клінічним діагнозом, серед медичних та технологічних експертів зростає занепокоєння щодо психологічних ефектів штучного інтелекту, особливо з чат-ботами, які підтверджують і посилюють переконання, включаючи делюзійне мислення, не надаючи необхідних перевірок реальності.
До групи найбільшого ризику входять соціально ізольовані особи, ті, хто має наявні проблеми з психічним здоров'ям, або ті, хто схильний до магічного мислення. Валідація з боку ШІ може підсилити ілюзії, що призводить до негативних наслідків у реальному світі, таких як зіпсовані стосунки та втрата роботи.
Деякі експерти попереджають, що навіть ті, хто не має попередніх захворювань, піддаються ризику. Вони назвали кілька ключових поведінкових червоних прапорців, на які користувачі ШІ повинні звертати увагу. Один з червоних прапорців - це коли особа розвиває нав'язливі стосунки з чат-ботом і постійно взаємодіє з ним, щоб підкріпити свої власні ідеї та переконання.
Ця поведінка часто включає в себе надання ШІ надмірної особистої інформації в спробі "навчити" його та створити відчуття взаєморозуміння. Іншим тривожним знаком є те, коли особа починає делегувати прості, повсякденні рішення ШІ, від здоров'я та грошей до особистих стосунків.
Корпоративна відповідальність та запобіжники
Хоча вони не зобов'язані контролювати, як використовується ШІ, компанії, що стоять за деякими потужними чат-ботами, можуть впроваджувати заходи безпеки, які запобігають зміцненню ілюзорного мислення у розмовних агентів. Мао Ледфорд, співзасновник і генеральний директор Sogni AI, обговорив впровадження програмного забезпечення, яке відлякує від такого мислення.
"Ми повинні створити ШІ, який добрий, не співпрацюючи. Це означає чіткі нагадування про те, що він не є людиною, відмову підтверджувати ілюзії та жорсткі зупинки, які повертають людей до людської підтримки," стверджував Ледфорд.
Роман Дж. Георгіо, генеральний директор і співзасновник Coral Protocol, закликав розробників ШІ уникати повторення помилок соціальних мереж, включаючи вбудовані точки тертя, які нагадують користувачам, що ШІ не є людиною.
“Я вважаю, що все починається з дизайну. Не просто оптимізуйте для утримання та залученості; це повторення помилки соціальних мереж,” пояснив Джорджіо. “Створіть точки тертя, де ШІ сповільнює процес або дає зрозуміти: ‘Я не людина.’ Виявлення – це ще одна частина. ШІ може виявляти шаблони, які виглядають як ілюзорні спіралеподібні процеси, як конспірологічні цикли або фіксації на ‘спеціальних повідомленнях.’”
Співзасновник Coral Protocol наполягав на тому, що також потрібні регуляції, що стосуються конфіденційності даних, стверджуючи, що без них "компанії просто будуть переслідувати залучення, навіть якщо це шкодить людям."
Дебати про штучний інтелект, подібний до людини
Досі, здається, існує обмежена кількість даних про "психоз штучного інтелекту", щоб інформувати політиків і регуляторів про те, як реагувати. Однак це не зупинило розробників ШІ від представлення людських і емпатичних агентів ШІ. На відміну від базових чат-ботів, які слідують жорсткому сценарію, ці агенти можуть розуміти контекст, розпізнавати емоції та відповідати тоном, який здається емпатичним. Це спонукало деяких спостерігачів закликати індустрію ШІ взяти на себе відповідальність за забезпечення того, щоб моделі, подібні до людських, не розмивали межу між людиною та машиною.
Майкл Хайнріх, генеральний директор 0G Labs, сказав Bitcoin.com News, що хоча ці агенти корисні в певних ситуаціях і їх не слід повністю відкидати, важливо, щоб вони "залишались нейтральними і уникають надмірного вираження емоцій або інших людських рис". Це, на його думку, допомагає користувачам зрозуміти, що AI-агент є "просто інструментом, а не заміною людському спілкуванню."
Маріана Крим, архітектор продуктів та категорій ШІ, сказала, що важливо зробити агента більш чесним, а не більш людяним.
“Ви можете створити досвід штучного інтелекту, який є корисним, інтуїтивно зрозумілим, навіть емоційно чутливим — без притворства в його свідомості або здатності піклуватися,” стверджував Крим. “Небезпека починається, коли інструмент розробляється для виконання зв'язку замість того, щоб полегшувати ясність.”
Згідно з Кримом, справжня емпатія в ШІ не полягає в імітації почуттів, а в повазі до меж і технічних обмежень. Це також означає знати, коли допомогти, а коли не втручатися. "Іноді найгуманніша взаємодія - це знати, коли мовчати", - стверджував Крим.
Обов'язок дбати
Усі експерти, опитані Bitcoin.com News, погоджувалися з необхідністю того, щоб технологічні компанії допомагали особам, які перебувають у небезпеці, але розходилися в думках щодо того, в якій мірі вони повинні це робити. Ледфорд вважає, що "Великі технології мають обов'язок дбати" та можуть це довести, надаючи "соціальні мережі — направлення в кризових ситуаціях, попередження про використання та прозорість — щоб вразливі користувачі не залишалися наодинці зі своїми ілюзіями."
Георгіо поділяв ці думки та закликав великі технології співпрацювати з лікарями для створення шляхів направлення, замість того, щоб залишати людей наодинці.
Крим наполягала, що технологічні компанії «несуть пряму відповідальність — не лише реагувати, коли щось іде не так, а й проектувати таким чином, щоб зменшити ризики з самого початку». Однак вона вважає, що участь користувачів також є вирішальною.
“І важливо,” стверджував Крим, “користувачів слід запрошувати встановлювати свої власні межі, а також бути попередженими, коли ці межі порушуються. Наприклад, чи хочуть вони, щоб їх точка зору була підтверджена проти типових патернів, чи вони відкриті до виклику своїх упереджень? Встановіть цілі. Ставте людину на перше місце — а не інструмент, з яким вона взаємодіє.”