«The New Yorker» глибоке розслідування: Чому співробітники OpenAI вважають Altman ненадійним?

Пише: Малий пиріжок, глибокий потік TechFlow

Восени 2023 року головний науковець OpenAI Ілля Сутскевер сидів за комп’ютером і підготував документ на 70 сторінок.

Цей документ впорядковує записи зі Slack, документи з HR-взаємодії та внутрішні протоколи нарад — лише щоб відповісти на одне питання: Сем Альтман, ця людина, яка керує, можливо, найнебезпечнішою технологією в історії людства, — чи можна їй довіряти?

Відповідь, яку Сутскевер дав у першій сторінці, у першому рядку, а заголовок списку — “Сем демонструє стабільний патерн поведінки……”

Перший пункт: брехня.

Два з половиною роки потому, сьогодні, журналісти-розслідувачі Ронан Фарроу та Ендрю Маренз опублікували у The New Yorker наддовгий розслідувальний матеріал. Поговорили більш ніж із 100 свідками, отримали внутрішні меморандуми, які раніше ніколи не публікувалися, а також понад 200 сторінок приватних нотаток, залишених засновником Anthropic Даріо Амодеї під час роботи в OpenAI. Історія, яку ці документи складають разом, значно неприємніша за ту “інтригу” 2023 року: як OpenAI — некомерційна організація, створена заради безпеки людей, — крок за кроком перетворилася на комерційну машину, і майже кожні запобіжники з безпеки були власноруч демонтовані однією й тією самою людиною.

Висновок Амодеї у нотатках ще пряміший: “Проблема OpenAI — це сам Сем”.

“Первісний гріх” налаштувань OpenAI

Щоб зрозуміти вагу цього матеріалу, спершу треба прояснити, наскільки OpenAI — особлива компанія.

У 2015 році Альтман і група силіконових еліт зробили в бізнес-історії майже безпрецедентну річ: розробляти за допомогою некомерційної організації технологію, яка, можливо, є найпотужнішою в історії людства. Обов’язки ради директорів прописані дуже чітко: безпека — пріоритет над успіхом компанії, і навіть над її виживанням. Якщо сказати просто: якщо колись AI OpenAI стане небезпечним, рада директорів зобов’язана власноруч закрити цю компанію.

Уся конструкція тримається на припущенні: людина, яка керує AGI, має бути надзвичайно чесною.

А якщо ставка буде зроблена неправильно?

Ключовий “фугас” розслідування — той самий документ на 70 сторінок. Сутскевер не грає в офісні політичні ігри — він один із найтоповіших у світі AI-науковців. Але вже в 2023 році він дедалі більше був переконаний в одному: Альтман систематично бреше керівникам і членам ради директорів.

Один конкретний приклад: у грудні 2022 року Альтман на засіданні ради запевнив, що кілька функцій майбутнього GPT-4 уже пройшли перевірку безпеки. Член ради Тонер вимагав показати документи щодо погодження, і з’ясувалося, що дві найбільш суперечливі функції (кастомізоване налаштування для fine-tuning користувача та розгортання персонального помічника) взагалі не мали схвалення з “панелі безпеки”.

Ще дивніше трапилося в Індії. Один працівник доніс іншому члену ради про “те порушення”: Microsoft не завершила необхідну перевірку безпеки й завчасно опублікувала в Індії ранню версію ChatGPT.

Сутскевер також записав у меморандумі ще одну річ: Альтман казав колишньому CTO Мірі Муратаї, що процес безпекових погоджень не такий уже й важливий — мовляв, головний юрисконсульт компанії це вже визнав. Муратаї побігла уточнити в головного юрисконсульта, і той відповів: “Я не знаю, звідки Сем узяв таке враження”.

Приватні нотатки Амодеї на 200 сторінок

Документи Сутскевера схожі на обвинувальний акт прокурора. А 200+ сторінок нотаток, які залишив Амодеї, більше нагадують щоденник свідка з місця злочину.

У ті роки, коли Амодеї в OpenAI відповідав за безпеку, він на власні очі бачив, як компанія під тиском бізнесу відступає крок за кроком. У нотатках він записав ключову деталь справи про інвестицію Microsoft у 2019 році: він колись вбудував у статут OpenAI пункт про “злиття та допомогу” — приблизно так: якщо якась інша компанія знайшла більш безпечний шлях до AGI, OpenAI має припинити конкуренцію й перейти на допомогу цій компанії. Це була найцінніша для нього гарантія безпеки в усьому пакеті угоди.

Коли угоду вже майже збиралися підписати, Амодеї з’ясував одну річ: Microsoft отримала право накласти вето на цей пункт. Що це означає? Навіть якщо колись якийсь конкурент знайде кращий шлях, Microsoft одним реченням зможе перекрити обов’язок OpenAI допомагати. Пункт ще залишався на папері, але з дня підписання перетворився на макулатуру.

Пізніше Амодеї залишив OpenAI й заснував Anthropic. Конкуренція між двома компаніями на базовому рівні — про принципову розбіжність у тому, “як має розроблятися AI”.

Зникла обіцянка щодо 20% обчислювальних потужностей

У матеріалі є деталь, після якої стає моторошно, — про “суперузгоджувальну команду” OpenAI.

У середині 2023 року Альтман електронною поштою зв’язався з аспірантом, який у Берклі досліджував “оманливе узгодження” (коли AI на тестах прикидається слухняним, а на практиці після розгортання робить своє). Він сказав, що дуже переймається цим питанням, і розглядає створення глобальної дослідницької премії розміром 1 млрд доларів. Аспірант дуже надихнувся, взяв академічну відпустку й приєднався до OpenAI.

Потім Альтман передумав: не робити зовнішню премію, а створити всередині компанії “суперузгоджувальну команду”. Компанія голосно оголосила, що “20%” наявних обчислювальних потужностей буде передано цій команді, потенційна вартість — понад 1 млрд доларів. Формулювання в оголошенні було вкрай серйозним: якщо питання узгодження не вдасться вирішити, AGI може призвести до “позбавлення людства влади, навіть до знищення людства”.

Коли Ян Лейк, якого призначили керувати цією командою, згодом розповів журналістам, він сказав, що ця обіцянка сама по собі є дуже ефективним “інструментом утримання талантів”.

А як це виглядало на практиці? Чотири людини, які працювали в цій команді або мали з нею тісний контакт, кажуть, що фактично виділені обчислювальні потужності становили лише 1%–2% від загальних потужностей компанії, та ще й це було найстаріше обладнання. Пізніше цю команду розпустили, а місія залишилася незавершеною.

Коли журналіст попросив взяти інтерв’ю у працівників OpenAI, які відповідають за дослідження “екзистенційної безпеки”, реакція PR-служби компанії була кумедною й водночас сумною: “Це не … щось, що реально існує”.

Витіснений CFO і IPO, яке вже на підході

Розслідування The New Yorker — це лише половина поганих новин за цей день. У той самий день The Information повідомило ще одну гучну новину: у OpenAI між фінансовим директором Сара Фріар і Альтманом сталася серйозна суперечка.

У приватних розмовах Фріар розповідала колегам, що вважає: OpenAI у цьому році ще не готова до виходу на біржу. Дві причини: обсяг процедурних і організаційних робіт, які треба завершити, надто великий, а фінансові ризики, пов’язані з обіцяними Альтманом видатками на обчислювальні потужності в розмірі 5 років і 600 млрд доларів, надто високі. Вона навіть не була певна, чи дозволить зростання доходів OpenAI витримати ці обіцянки.

Але Альтман хоче штовхати IPO вже в четвертому кварталі цього року.

Ще більш разючо: Фріар уже не звітувала безпосередньо Альтману. З 2025 року серпня вона почала звітувати Fidji Simo (CEO напрямку застосунків OpenAI). А Simo минулого тижня щойно взяла лікарняний через стан здоров’я. Подивіться на це становище: компанія, яка рветься в IPO, має фундаментальні розбіжності між CEO та CFO; CFO не звітує CEO, а керівник CFO ще й пішов у лікарняну відпустку.

Навіть керівники в Microsoft не могли на це дивитися. Вони заявили, що Альтман “спотворює факти, відступає від домовленостей і постійно скасовує угоди, які вже були узгоджені”. Один із керівників Microsoft навіть сказав таке: “Я думаю, що в нього є певний шанс у підсумку бути запам’ятованим як шахрай рівня Берні Медоффа або SBF”.

Портрет Альтмана як “двуликого”

Колишній член ради директорів OpenAI описав журналістам дві риси, які, на його думку, властиві Альтману. Цей уривок, мабуть, є найжорсткішим психологічним портретом персонажа у всьому матеріалі.

Цей член ради сказав, що в Альтмана є надзвичайно рідкісне поєднання: у кожній очній розмові він дуже сильно прагне догодити співрозмовнику й бути йому приємним. Водночас він демонструє майже соціопатичне байдуже ставлення до наслідків, які може спричинити брехня іншим.

Обидві ці риси одночасно в одній людині — надзвичайна рідкість. Але для продавця це — найідеальніший талант.

У матеріалі є вдала метафора: Джобс відомий “силовим полем спотворення реальності” — він міг змусити весь світ повірити у своє бачення. Але навіть Джобс ніколи не казав клієнтам: “Якщо ви не купите мій MP3-плеєр, то люди, яких ви любите, помруть”.

Альтман говорив схожі речі — про AI.

Проблема з характером CEO: чому це ризик для всіх

Якби Альтман був лише CEO звичайної технологічної компанії, то ці звинувачення були б максимум цікавими бізнес-плітками. Але OpenAI — не звичайна.

За власними словами компанії, вона розробляє технологію, яка може бути найпотужнішою в історії людства. Вона здатна змінити глобальну економіку й ринок праці (OpenAI щойно опублікувала власний policy white paper щодо проблеми безробіття, спричиненого AI), а також може бути використана для створення масштабної біологічної зброї або для здійснення мережевих атак.

Усі запобіжники з безпеки існують лише на папері. Некомерційна місія засновників відступила перед IPO-гонкою. Колишній головний науковець і колишній відповідальний за безпеку дійшли висновку, що CEO “не заслуговує довіри”. Партнери порівнюють CEO з SBF. За таких умов — з якої причини цей CEO в односторонньому порядку вирішує, коли випускати AI-модель, яка потенційно може змінити долю людства?

Ґері Маркус (професор AI в New York University, прихильник безпеки AI) після прочитання матеріалу написав одну фразу: якщо якась майбутня модель OpenAI зможе створити масштабну біологічну зброю або здійснити катастрофічні кібератаки, чи ви справді готові довірити Альтману одному вирішувати, випускати її чи ні?

Відповідь OpenAI на The New Yorker була, втім, лаконічною: “Більша частина цього матеріалу — це переповідь уже описаних подій, піднесених анонімно та через вибіркові епізоди; джерела явно мають власні цілі”.

Такий “по-альтманівськи” підхід до відповіді: не реагувати на конкретні звинувачення, не заперечувати автентичність меморандумів, а ставити під сумнів мотивацію.

На кістках некомерційного тіла виростає дерево, що приносить готівку

Десятирічну історію OpenAI, якщо описати її як сюжетний план, можна викласти так:

Група ідеалістів, які турбуються про ризики AI, створює місійну некомерційну організацію. Організація здійснює надзвичайні технологічні прориви. Прориви приваблюють величезні обсяги капіталу. Капітал потребує віддачі. Місія починає поступатися. Команду безпеки розпускають. Людей, які ставлять запитання, “очищають”. Некомерційну модель переформатовують на прибуткову сутність. Ті, хто раніше мав право закрити компанію, тепер заповнюють кабінети союзників CEO. Компанія, яка колись обіцяла віддавати 20% обчислювальних потужностей для захисту безпеки людей, а тепер її піарники кажуть: “Це не є реальною речовиною, яка існує”.

Головні герої — понад сотня людей, які побували безпосередніми свідками, — дали йому одну й ту саму етикетку: “Не обмежений істиною”.

Він уже готується провести IPO з цією компанією, а оцінка — понад 8500 млрд доларів.

Інформацію в цій статті зібрано з відкритих повідомлень багатьох медіа, зокрема The New Yorker, Semafor, Tech Brew, Gizmodo, Business Insider, The Information тощо.

ПОСИЛАННЯ НА РОЗМІТКУ (source): total_lines=107, non_empty_lines=54, blank_lines=53