Враження після перегляду AI кінофестивалю в Токіо, Японія: що таке ефекти, яких не може досягти ChatGPT Sora?

Японський фестиваль AI-фільмів (AIFJ) із розмахом відбувся в Токіо, у Tokyo Innovation Base (TIB), пропонуючи глядачам унікальний досвід, спостерігаючи за інноваційною енергією, яку викликає злиття штучного інтелекту та кіномистецтва. Цього року на фестивалі було показано понад 70 короткометражних фільмів, створених за допомогою технологій AI, з різноманітними жанрами, які охоплюють художнє кіно, анімацію, документалістику та експериментальне кіно. Тут представлений один з творів, що отримав офіційне спеціальне представлення на фестивалі - To The Bones. Цю короткометражку також можна побачити на YouTube, де режисер Клаудіо Са детально пояснює на своєму каналі, як він за допомогою таких AI-інструментів, як ChatGPT Sora, Midjourney та Runway, поєднував традиційні Photoshop та Premiere, щоб створити 3D-анімацію.

Про нас до кісток

Режисер “To The Bones” - Клаудіо Са, який є засновником і директором анімації Pistachio Studios, має понад десять років досвіду у виробництві анімації. Цей короткометражний фільм є його спробою поєднати ChatGPT Sora та інші інструменти ШІ з традиційними програмами, такими як Photoshop, Premiere, для створення анімаційного фільму.

До кісток Опис історії

Втомлений мандрівник зустрічає маленького гнома, який дарує йому яскраво-червоний блискучий дорогоцінний камінь. Після того, як він носить цей камінь, у нього виникає безмежне бажання, і врешті-решт він платить за це ціну. Цей фільм натхненний казкою Джордана Пітерсона.

До Кісток 30 днів виклику з виробництва АІ анімації

Режисер “To The Bones” поставив перед собою завдання за 30 днів створити 3D-анімаційний фільм з дуже обмеженим бюджетом, використовуючи інструменти штучного інтелекту. Режисер не хотів, щоб фільм виглядав як штучно згенерований, сподіваючись за допомогою початкових ескізів сюжетної дошки та свого стилю кіновиробництва створити більш ручну, зв'язну та орієнтовану на сюжет роботу. Цей 6-хвилинний короткометражний фільм використовує інструменти, включаючи нову платформу OpenAI Sora ChatGPT Open Art, Runway, а також традиційні програми, такі як Photoshop, Premiere Pro і After Effects.

ChatGPT + інші інструменти штучного інтелекту для створення анімаційних фільмів

По-перше, Клаудіо спочатку намалював ескіз постаті героя у Photoshop, використовуючи Midjourney для генерації фону та одягу. Клаудіо завантажив малюнок героя та ескіз історії в ChatGPT, давши штучному інтелекту кілька текстових підказок (prompt), щоб деталізація сюжету стала більш конкретною. Клаудіо виявив, що історії не вистачає напруги, тому додав інших персонажів, щоб дати можливість ChatGPT спростити сценарій та додати більше сюжетних ліній.

Функція ChatGPT Sora 360 дозволяє персонажам природно повертатися.

Включивши функцію зеленого екрану Sora, можна змінювати різні фони. Клаудіо використовує функцію обертання на 360 градусів, щоб персонажі могли повертатися. Якщо персонажі в анімаційному фільмі не можуть природно рухатися, це стає дуже незграбним і дивним. На багатьох фільмах на фестивалі не вдалося подолати цю проблему, але Клаудіо, спираючись на багаторічний досвід у виробництві анімації, дозволяє ШІ виконати частину роботи. ChatGPT перетворює чернетку сюжету на сценарій, а ElevenLabs допомагає озвучити персонажів, після чого якомога більше живих кадрів додається, щоб сюжет та зображення були більш природними та зворушливими.

Що не може зробити OpenAI ChatGPT Sora

Sora можна розуміти як висококласний кухонний прилад, подібний до скороварки або духовки, готова їжа, що потрапляє туди після приготування, швидше перетворюється на смачну страву. Успіх To The Bones полягає в тому, що «попередня робота» та «постобробка» виконуються за допомогою штучного інтелекту, OpenArt генерує сюжетні лінії, Claudio повертає сцени в Photoshop для обробки кожного кадру. Він особливо рекомендує Runway та OpenArt для створення чернеток та зображень, одночасно навчаючи OpenAI генерувати більше зображень. Однак найбільшим викликом у створенні анімації за допомогою штучного інтелекту є «узгодженість наративу». Анімаційний фільм з сюжетом повинен пов'язувати історію та сцени одна за одною. Створити анімаційний фільм не важко, але щоб розповісти історію зворушливо, потрібно покладатися на сильні візуальні ефекти та несподівані сюжетні повороти. У цей момент лише люди з досвідом у кіновиробництві та сценаристи можуть вирішити ці технічні труднощі. Багато сюжетних поворотів ще не можуть бути передбачені сучасним ШІ. І тут раптом згадую, що Японія нещодавно оголосила про розкриття справи, що тривала понад двадцять років. Японська домогосподарка була вбита у своєму домі, поліція не мала жодних підказок щодо мотивації злочину та вбивці. Навіть із ДНК-тестуванням не вдалося знайти вбивцю. Врешті-решт, мотивація злочину полягала лише в тому, що вбивця просто заздрив цій жінці, яка здобула симпатії чоловіка, якого він бажав. Це і є складність роботи людського мозку та мистецтва ( злочину ), що не може бути повністю замінена штучним інтелектом. Щоб мати зворотний сюжет, який також буде логічним, все ще потрібні людський мозок та логіка мислення, і машини ніколи не зможуть повністю передбачити це. Сценаристи Голлівуду поки що мають роботу.

Джерела:

До кісток

Я зняв фільм з AI. Ось що сталося.

To The Bones використовує інструменти:

ChatGPT Sora від OpenAI

AI асистент Kling

Сценарій Runway

AI генероване озвучення Elevenlabs

Ця стаття є відгуком про фестиваль AI-фільмів у Токіо, Японія. Що таке ефекти, яких не може досягти ChatGPT Sora? Вперше з'явилося в Chain News ABMedia.