Обчислювальна потужність служби стала новою бізнес-моделлю, як перейти після буму "варіння еліксиру" великих моделей?

Нещодавно, використовуючи 40-річні дані про погоду в усьому світі, з 200 графічними процесорами для приблизно 2-місячного попереднього навчання, з'явилася велика модель погоди з мільярдними параметрами. Це досвід молодої людини, яка закінчила університет Цінхуа три роки тому, у тренуванні великої моделі.

З точки зору витрат, якщо врахувати вартість GPU 7,8 юанів за годину, вартість тренування цієї великої метеорологічної моделі може перевищити 2 мільйони юанів. А якщо тренувати загальну велику модель, витрати можуть зрости у сотні разів.

Дані показують, що в Китаї наразі вже є понад 100 моделей великого масштабу з 10 мільярдами параметрів. Проте, бурхливий розвиток великих моделей у галузі стикається з проблемою нестачі високопродуктивних GPU. Витрати на обчислювальну потужність залишаються високими, а нестача обчислювальної потужності та фінансування стали найбільш очевидною проблемою для галузі.

Нестача високоякісних GPU

"Дійсно, дуже не вистачає, але ми нічого не можемо вдіяти." Так відреагував один з топ-менеджерів великої компанії на проблему нестачі GPU.

Це, здається, стало визнаною проблемою в галузі. У пікові моменти ціна одного графічного процесора NVIDIA A100 сягала 200-300 тисяч юанів, а місячна орендна плата за один сервер A100 зросла до 50-70 тисяч юанів. Навіть так, висока ціна не завжди гарантує придбання чіпа, деякі постачальники обчислювальної потужності навіть стикалися з рідкісними випадками порушення угод з постачальниками.

Один з керівників у сфері хмарних обчислень також зазначив: "Обчислювальна потужність справді відчувається. Багато клієнтів хочуть ресурси висококласних GPU, але ми наразі не можемо повністю задовольнити широкий ринковий попит."

У короткостроковій перспективі дефіцит висококласних GPU важко вирішити в усій галузі. Хвиля великих моделей призвела до швидкого зростання попиту на обчислювальну потужність на ринку, але темпи зростання пропозиції значно відстають. Хоча в довгостроковій перспективі пропозиція обчислювальної потужності неминуче перейде з ринку продавців на ринок покупців, поки що невідомо, скільки часу триватиме цей процес.

Кожна компанія обмірковує, скільки GPU від Nvidia вона має, і на цій основі визначає свою частку на ринку. Джерела, які мають інформацію, наводять приклад: якщо в когось близько 10 тисяч карт, а загальна кількість на ринку становить 100 тисяч, тоді частка становитиме 10%. "До кінця року кількість може сягнути 40 тисяч, якщо загальна кількість на ринку становитиме 200 тисяч, тоді це може становити 20% ринкової частки."

З одного боку, неможливо купити GPU-карти, з іншого боку, поріг входження у навчання великих моделей не такий простий, як це рекламує галузь. Вартість навчання метеорологічної великої моделі, про яку згадувалося раніше, може перевищувати 2 мільйони юанів, але варто зазначити, що це модель вертикальної області, навчена на основі загальної великої моделі, з параметрами в мільйонах. Якщо потрібно навчити загальну велику модель масштабу в мільярди або більше, вартість може зрости в десятки, навіть сотні разів.

Директор однієї технологічної компанії розкрив: "Наразі найбільші інвестиції йдуть на навчання моделей, без десятків мільярдів капіталу важко продовжити розвивати великі моделі."

Підприємець так описує поточну конкурентну ситуацію з великими моделями: "Щоб бігти швидко, принаймні до вичерпання коштів, потрібно досягти результатів для отримання наступного раунду 'фінансування'. Якщо немає сотень мільярдів або тисяч мільярдів підтримки, цей шлях буде важко пройти."

У цій ситуації в галузі загалом вважається, що з конкурентною боротьбою на ринку великих моделей ринок також перейде від ейфорії до раціональності, а компанії будуть контролювати витрати та коригувати стратегію відповідно до змін у очікуваннях.

Активні заходи для подолання дефіциту обчислювальної потужності

Немає умов, треба створити умови - це, здається, менталітет більшості учасників великих моделей. Усі компанії шукають способи впоратися з реальними проблемами.

Через дефіцит високопродуктивних графічних процесорів (GPU) та те, що на китайському ринку доступні GPU не останнього покоління з зазвичай нижчою продуктивністю, підприємствам потрібно більше часу для навчання великих моделей. Ці компанії також шукають інноваційні способи для компенсування обчислювальної потужності.

Одним із способів є використання даних вищої якості для навчання, що підвищує ефективність навчання. Нещодавно опублікований галузевий звіт рекомендує впровадження ручної розмітки та підтвердження в аспекті якості даних, вибираючи певний відсоток з сирих даних для розмітки, щоб створити набір даних високої якості.

Окрім зниження витрат на великі моделі за допомогою якісних даних, підвищення можливостей інфраструктури та забезпечення стабільної роботи понад тисячу калорій протягом двох тижнів без збоїв є також технічним викликом і напрямком оптимізації.

Один з керівників компанії, що надає хмарні послуги, заявив: "Як постачальник хмарних послуг, ми допоможемо нашим клієнтам створити стабільну та надійну інфраструктуру. Оскільки стабільність GPU-серверів є відносно низькою, будь-який збій призведе до переривання навчання, що збільшує загальний час навчання. Кластери високопродуктивних обчислень можуть забезпечити клієнтів більш стабільними послугами, відносно скорочуючи час навчання та вирішуючи частину проблем із обчислювальною потужністю."

Одночасно, обчислювальна потужність карт також перевіряє технічні можливості постачальників послуг. Один з керівників рішень для Інтернету сказав: "Мати ресурси обчислювальної потужності карт - це лише одна сторона справи, як організувати розподіл карт, щоб вони дійсно використовувалися, є більш складною основною здатністю і інженерною здатністю. Розділити одну картку на кілька маленьких карт і реалізувати розподілене тонке управління може ще більше знизити витрати на обчислювальну потужність."

Мережа також впливає на швидкість і ефективність навчання великих моделей. Для навчання великих моделей часто потрібно тисячі графічних процесорів, що підключаються до сотень серверів GPU, тому вимоги до швидкості мережі є надзвичайно високими; мережеве перевантаження може серйозно вплинути на швидкість і ефективність навчання.

Деякі виробники обрали інший шлях, переходячи від хмарної архітектури до суперкомп'ютерної архітектури, що також стало способом зниження витрат. При задоволенні потреб користувачів для не високопродуктивних обчислювальних завдань та сценаріїв паралельних завдань ціна суперкомп'ютерного хмари становить приблизно половину вартості хмарного суперкомп'ютера, а завдяки оптимізації продуктивності можна підвищити використання ресурсів з 30% до 60%.

Крім того, деякі компанії вибирають використання вітчизняних платформ для навчання та інференсу великих моделей, щоб замінити дефіцитні GPU від NVIDIA. Один з керівників компанії заявив, що їхній спільний проект з Huawei - це інтегрований пристрій, який може проводити навчання та інференс на вітчизняній платформі, а продуктивність GPU від Huawei вже може конкурувати з NVIDIA.

Вищезгадані методи кожен є досить великим проектом, зазвичай підприємствам важко задовольнити потреби, будуючи власні дата-центри, багато алгоритмічних команд обирають підтримку від професійних постачальників обчислювальної потужності. Паралельне зберігання також є великою витратою та технічним викликом, крім того, потрібно враховувати витрати на електроенергію в зонах доступності IDC, витрати на програмні платформи, витрати на персонал та інші операційні витрати.

Тільки кластер GPU на рівні тисячі кілокалорій може реалізувати ефект масштабу, вибір постачальника обчислювальної потужності означає, що граничні витрати наближаються до нуля.

Один з академіків зазначив, що AIGC призвів до вибуху в індустрії штучного інтелекту, тоді як масштабне впровадження інтелектуальних технологій має типову проблему довгого хвоста. Відділи з потужними AI-можливостями, наукові установи та великі та середні підприємства складають лише близько 20% від основного попиту на обчислювальну потужність, ще 80% становлять малі та середні підприємства. Ці суб'єкти, обмежені масштабами та бюджетами, часто стикаються з труднощами у отриманні обчислювальної потужності або ж обмежені високими цінами, що ускладнює їм отримання вигоди в епоху штучного інтелекту.

Отже, для досягнення масштабного застосування розумних технологій, щоб індустрія штучного інтелекту була і "визнаною", і "виправданою", потрібна велика кількість дешевої та зручної для використання обчислювальної потужності, щоб малі та середні підприємства могли зручно та за низькою ціною використовувати обчислювальну потужність.

Незалежно від термінової потреби великих моделей в обчислювальній потужності або різних проблем, які потрібно вирішити в процесі застосування обчислювальної потужності, все це відображає нову зміну: обчислювальна потужність стала новою моделлю послуг у процесі ринкового попиту та технологічної ітерації.

Дослідження нових моделей обчислювальної потужності

Що таке обчислювальна потужність великих моделей, за яку ми змагаємося? Щоб відповісти на це питання, спочатку потрібно поговорити про послуги обчислювальної потужності.

Обчислювальна потужність ділиться на загальну обчислювальну потужність, інтелектуальну обчислювальну потужність та надпотужну обчислювальну потужність, а ці обчислювальні потужності стали видом послуг, що є результатом подвійного впливу ринку та технологій.

Одна галузева біла книга визначає обчислювальну потужність як: нову сферу обчислювальної промисловості, що базується на різноманітній обчислювальній потужності, з мережами обчислювальної потужності як зв'язком і з метою забезпечення ефективної обчислювальної потужності.

Суть обчислювальної потужності полягає в досягненні єдиного виходу гетерогенної обчислювальної потужності за допомогою нових обчислювальних технологій та їх перетворенні з такими технологіями, як хмара, великі дані, ШІ тощо. Сервіси обчислювальної потужності містять не лише обчислювальну потужність, але й єдиний пакет ресурсів, таких як обчислювальна потужність, зберігання, мережа тощо, у формі сервісу (, який здійснює доставку обчислювальної потужності, наприклад, через API ).

Зрозумівши це, можна виявити, що значна частина тих, хто конкурує за чіпи NVIDIA, є постачальниками обчислювальної потужності, тобто виробниками обчислювальної потужності. Справжніми користувачами галузі, які на передньому плані викликають API обчислювальної потужності, є ті, хто просто висловлює відповідні вимоги до обчислювальної потужності.

Відомо, що з програмного погляду всі програмні взаємодії, що генерують великі моделі, поділяються на три види: по-перше, виклики API великих моделей, кожен має свою ціну, розрахунок за ціною; по-друге, власні малі моделі, закупівля обчислювальної потужності, навіть самостійне розгортання; по-третє, співпраця постачальників великих моделей з постачальниками хмарних послуг, тобто спеціалізовані хмари, щомісячна оплата. Один з керівників компанії програмного забезпечення зазначив, що вони в основному використовують виклики API, а внутрішні малі моделі створюють платформу управління обчислювальною потужністю.

Тобто, в структурі промислового ланцюга обчислювальної потужності, підприємства верхнього рівня здебільшого виконують постачання ресурсів підтримки послуг обчислювальної потужності, таких як загальна обчислювальна потужність, інтелектуальна обчислювальна потужність, надпотужна обчислювальна потужність, зберігання та мережа. Наприклад, у боротьбі за обчислювальну потужність великих моделей, Nvidia є постачальником основних ресурсів обчислювальної потужності верхнього рівня, постачаючи чіпи в галузь.

Середні підприємства в галузі забезпечення послуг хмарних технологій та нових постачальників обчислювальної потужності є основними гравцями, які реалізують виробництво обчислювальної потужності через технології оркестрації, управління та торгівлі обчислювальною потужністю, а також завершують постачання обчислювальної потужності через API та інші способи. Чим сильніша сервісна спроможність середніх підприємств у сфері обчислювальної потужності, тим нижче поріг для застосувань, що сприяє більш широкому та всепроникному розвитку обчислювальної потужності.

Водночас, підприємства нижнього рівня є учасниками виробничого ланцюга, які покладаються на обчислювальну потужність, що надається сервісами, для виробництва додаткових послуг, таких як галузеві користувачі тощо. Ця частина користувачів лише повинна висловити свої потреби, а виробники обчислювальної потужності відповідно до запиту налаштовують відповідну обчислювальну потужність для виконання "завдань обчислювальної потужності", поставлених користувачем.

Це має більше переваг у витратах та технологіях, ніж раніше самостійна покупка серверів для створення середовища обчислювальної потужності великих моделей.

Обчислювальна потужність комерційна модель ітерацій

Як приклад, можна навести один з раніше випущених універсальних великих моделей; за публічною інформацією, він використовував послуги обчислювальної потужності багатьох провідних AI-сервісів в країні. Особи, які знають про це, повідомляють, що теоретично могли бути використані всі провідні постачальники обчислювальної потужності/хмарних сервісів.

Оплата за використання та підписка на рік або місяць є основними моделями обчислювальних послуг, існує приблизно два типи потреб: по-перше, вибір відповідного обчислювального сервісу, наприклад, постачальник хмарних послуг, що пропонує високопродуктивні GPU-сервери з трьома основними відеокартами: Nvidia A800, A100, V100; по-друге, вибір відповідної платформи MaaS, на якій проводиться спеціалізація великих моделей для конкретної галузі.

Поточна галузь також просуває інтеграцію "обчислювальної мережі" через комплексне оцінювання інформації про обчислювальні завдання, стан ресурсів обчислювальної мережі тощо, формуючи рішення для оркестрації обчислювальної мережі, яке підтримує розподіл між архітектурами, регіонами та постачальниками послуг, а також реалізує відповідне розгортання ресурсів. Наприклад, достатньо попередньо внести кошти, щоб мати можливість вільно викликати в розділах обчислювальної мережі, вибираючи найбільш підходящий, найшвидший або найекономічніший розділ відповідно до характеристик застосування, з оплатою за тривалістю та вирахуванням витрат з попередньо внесених коштів.

Хостинг-провайдери також, послуги обчислювальної потужності, як унікальний продукт хмарних послуг, дозволяють їм швидко залучитися до індустрії обчислювальної потужності.

Дані Міністерства промисловості та інформаційних технологій Китаю свідчать, що у 2022 році загальний обсяг обчислювальної потужності Китаю досяг 180 EFLOPS, зайнявши друге місце у світі. Станом на 2022 рік, масштаб промисловості обчислювальної потужності Китаю вже досяг 1,8 трильйона юанів. Обчислювальна потужність великих моделей значною мірою прискорила розвиток промисловості обчислювальної потужності.

Є думка, що сучасні послуги обчислювальної потужності насправді є новим типом "продажу електроенергії". Лише в залежності від розподілу обов'язків, деякі постачальники послуг обчислювальної потужності можуть потребувати надання користувачам більшої кількості робіт з налаштування системної продуктивності, встановлення програмного забезпечення, моніторингу виконання великих завдань та аналізу характеристик виконання у рамках останньої милі.

З ростом попиту на обчислювальну потужність для великих моделей, послуги обчислювальної потужності, що походять з хмарних сервісів, швидко потрапили в загальний зір, сформувавши унікальний промисловий ланцюг та бізнес-модель. Лише на початку вибуху індустрії обчислювальної потужності через великі моделі спостерігався дефіцит високопродуктивних GPU, високі витрати на обчислювальну потужність та боротьба за чіпи, що сформувало унікальний пейзаж цієї епохи.

Є коментарі від обізнаних осіб: "В даний час конкуренція йде за те, хто зможе отримати графічні процесори (GPU) в ланцюзі постачання. NVIDIA є нинішнім королем усієї галузі, контролюючи весь ринок - це реальність. " У умовах дефіциту, хто зможе отримати GPU, той зможе виконати бізнес.

Але не всі намагаються придбати графічні карти GPU, оскільки дефіцит є тимчасовим, проблема зрештою буде вирішена. "Довгострокові дослідники насправді не поспішають з покупками, можна звичайно почекати, оскільки вони не збанкрутують. Зараз справжніми покупцями графічних карт GPU в основному є група стартапів, які повинні забезпечити своє виживання до наступного року," - зазначив зазначений співрозмовник.

У багатьох невизначеностях обчислювальна потужність стає визначеною тенденцією як послуга, постачальники обчислювальної потужності повинні заздалегідь підготуватися до раціонального повернення великих моделей та швидких змін ринкових напрямків.