Puissance de calcul services deviennent un nouveau modèle commercial, comment se tourner après la vague de "l'alchimie" des grands modèles ?

Récemment, en utilisant 40 ans de données météorologiques à l'échelle mondiale et en utilisant 200 cartes GPU pour un pré-entraînement d'environ 2 mois, un grand modèle météorologique avec un nombre de paramètres atteignant des centaines de millions a été créé. C'est l'expérience d'un jeune diplômé de l'Université Tsinghua, qui a 3 ans.

D'un point de vue coût, en calculant à 7,8 yuan/heure/carte GPU, le coût d'entraînement de ce grand modèle météorologique pourrait dépasser 2 millions de yuan. En revanche, si le modèle entraîné est un grand modèle généraliste, le coût pourrait augmenter de cent fois.

Les données montrent qu'il y a actuellement plus de 100 grands modèles en Chine avec une échelle de 10 milliards de paramètres. Cependant, le phénomène de "炼丹" des grands modèles, qui attire l'industrie, fait face à un manque de GPU haut de gamme. Le coût de la puissance de calcul reste élevé, et le manque de puissance de calcul et de fonds est devenu le problème le plus évident auquel l'industrie est confrontée.

Pénurie de GPU haut de gamme

"Il y a effectivement une pénurie, mais nous ne pouvons rien y faire." a déclaré un cadre supérieur d'une grande entreprise en réponse à la question de la pénurie de GPU.

Cela semble être un problème reconnu dans l'industrie. Pendant les périodes de pointe, le prix d'un A100 de NVIDIA a été porté à 200 000-300 000 yuans, et le loyer mensuel d'un serveur A100 a également grimpé à 50 000-70 000 yuans. Malgré cela, un prix élevé ne garantit pas l'achat de puces, certains fournisseurs de puissance de calcul ont même rencontré des situations rares comme des manquements de la part des fournisseurs.

Un cadre supérieur de l'industrie du cloud computing a également déclaré : "La puissance de calcul fait effectivement défaut. De nombreux clients souhaitent des ressources GPU haut de gamme, mais nous ne pouvons actuellement pas satisfaire pleinement la demande du marché."

À court terme, la pénurie de GPU haut de gamme est difficile à résoudre dans toute l'industrie. La montée en popularité des grands modèles a entraîné une demande rapide de puissance de calcul sur le marché, mais l'augmentation de l'offre ne suit pas du tout. Bien qu'à long terme, l'offre de puissance de calcul passera inévitablement d'un marché de vendeurs à un marché d'acheteurs, la durée de ce processus reste encore inconnue.

Les entreprises calculent combien de GPU Nvidia elles possèdent et en déduisent leur part de marché. Des sources informées citent l'exemple suivant : si l'on dispose de près de 10 000 cartes et que le volume total du marché est de 100 000 cartes, alors la part de marché est de 10 %. "À la fin de l'année, le stock pourrait atteindre 40 000 cartes, si le volume total du marché est de 200 000 cartes, cela pourrait représenter 20 % de la part de marché."

D'un côté, il est impossible d'acheter des cartes GPU, de l'autre, le seuil d'entrée pour l'entraînement de grands modèles n'est pas aussi facile qu'annoncé par l'industrie. Le coût d'entraînement du grand modèle météorologique mentionné précédemment pourrait dépasser 2 millions de yuans, mais il convient de noter que cela concerne un modèle de domaine vertical entraîné sur la base d'un grand modèle général, avec une échelle de paramètres au niveau de centaines de millions. Si l'on souhaite entraîner un grand modèle général d'un milliard de paramètres ou plus, les coûts pourraient augmenter de dix ou même de cent fois.

Un cadre supérieur d'une entreprise technologique a révélé : "Actuellement, le plus gros investissement concerne l'entraînement de modèles. Sans des milliards de capitaux, il est très difficile de continuer à développer de grands modèles."

Un entrepreneur décrit ainsi la situation actuelle de la concurrence entre les grands modèles : "Pour avancer rapidement, il faut obtenir des résultats avant que les fonds ne soient épuisés pour obtenir un prochain tour de 'financement'. Sans le soutien de centaines de milliards ou de milliers de milliards, ce chemin est difficile à parcourir."

Dans cette situation, il est généralement admis dans l'industrie qu'avec la concurrence sur le marché des grands modèles, le marché passera d'un engouement à une rationalité, et les entreprises contrôleront leurs coûts et ajusteront leurs stratégies en fonction de l'évolution des attentes.

Mesures proactives pour faire face à la pénurie de puissance de calcul

Il faut créer des conditions même sans conditions - c'est apparemment l'état d'esprit de la plupart des participants aux grands modèles. Les entreprises cherchent toutes des moyens de répondre aux problèmes qui existent réellement.

En raison de la pénurie de puces GPU haut de gamme et du fait que les GPU disponibles sur le marché chinois ne sont pas de dernière génération, leur performance est généralement inférieure, les entreprises ont donc besoin de plus de temps pour entraîner de grands modèles. Ces entreprises recherchent également des méthodes innovantes pour compenser la Puissance de calcul.

Une des méthodes consiste à utiliser des données de meilleure qualité pour entraîner, afin d'améliorer l'efficacité de l'entraînement. Un rapport sectoriel récemment publié recommande d'introduire une annotation et une validation manuelles en matière de qualité des données, en sélectionnant un certain pourcentage des données brutes pour l'annotation, afin de construire un ensemble de données de haute qualité.

En plus de réduire les coûts des grands modèles grâce à des données de haute qualité, d'améliorer les capacités d'infrastructure et de réaliser un fonctionnement stable au-dessus de 1000 kcal pendant deux semaines sans interruption, cela représente également un défi technique et une direction d'optimisation.

Un cadre d'un fournisseur de services cloud a déclaré : "En tant que fournisseur de services cloud, nous aidons nos clients à établir une infrastructure stable et fiable. Étant donné que la stabilité des serveurs GPU est médiocre, toute défaillance peut entraîner une interruption de l'entraînement, augmentant ainsi la durée totale de l'entraînement. Un cluster de calcul haute performance peut fournir un service plus stable aux clients, réduire le temps d'entraînement et résoudre certains problèmes de Puissance de calcul."

En même temps, la gestion des ressources des cartes de puissance de calcul met également à l'épreuve les capacités techniques des prestataires de services. Un responsable de solutions Internet a déclaré : "Posséder des ressources de cartes de puissance de calcul n'est qu'un aspect, comment les gérer et les mettre réellement en œuvre est la capacité et l'ingénierie centrale les plus difficiles. Diviser une carte en plusieurs petites cartes, permettant une gestion fine et distribuée, peut réduire davantage les coûts de puissance de calcul."

Le réseau affecte également la vitesse et l'efficacité de l'entraînement des grands modèles. L'entraînement de grands modèles nécessite souvent des milliers de cartes GPU, et la connexion de centaines de serveurs GPU exige une vitesse réseau extrêmement élevée. La congestion du réseau peut gravement affecter la vitesse et l'efficacité de l'entraînement.

Certain fournisseurs prennent un chemin différent, en passant d'une architecture de cloud computing à une architecture de supercalculateur, ce qui devient également une méthode de réduction des coûts. Tout en satisfaisant les besoins des utilisateurs, pour les tâches de calcul non à haut débit et les scénarios de tâches parallèles, le prix du cloud de supercalculateur est d'environ la moitié de celui du cloud de supercalculateur, et grâce à l'optimisation des performances, le taux d'utilisation des ressources peut passer de 30 % à 60 %.

De plus, certains fabricants choisissent d'utiliser des plateformes nationales pour l'entraînement et l'inférence de grands modèles, afin de remplacer les GPU Nvidia en pénurie. Un cadre d'une entreprise a déclaré que leur machine tout-en-un, lancée en collaboration avec Huawei, peut effectuer des entraînements et des inférences sur des plateformes nationales, et que les performances des GPU Huawei sont déjà comparables à celles de Nvidia.

Chaque méthode mentionnée ci-dessus représente un projet de grande envergure. Il est généralement difficile pour les entreprises de répondre à leurs besoins en construisant leurs propres centres de données, c'est pourquoi de nombreuses équipes algorithmiques choisissent de s'appuyer sur des fournisseurs de puissance de calcul spécialisés. Le stockage parallèle constitue également un coût et un défi technique majeurs. De plus, il faut tenir compte des coûts d'exploitation liés à l'électricité dans les zones de disponibilité IDC, aux plateformes logicielles, aux coûts de personnel, etc.

Seules les fermes de GPU de niveau kilocalorie peuvent réaliser des économies d'échelle ; choisir un fournisseur de puissance de calcul signifie que le coût marginal tend vers zéro.

Un académicien a souligné que l'AIGC entraîne une explosion de l'industrie de l'intelligence artificielle, tandis que l'application à grande échelle des technologies intelligentes présente un problème typique de longue traîne. Les départements, les établissements de recherche et les grandes et moyennes entreprises disposant de capacités d'IA puissantes ne représentent qu'environ 20 % de la demande en puissance de calcul, tandis que 80 % proviennent des petites et moyennes entreprises. Ces entités, limitées par leur taille et leur budget, ont souvent du mal à obtenir des ressources de puissance de calcul ou sont confrontées à des prix élevés, rendant difficile l'accès aux dividendes de développement à l'ère de l'IA.

Ainsi, pour réaliser une application à grande échelle des technologies intelligentes et faire en sorte que l'industrie de l'intelligence artificielle soit à la fois "saluée" et "rentable", il est nécessaire de disposer d'une grande quantité de Puissance de calcul bon marché et facile à utiliser, permettant aux petites et moyennes entreprises d'accéder facilement et à moindre coût à la Puissance de calcul.

Que ce soit la demande pressante des grands modèles pour la puissance de calcul, ou les divers défis à résoudre lors de l'application de la puissance de calcul, tout cela reflète un nouveau changement : la puissance de calcul est devenue un nouveau modèle de service sur le marché, à la fois par la demande et l'itération technologique.

Explorer un nouveau modèle de service de puissance de calcul

Qu'est-ce que la puissance de calcul des grands modèles que nous convoitons ? Pour répondre à cette question, il est nécessaire de commencer par les services de puissance de calcul.

La puissance de calcul se divise en puissance de calcul générale, puissance de calcul intelligente et puissance de calcul super, et ces puissances de calcul deviennent un service, résultat d'une double dynamique du marché et de la technologie.

Un livre blanc de l'industrie définit les services de puissance de calcul comme : un nouveau domaine industriel de la puissance de calcul basé sur une diversité de puissance de calcul, lié par un réseau de puissance de calcul, avec pour objectif de fournir une puissance de calcul efficace.

L'essence du service de puissance de calcul est d'atteindre une sortie unifiée de puissance de calcul hétérogène grâce à de nouvelles technologies de calcul, et de s'intégrer en croisant avec des technologies telles que le cloud, les Big Data et l'IA. Le service de puissance de calcul inclut non seulement la puissance de calcul, mais également un emballage unifié des ressources telles que la puissance de calcul, le stockage et le réseau, pour réaliser la livraison de puissance de calcul sous forme de service comme API(.

Comprendre cela révèle qu'une grande partie de ceux qui se disputent les puces Nvidia sont des fournisseurs de services de puissance de calcul, c'est-à-dire des producteurs de puissance de calcul. Les utilisateurs industriels qui appellent réellement l'API de puissance de calcul à l'avant, n'ont qu'à formuler les besoins correspondants en puissance de calcul.

Selon les informations, du point de vue logiciel, l'utilisation des grands modèles générés par les interactions logicielles se divise en trois catégories : premièrement, l'appel d'API de grands modèles, chaque entreprise ayant ses propres prix, réglés selon les tarifs ; deuxièmement, de petits modèles propriétaires, avec achat de puissance de calcul, voire déploiement autonome ; troisièmement, la collaboration entre les fabricants de grands modèles et les fournisseurs de cloud, c'est-à-dire le cloud dédié, avec un paiement mensuel. Un cadre d'une entreprise de logiciel de bureau a déclaré qu'ils utilisaient principalement des appels d'API, tandis que les petits modèles internes étaient gérés par une plateforme de répartition de la puissance de calcul.

C'est-à-dire que, dans la structure de la chaîne industrielle de la puissance de calcul, les entreprises en amont fournissent principalement des ressources de soutien pour des services de puissance de calcul générique, de puissance de calcul intelligente, de supercalcul et de stockage et de réseau. Par exemple, dans la bataille pour la puissance de calcul des grands modèles, Nvidia est un fournisseur de ressources de base de puissance de calcul en amont, fournissant des puces à l'industrie.

Les entreprises de niveau intermédiaire se composent principalement de fournisseurs de services cloud et de nouveaux fournisseurs de services de puissance de calcul. Elles réalisent la production de puissance de calcul grâce à des technologies d'orchestration, de planification et de transaction de puissance de calcul, et complètent l'offre de puissance de calcul par des API et d'autres moyens. Plus la capacité de service des entreprises de puissance de calcul de niveau intermédiaire est forte, plus le seuil d'accès pour les utilisateurs est bas, ce qui favorise le développement universel et omniprésent de la puissance de calcul.

Les entreprises en aval dépendent des capacités de calcul fournies par les services de puissance de calcul pour produire des services à valeur ajoutée, comme les utilisateurs du secteur, par exemple. Cette partie des utilisateurs n'a qu'à exprimer ses besoins, les producteurs de puissance de calcul configurent alors la puissance de calcul correspondante pour accomplir les "tâches de puissance de calcul" demandées par l'utilisateur.

Cela présente des avantages en termes de coût et de technologie par rapport à l'achat initial de serveurs pour établir un environnement de puissance de calcul pour les grands modèles.

Puissance de calcul modèle commercial itération

Prenons l'exemple d'un modèle général lancé tôt, selon des informations publiques, il a utilisé plusieurs fournisseurs de services de Puissance de calcul AI en Chine. Des personnes bien informées ont indiqué qu'en théorie, il pourrait avoir utilisé tous les fournisseurs de Puissance de calcul/ fournisseurs de services cloud principaux.

La facturation à la consommation et la facturation annuelle ou mensuelle sont les modes principaux de service de puissance de calcul actuels, avec deux types de besoins d'utilisation : d'une part, choisir un exemple de service de puissance de calcul correspondant, comme un fournisseur de services cloud offrant des serveurs GPU haute performance équipés des trois cartes graphiques dominantes Nvidia A800, A100 et V100 ; d'autre part, choisir une plateforme de service MaaS correspondante, pour affiner des grands modèles dans l'industrie sur la plateforme.

L'industrie actuelle promeut également l'"intégration et la fusion de la puissance de calcul et du réseau de calcul", en formant des solutions d'orchestration de réseau de calcul qui prennent en compte des jugements globaux sur les tâches de calcul, l'état des ressources du réseau de calcul, etc., permettant une planification inter-architecture, inter-régionale et inter-fournisseur. Par exemple, il suffit de préfinancer des fonds pour pouvoir appeler librement dans les zones du réseau de puissance de calcul, en choisissant la zone la plus appropriée, la plus rapide ou la plus rentable en fonction des caractéristiques de l'application, avec une facturation basée sur la durée et des frais déduits des fonds préfinancés.

Les fournisseurs de services cloud sont similaires, le service de puissance de calcul, en tant que produit unique des services cloud, leur permet de participer rapidement à la chaîne de l'industrie de la puissance de calcul.

Les données du ministère de l'Industrie et des Technologies de l'information montrent qu'en 2022, la puissance de calcul totale de la Chine a atteint 180 EFLOPS, se classant au deuxième rang mondial. À la fin de 2022, l'échelle de l'industrie de la puissance de calcul en Chine avait atteint 18 000 milliards de yuan. La puissance de calcul des grands modèles a considérablement accéléré le développement de l'industrie de la puissance de calcul.

Certaines opinions soutiennent que les services de puissance de calcul actuels sont en réalité un nouveau modèle de "vente d'électricité". Cependant, en fonction de la division du travail, certains fournisseurs de services de puissance de calcul peuvent avoir besoin de fournir aux utilisateurs davantage de travaux de maintenance de dernière minute, tels que l'optimisation des performances système, l'installation de logiciels, la supervision des opérations à grande échelle et l'analyse des caractéristiques opérationnelles.

Avec la normalisation de la demande de calcul haute performance pour les grands modèles, les services de puissance de calcul, dérivés des services cloud, entrent rapidement dans le champ de vision du grand public, formant une chaîne d'approvisionnement et un modèle commercial uniques. Cependant, au début de l'explosion de l'industrie de la puissance de calcul en raison des grands modèles, la pénurie de GPU haut de gamme, les coûts élevés de la puissance de calcul et la compétition pour les puces ont créé un paysage unique de cette époque.

Des personnes informées commentent : "Actuellement, la compétition est de savoir qui peut obtenir des cartes GPU dans la chaîne d'approvisionnement, Nvidia est le roi de l'industrie actuelle, contrôlant tout le marché, c'est la situation. " Dans un contexte de pénurie, celui qui peut obtenir des cartes GPU pourra livrer des affaires.

Mais tout le monde ne se précipite pas pour acheter des cartes GPU, car la pénurie est temporaire et le problème sera finalement résolu. "Les chercheurs à long terme ne sont en fait pas pressés d'acheter, ils peuvent attendre normalement, car ils ne vont pas faire faillite. Actuellement, les principales personnes qui achètent des cartes GPU sont un certain nombre de startups qui doivent s'assurer de survivre jusqu'à l'année prochaine. " a déclaré la personne mentionnée ci-dessus.

Dans de nombreuses incertitudes, la puissance de calcul devient une tendance certaine en tant que service. Les fournisseurs de services de puissance de calcul doivent anticiper et se préparer à un retour à la rationalité des grands modèles et à un changement rapide des tendances du marché.