El servicio de potencia computacional se convierte en un nuevo modelo de negocio, ¿cómo cambiará después de la ola de "alquimia" de los grandes modelos?

Recientemente, utilizando 40 años de datos meteorológicos globales y 200 tarjetas GPU para un preentrenamiento de aproximadamente 2 meses, nació un modelo meteorológico grande con una cantidad de parámetros de nivel de cientos de millones. Esta es la experiencia de un joven que se graduó de la Universidad de Tsinghua hace 3 años en el entrenamiento de un gran modelo.

Desde el punto de vista de costos, calculando a 7.8 yuanes por hora por GPU, el costo de entrenamiento de este gran modelo meteorológico podría superar los 2 millones de yuanes. Y si se entrena un modelo grande general, el costo podría aumentar cien veces.

Los datos muestran que en China ya hay más de 100 grandes modelos con una escala de 10 mil millones de parámetros. Sin embargo, la "alquimia" de grandes modelos en la que la industria está abrumada enfrenta la difícil situación de la escasez de GPUs de alta gama. El alto costo de la Potencia computacional y la falta de Potencia computacional y fondos se han convertido en el problema más evidente que enfrenta la industria.

Escasez de GPU de alta gama

"Es cierto que hay una gran escasez, pero no podemos hacer nada al respecto." Así respondió un alto ejecutivo de una gran empresa sobre el problema de la escasez de GPU.

Este parece haberse convertido en un problema reconocido en la industria. Durante los picos, el precio de una tarjeta NVIDIA A100 se disparó a entre 200,000 y 300,000 yuanes, y el alquiler mensual de un servidor A100 también se disparó a entre 50,000 y 70,000 yuanes. Aun así, el alto precio no garantiza la compra de chips, y algunos proveedores de potencia computacional incluso han enfrentado situaciones raras como incumplimientos por parte de los proveedores.

Un alto ejecutivo de la industria de la computación en la nube también afirmó: "La escasez de potencia computacional sí existe. Muchos clientes desean recursos de GPU de alta gama, pero actualmente no podemos satisfacer completamente la amplia demanda del mercado."

A corto plazo, la escasez de GPUs de alta gama es difícil de resolver en toda la industria. La ola de modelos grandes ha hecho que la demanda de potencia computacional en el mercado crezca rápidamente, pero la velocidad de aumento de la oferta está muy por detrás. Aunque a largo plazo, la oferta de potencia computacional inevitablemente pasará de un mercado de vendedores a un mercado de compradores, la duración de este proceso sigue siendo una incógnita.

Las empresas están calculando cuántas GPU de Nvidia poseen y, con ello, determinando su cuota de mercado. Una fuente informada puso un ejemplo: si se tienen cerca de 10,000 tarjetas y el total del mercado es de 100,000, entonces la cuota es del 10%. "Para fin de año, el número de unidades podría alcanzar las 40,000, si el total del mercado es de 200,000, eso podría representar el 20% de la cuota de mercado."

Por un lado, no se pueden comprar tarjetas GPU, y por el otro, la barrera de entrada para el entrenamiento de modelos grandes no es tan fácil como se promociona en la industria. El costo de entrenamiento del gran modelo meteorológico mencionado anteriormente podría superar los 2 millones de yuanes, pero es importante señalar que esto se refiere a un modelo de dominio vertical entrenado sobre un modelo grande general, con una escala de parámetros de nivel de cientos de millones. Si se quiere entrenar un modelo grande general de mil millones o más de escala, el costo podría multiplicarse por diez o cien.

Un alto ejecutivo de una empresa tecnológica reveló: "Actualmente, la mayor inversión es en el entrenamiento de modelos; sin una inversión de decenas de miles de millones, es muy difícil seguir ampliando los modelos."

Un emprendedor describe así la actual competencia de modelos grandes: "Para correr rápido, al menos antes de que se agoten los fondos, se deben obtener resultados para conseguir la siguiente ronda de 'financiamiento'. Si no hay apoyo de cientos de miles de millones o incluso miles de millones, este camino es difícil de recorrer."

En este contexto, se considera comúnmente en la industria que, a medida que la competencia en el mercado de modelos grandes aumenta, el mercado pasará de la euforia a la racionalidad, y las empresas ajustarán sus costos y estrategias conforme a las expectativas cambiantes.

Medidas proactivas para hacer frente a la escasez de potencia computacional

No hay condiciones, pero hay que crear condiciones - esta parece ser la mentalidad de la mayoría de los participantes en grandes modelos. Las empresas están buscando formas de abordar los problemas que realmente existen.

Debido a la escasez de chips GPU de alta gama y a que los GPU disponibles en el mercado chino no son de última generación, su rendimiento suele ser inferior, por lo que las empresas necesitan más tiempo para entrenar grandes modelos. Estas empresas también están buscando métodos innovadores para compensar la Potencia computacional deficiente.

Uno de los métodos es utilizar datos de mayor calidad para el entrenamiento, lo que mejora la eficiencia del entrenamiento. Un informe de la industria publicado recientemente sugiere introducir etiquetas y confirmaciones manuales en la calidad de los datos, seleccionando un cierto porcentaje de los datos originales para etiquetar y construir un conjunto de datos de alta calidad.

Además de reducir el costo del modelo grande a través de datos de alta calidad, mejorar la capacidad de la infraestructura y lograr un funcionamiento estable de más de mil calorías durante dos semanas sin caídas, también es un desafío técnico y una dirección de optimización.

Un alto ejecutivo de un proveedor de servicios en la nube afirmó: "Como proveedor de servicios en la nube, ayudaremos a los clientes a establecer una infraestructura estable y confiable. Debido a la baja estabilidad de los servidores GPU, cualquier fallo puede interrumpir el entrenamiento, aumentando el tiempo total de entrenamiento. Los clústeres de computación de alto rendimiento pueden ofrecer a los clientes un servicio más estable, reduciendo relativamente el tiempo de entrenamiento y resolviendo algunos problemas de potencia computacional."

Al mismo tiempo, la programación de recursos de potencia computacional también pone a prueba la capacidad técnica de los proveedores de servicios. Un responsable de soluciones de internet dijo: "Tener recursos de potencia computacional es solo una parte, cómo programar esos recursos de manera efectiva y ponerlos realmente en uso es la capacidad central y la capacidad de ingeniería que presentan un mayor desafío. Dividir una tarjeta en varias tarjetas más pequeñas y lograr una programación distribuida y precisa puede reducir aún más el costo de potencia computacional."

La red también afecta la velocidad y eficiencia del entrenamiento de grandes modelos. El entrenamiento de grandes modelos a menudo requiere miles de tarjetas GPU, y conectar cientos de servidores GPU exige una velocidad de red extremadamente alta; la congestión de la red puede afectar gravemente la velocidad y eficiencia del entrenamiento.

Algunos fabricantes están explorando nuevas vías, y cambiar de una arquitectura de computación en la nube a una arquitectura de supercomputación también se ha convertido en un método para reducir costos. Satisfaciendo las necesidades de los usuarios, para tareas que no requieren alta capacidad de cómputo y en escenarios de tareas paralelas, el precio de la nube de supercomputación es aproximadamente la mitad del de la supercomputación en la nube; además, a través de la optimización del rendimiento, se puede aumentar la tasa de utilización de recursos del 30% al 60%.

Además, algunas empresas han optado por utilizar plataformas nacionales para el entrenamiento y la inferencia de grandes modelos, en lugar de los escasos GPU de Nvidia. Un alto ejecutivo de una empresa indicó que la máquina todo en uno que lanzaron en conjunto con Huawei puede realizar entrenamiento e inferencia en plataformas nacionales, y el rendimiento de los GPU de Huawei ya puede compararse con el de Nvidia.

Cada uno de los métodos mencionados es un proyecto considerable, y generalmente las empresas tienen dificultades para satisfacer la demanda a través de la construcción de sus propios centros de datos. Muchos equipos de algoritmos optan por recibir apoyo de proveedores especializados en Potencia computacional. El almacenamiento paralelo también representa un gran costo y un desafío técnico; además, se deben considerar los costos operativos como el costo de la electricidad en las zonas de disponibilidad de IDC, el costo de la plataforma de software y los costos de personal.

Se necesita un clúster de GPU de nivel kilocaloría para lograr un efecto de escala; elegir un proveedor de potencia computacional significa que el costo marginal tiende a cero.

Un académico señaló que AIGC ha llevado a una explosión en la industria de la inteligencia artificial, mientras que la aplicación a gran escala de tecnologías inteligentes presenta un típico problema de cola larga. Los departamentos, instituciones de investigación y grandes y medianas empresas con capacidades de IA fuerte representan solo alrededor del 20% de la demanda de Potencia computacional, mientras que el 80% corresponde a pequeñas y medianas empresas. Estos actores, limitados por su tamaño y presupuesto, a menudo tienen dificultades para acceder a recursos de Potencia computacional o están restringidos por precios elevados, lo que les dificulta beneficiarse del desarrollo en la era de la IA.

Por lo tanto, para lograr la aplicación a gran escala de la tecnología inteligente y hacer que la industria de la inteligencia artificial sea tanto "bien recibida" como "rentable", se necesita una gran cantidad de potencia computacional económica y fácil de usar, para que las pequeñas y medianas empresas también puedan utilizar la potencia de manera conveniente y de bajo costo.

Ya sea la urgente necesidad de potencia computacional por parte de los grandes modelos, o los diversos problemas que deben resolverse durante la aplicación de la potencia computacional, todo refleja un nuevo cambio: la potencia computacional se ha convertido en un nuevo modelo de servicio en el proceso de demanda del mercado y la iteración tecnológica.

Explorar un nuevo modelo de Potencia computacional

¿Qué es exactamente la potencia computacional del gran modelo por la que estamos compitiendo? Para responder a esta pregunta, primero debemos hablar sobre el servicio de potencia computacional.

La potencia computacional se divide en potencia computacional general, potencia computacional inteligente y potencia computacional de supercomputación, y esta potencia computacional se convierte en un servicio, resultado de la doble dinámica del mercado y la tecnología.

Un libro blanco de la industria define el servicio de potencia computacional como: un nuevo campo de la industria de la potencia computacional basado en la diversidad de potencia computacional, conectado a través de una red de potencia computacional, con el objetivo de proporcionar potencia computacional efectiva.

El servicio de potencia computacional tiene como esencia la realización de una salida unificada de potencia computacional heterogénea a través de nuevas tecnologías de cálculo, y la fusión cruzada con tecnologías como la nube, grandes datos e IA. El servicio de potencia computacional no solo incluye potencia computacional, sino que también es un empaquetado unificado de recursos como potencia computacional, almacenamiento y red, para completar la entrega de potencia computacional en forma de servicio ( como API ).

Al entender esto, se descubrirá que una gran parte de los que compiten por los chips de Nvidia son proveedores de potencia computacional, es decir, productores de potencia computacional. Los usuarios de la industria que realmente llaman a la API de potencia computacional en el frontend solo necesitan plantear la demanda correspondiente de potencia computacional.

Según la información, desde el punto de vista del software, el uso de grandes modelos generados por interacciones de software se divide en tres tipos: primero, llamadas a la API de grandes modelos, cada empresa tiene un precio y se liquidan según ese precio; segundo, modelos pequeños propios, compra de potencia computacional, e incluso despliegue propio; tercero, colaboración entre fabricantes de grandes modelos y proveedores de nube, es decir, nube dedicada, con pago mensual. Un ejecutivo de una empresa de software de oficina indicó que ellos principalmente utilizan llamadas a la API, mientras que los modelos pequeños internos construyen una plataforma de programación de potencia computacional.

Es decir, en la estructura de la cadena de suministro de potencia computacional, las empresas de upstream principalmente completan el suministro de recursos de soporte para servicios de potencia computacional general, potencia computacional inteligente, potencia computacional de supercomputación, almacenamiento y red. Por ejemplo, en la guerra por la potencia computacional de grandes modelos, Nvidia pertenece a los proveedores de recursos básicos de potencia computacional, suministrando chips a la industria.

Las empresas de nivel medio se centran en proveedores de servicios en la nube y proveedores de nuevos servicios de potencia computacional. Logran la producción de potencia computacional a través de la orquestación, programación y tecnología de transacciones de potencia computacional, y completan el suministro de potencia computacional a través de API y otros métodos. Cuanto más fuerte sea la capacidad de servicios de las empresas de potencia computacional de nivel medio, más bajo será el umbral para las aplicaciones, lo que ayudará al desarrollo inclusivo y ubicuo de la potencia computacional.

Las empresas del sector downstream dependen de la capacidad de cálculo proporcionada por los servicios de potencia computacional para producir servicios de valor agregado, como los usuarios de la industria, entre otros. Este grupo de usuarios solo necesita presentar sus demandas, y los productores de potencia computacional configuran la potencia computacional correspondiente según las demandas para completar las "tareas de potencia computacional" que les asignan los usuarios.

Esto tiene ventajas de costo y tecnología en comparación con la compra de servidores para construir un entorno de potencia computacional para modelos grandes.

Potencia computacional modelo de negocio iterativo

Como ejemplo de un modelo general de gran tamaño que se lanzó temprano, según información pública, este utilizó varios proveedores de servicios de potencia computacional de IA líderes en el país. Personas informadas indican que, en teoría, podría haber utilizado todos los proveedores de potencia computacional / proveedores de servicios en la nube principales.

La facturación por uso y la facturación anual o mensual son los modos principales de servicio de potencia computacional en la actualidad, y hay aproximadamente dos tipos de demanda: primero, elegir una instancia de servicio de potencia computacional correspondiente, como un proveedor de servicios en la nube que ofrece servidores GPU de alto rendimiento equipados con las tres principales tarjetas gráficas Nvidia A800, A100 y V100; segundo, elegir una plataforma de servicios MaaS correspondiente, para realizar un ajuste fino de un gran modelo en la plataforma.

La industria actual también está promoviendo la "integración de servicios de potencia computacional y red", mediante un juicio integral de la información sobre tareas de cálculo, estado de recursos de potencia computacional, etc., para formar un plan de orquestación de red de potencia computacional que pueda soportar la programación entre arquitecturas, regiones y proveedores de servicios. Además, solo se necesita un depósito de fondos para poder invocar libremente en las particiones de la red de potencia computacional, eligiendo la partición más adecuada, más rápida o más rentable según las características de la aplicación, con facturación por duración y deducción de tarifas de los fondos predepositados.

Los proveedores de servicios en la nube también son así, el servicio de potencia computacional como un producto único de servicios en la nube les permite participar rápidamente en la cadena industrial de potencia computacional.

Según datos del Ministerio de Industria y Tecnología de la Información, en 2022 la escala total de potencia computacional de China alcanzó los 180 EFLOPS, ocupando el segundo lugar a nivel mundial. Hasta 2022, la escala de la industria de potencia computacional en China había alcanzado los 1.8 billones de yuanes. La potencia computacional de los grandes modelos ha acelerado en gran medida el desarrollo de la industria de potencia computacional.

Hay opiniones que consideran que el servicio de potencia computacional actual es en realidad un nuevo modelo de "venta de electricidad". Solo que, según la división del trabajo, algunos proveedores de potencia computacional pueden necesitar ofrecer a los usuarios más tareas de mantenimiento de última milla, como ajuste de rendimiento del sistema, instalación de software, supervisión de la ejecución de trabajos a gran escala y análisis de características de operación.

Con la normalización de la demanda de computación de alto rendimiento para modelos grandes, los servicios de potencia computacional, derivados de los servicios en la nube, han entrado rápidamente en la vista del público, formando una cadena industrial y un modelo comercial únicos. Sin embargo, al principio de la explosión de la industria de la potencia computacional debido a los modelos grandes, la escasez de GPU de alta gama, los altos costos de potencia computacional y la competencia por los chips formaron un paisaje único de esta era.

Un informante comentó: "Actualmente, la competencia es quién puede obtener tarjetas GPU en la cadena de suministro, Nvidia es el rey de toda la industria en este momento, controlando todo el mercado, esa es la situación." En un contexto de escasez, quien pueda obtener tarjetas GPU, podrá entregar el negocio.

Pero no todos están compitiendo por las tarjetas GPU, porque la escasez es temporal y el problema eventualmente se resolverá. "Los investigadores a largo plazo en realidad no tienen prisa por comprarlas, pueden esperar normalmente, porque no se van a cerrar. Ahora, las principales que están comprando tarjetas GPU son un grupo de nuevas empresas, que necesitan asegurarse de poder sobrevivir hasta el próximo año", dijo la persona mencionada.

En medio de tantas incertidumbres, la potencia computacional se convierte en una tendencia confirmada como un servicio. Los proveedores de servicios de potencia computacional necesitan anticiparse y estar preparados para el regreso a la racionalidad de los grandes modelos y los rápidos cambios en la dirección del mercado.