Lao Huang participó en la inversión y las científicas chinas del MIT recaudaron 200 millones de dólares. 10.000 H100 entrenan a agentes de IA con más de 100 mil millones de parámetros

Fuente: Xinzhiyuan

Editor: Eneas tiene mucho sueño

¡Justo ahora nació otro unicornio de IA en Silicon Valley!

La empresa fundada por esta científica china se llama Imbue, recientemente recibió una financiación de 200 millones de dólares y su valoración ha alcanzado los mil millones de dólares.

Imbue es también uno de los pocos unicornios cuyos fundadores son mujeres.

No sólo eso, Imbue también tiene 10.000 tarjetas gráficas Nvidia H100, por lo que ya no tiene que preocuparse por las divisas.

Sí, lo has adivinado bien, ¡NVIDIA ha vuelto a invertir en este unicornio de IA!

Jim Fan, científico senior de Nvidia, también tuiteó alegremente sus felicitaciones: El año pasado hablamos de Avalon y MineDojo en NeurIPS, ¡y ahora la empresa detrás de Avalon se ha convertido en un unicornio!

Esta historia nos dice: no ignores a todos los investigadores poco impresionantes que conozcas en una conferencia importante. Quién sabe, un día su empresa recibirá financiación de primer nivel y el próximo nacerá Sam Altman.

No se ha generado dinero, pero se han recaudado cientos de millones. Un milagro así sólo puede ocurrir en Silicon Valley.

NVIDIA es optimista

Actualmente, el modelo grande de "escala ultragrande" que Imbue está entrenando tiene más de 100 mil millones de parámetros, e Imbue tiene actualmente 10,000 GPU NVIDIA H100 en sus manos.

La compañía aún no ha lanzado ningún producto, aparte del entorno de capacitación de código abierto Avalon el otoño pasado.

Los cofundadores de Imbue, Kanjun Qiu y Josh Albrecht

Sin embargo, el monto del financiamiento de Imbue en esta ronda es 10 veces el monto recaudado anteriormente.

La inversión fue liderada por el Instituto Astera, una organización sin fines de lucro fundada por el multimillonario Jed McCaleb, con la participación de Nvidia, Kyle Vogt, director ejecutivo de la empresa de conducción autónoma Cruise de General Motors, y el cofundador de Notion, Simon Last.

Ahora, la financiación total de Imbue ha alcanzado los 220 millones de dólares, lo que la convierte en una de las startups mejor financiadas de los últimos meses. Los pocos por delante son Cohere ($435 millones), Adept ($415 millones) y AI21 Labs ($283 millones).

El nombre que más llama la atención entre los inversores es sin duda Nvidia.

Solo este año, Nvidia ha invertido en siete unicornios de IA, incluidos Adept, Coreweave, Cohere, Inflection, Runway, AI21 Labs e Imbue.

Dirigido a agentes de IA

Una empresa nueva que todavía se encuentra en sus primeras etapas, tiene sólo 20 empleados y aún no ha lanzado ningún producto al público, pero se ha ganado el favor de muchos inversores en inteligencia artificial conocidos en Silicon Valley.

¡La razón es que la ruta elegida por Imbue no es un modelo básico de IA, sino un agente de IA!

Después de la explosión de la IA generativa provocada por los modelos grandes, el mercado se ha revitalizado por completo y los inversores confiados están buscando ansiosamente el próximo punto caliente.

Los agentes de IA son una dirección sobre la que muchos líderes de IA y gigantes tecnológicos son optimistas.

Karpathy, una figura destacada que se unió a OpenAI este año y ex director de IA de Tesla, dijo una vez: ¡Los agentes de IA representan el futuro de la IA!

Karpathy una vez llamó a AutoGPT la próxima frontera

Los agentes de IA son agentes autónomos que, en su forma más simple, operan en bucles, generando instrucciones y acciones autodirigidas con cada iteración. Como tales, no dependen de humanos para guiar las conversaciones y son altamente escalables.

Como sistema informático que simula las elecciones humanas para completar tareas complejas, los agentes de IA son sin duda una ruta más imaginativa que los grandes modelos de lenguaje.

De hecho, ya en marzo y abril de este año hubo una explosión de agentes de IA. Como si fuera una coincidencia, en solo dos semanas se lanzaron muchos agentes inteligentes como Stanford Westworld Town, BabyAGI, AutoGPT y GPT-Engineer. El cuerpo emerge como brotes de bambú después de la lluvia.

Algunas personas incluso hicieron un llamado: no utilicen grandes modelos de lenguaje. No podemos implementar OpenAI, pero cuando se trata de agentes de IA, no tienen mucha más experiencia que nosotros. ¡Quizás si no tienes cuidado, puedas convertirte en "OpenAI" en la pista de agentes de IA!

No, viene Imbue.

Inversores: exploren lentamente, no se apresuren a implementar

Sin embargo, el fundador dijo que aunque Imbue está desarrollando algunos productos, no planea poner en producción la mayoría de ellos.

Imbue espera que estos modelos y herramientas sean una forma de ayudarnos a liderar AGI en el futuro, para que las personas puedan tener una plataforma para crear sus propios modelos personalizados.

La actitud de Imbue hacia el mercado no es urgente, esto también se puede ver en la financiación——

El principal inversor es el Instituto Astera, una organización sin fines de lucro dedicada a proyectos tecnológicos, en lugar de empresas de capital riesgo que se apresuran a lanzar proyectos de IA cuando están en auge.

Los fundadores dijeron que evitaron intencionalmente reuniones con firmas de capital riesgo durante el proceso de recaudación de fondos.

Esto se debe a que, en su opinión, el trabajo de Imbue aún tardará varios años en comercializarse verdaderamente: las empresas de capital riesgo no tendrán tanta paciencia, mientras que las organizaciones sin fines de lucro serán más tolerantes con su calendario de comercialización.

El mayor inversionista y multimillonario Jed McCaleb dijo que después de ver el PPT de Qiu y Albrecht construyendo un agente de inteligencia artificial, se sintió muy satisfecho, por lo que tomó la decisión de invertir con un gesto de la mano.

Por supuesto, también entiende que se trata de una gran apuesta: para hacer avanzar la investigación a la siguiente etapa y comercializar el trabajo del laboratorio, se gastará mucho dinero simplemente invirtiendo en GPU.

Qiu y Albrecht también están muy seguros de que en diez años, los resultados de PPT probablemente se convertirán en aplicaciones diarias de la gente y probablemente no se utilizarán en diez años.

Modelo básico de inferencia de entrenamiento

En el blog oficial de Imbue, explicaron esto:

Actualmente, los sistemas de inteligencia artificial tienen capacidades muy limitadas para completar tareas simples en nombre de los usuarios. Uno de los obstáculos importantes es el "razonamiento".

Se puede decir que una gran capacidad de razonamiento es una condición necesaria para que los agentes de IA logren acciones efectivas.

Esto se puede descomponer en: la capacidad de lidiar con la incertidumbre, la capacidad de saber cuándo cambiar de enfoque, la capacidad de hacer preguntas y recopilar nueva información, la capacidad de desarrollar escenarios y tomar decisiones, la capacidad de proponer y abandonar hipótesis. y la capacidad de lidiar con la naturaleza compleja e impredecible del mundo real.

Adaptar modelos básicos para "agentes de IA razonadores" significa no sólo aprovechar las poderosas capacidades proporcionadas por LLM, sino también comprender de manera detallada y práctica cómo se entrenan estos modelos y cómo funcionan.

Es decir, por un lado, es necesario crear datos previos al entrenamiento que se utilicen específicamente para fortalecer la inferencia del modelo y, por otro lado, se debe desarrollar tecnología para hacer que los resultados de la inferencia sean más confiables.

Para hacer esto, el equipo adoptó un enfoque completo: entrenó el modelo base, creó prototipos de agentes e interfaces experimentales, construyó herramientas e infraestructura sólidas y comprendió los fundamentos teóricos de cómo aprende el modelo.

- Modelo

Entrene y optimice modelos extremadamente grandes (>100 mil millones de parámetros) para lograr un rendimiento excepcional en los puntos de referencia de inferencia.

La última ronda de financiación ha proporcionado a Imbue capacidades que otras empresas no pueden igualar: un clúster informático equipado con unos 10.000 H100, que puede lograr una iteración rápida de todo, desde datos de entrenamiento hasta arquitectura y mecanismos de inferencia.

-Agente

Además del modelo, Imbue diseñó un prototipo de agente para uso interno (principalmente para codificación). Al mismo tiempo, también estamos probando una variedad de otros agentes para obtener un agente de propósito general potente y confiable.

-Interfaz

Las interfaces de chat de IA actuales son básicamente esqueuomorfas. El equipo cree que hay muchos problemas centrales relacionados con la solidez, la confianza y la colaboración de los agentes que pueden resolverse reinventando la interfaz de interacción.

Además, los agentes de IA que pueden comprender el mundo también brindan la oportunidad de repensar la forma en que los humanos interactúan con las computadoras, creando así sistemas que nos apoyen y empoderen mejor.

- herramienta

Las excelentes herramientas aceleran los ciclos iterativos.

Con este fin, el equipo pone mucho esfuerzo en crear herramientas para sí mismo: ya sea un prototipo de agente simple para corregir errores de verificación de tipos y subprocesos, interfaces de depuración y visualización sobre agentes y modelos, o sistemas más complejos (por ejemplo, CARBS puede completar automáticamente la mayoría de los ajustes de hiperparámetros y búsquedas de arquitectura de red).

-Teoría

Para crear un modelo para agentes que proporcione una base sólida y al mismo tiempo mantenga la seguridad a largo plazo, se debe desarrollar una teoría del aprendizaje profundo.

Con este fin, el equipo centra su investigación en el aprendizaje de características y en la comprensión del mecanismo central detrás del proceso de aprendizaje de modelos de lenguaje grandes.

En la actualidad, el equipo ha publicado muchos artículos sobre la base teórica del aprendizaje autosupervisado y las reglas básicas del aprendizaje en sistemas como las redes neuronales.

Agente de IA que puede razonar y codificar

Sin embargo, antes de desarrollar un agente de IA que todos puedan usar, el equipo primero realizó una investigación en profundidad sobre sus propios escenarios de uso.

Descubra cómo puede mejorar continuamente los modelos de inferencia diseñados específicamente para agentes y cómo puede crear herramientas para que los agentes sean más confiables.

Como resultado, una gran parte del primer lote de prototipos de agentes giró en torno al trabajo principal del equipo: el código.

Las razones específicas son las siguientes:

- El uso es condición sine qua non de la invención

La mejor manera de hacer que los agentes de IA funcionen de manera estable con los humanos es crear agentes de IA que puedan usarse en el trabajo diario y resolver varios problemas en el proceso.

**- El código puede mejorar las habilidades de razonamiento **

En primer lugar, la formación en código ayuda al modelo a aprender a razonar mejor. En segundo lugar, debido a que las preguntas de programación son muy objetivas (el código pasa la prueba o no), proporciona una plataforma ideal para probar habilidades de razonamiento más amplias, lo que permite a los equipos ver si sus mejoras al sistema subyacente son efectivas.

- El código es importante para la acción

Generar código es una forma eficiente para que los agentes interactúen con las computadoras. Una mayor capacidad de codificación se traduce directamente en un agente que tiene más probabilidades de completar con éxito tareas complejas. Por ejemplo, es más probable que un agente que pueda escribir consultas SQL para extraer información de una tabla satisfaga las necesidades del usuario que un agente que intente agregar directamente la misma información.

- De importancia estratégica

Con mejoras continuas, los agentes pueden asumir más tareas, acelerando la investigación y la ingeniería. De esta manera, no sólo ayuda a construir sistemas de software, sino que también ayuda a establecer un prototipo organizacional para ver cómo será un agente de IA verdaderamente utilizable.

Actualmente, el equipo no tiene planes de poner en producción estos "agentes de código". Sin embargo, esperan hacer públicas estas herramientas y modelos con el tiempo, permitiendo a cualquiera crear sus propios agentes de IA.

**Las computadoras personales reales nos brindan libertad, dignidad y la capacidad de hacer lo que queramos. **

Un agente de IA verdaderamente útil es en realidad una computadora que comprende los objetivos, se comunica de manera proactiva y trabaja entre bastidores para nosotros, eliminando las barreras entre las ideas y la ejecución.

En lugar de mirar una pantalla, somos libres de explorar nuestras curiosidades, descubrir las leyes del universo, crear obras maestras de arte, conocernos más profundamente o simplemente tomarnos el tiempo para disfrutar de la vida.

miembro del equipo

Aunque sólo hay unas 20 personas, los miembros del equipo de Imbue pueden describirse como tigres agachados, dragones ocultos.

El cofundador y director ejecutivo Kanjun Qiu obtuvo su licenciatura y maestría en el MIT. Además de IA, otros miembros incluso tienen experiencia en neurociencia y física del plasma.

Los fundadores Kanjun Qiu y Josh Albrecht creen que la amplitud de conocimientos previos que tiene el equipo es una ventaja.

Aunque según Wall Street News, varios inversores de Silicon Valley dudan de que este pequeño equipo tenga la capacidad de gestionar un auténtico laboratorio de investigación de IA.

Pero en opinión de quienes conocen a los fundadores de Imbue, el capital de riesgo tiende a apoyar a unos pocos fundadores con antecedentes bien conocidos, por lo que esta preocupación no es importante.

Algunos inversores y asesores

Referencias: