Lao Huang a participé à l'investissement et les femmes scientifiques chinoises du MIT ont collecté 200 millions de dollars ! 10 000 H100 forment un agent IA avec plus de 100 milliards de paramètres

Source : Xinzhiyuan

Editeur : Énée si endormi

Tout à l’heure, une autre licorne IA est née dans la Silicon Valley !

L'entreprise fondée par cette scientifique chinoise s'appelle Imbue, elle a récemment reçu un financement de 200 millions de dollars et sa valorisation a atteint 1 milliard de dollars.

Imbue est également l'une des rares licornes dont les fondatrices sont des femmes.

De plus, Imbue possède également 10 000 cartes graphiques Nvidia H100, il n'a donc plus à se soucier des devises fortes.

Oui, vous l'avez bien deviné, NVIDIA a de nouveau investi dans cette licorne IA !

Jim Fan, scientifique principal chez Nvidia, a également tweeté joyeusement ses félicitations : L'année dernière, nous avons parlé d'Avalon et de MineDojo chez NeurIPS, et maintenant la société derrière Avalon est devenue une licorne !

Cette histoire nous le dit, n’ignorez pas tous les chercheurs peu impressionnants que vous rencontrez lors d’une conférence de haut niveau : qui sait, un jour leur entreprise recevra un financement de haut niveau et le prochain Sam Altman naîtra.

Aucun argent n’a été généré, mais des centaines de millions ont été collectés. Un tel miracle ne peut se produire que dans la Silicon Valley.

NVIDIA est optimiste

Actuellement, le grand modèle « à très grande échelle » qu'Imbue entraîne contient plus de 100 milliards de paramètres, et Imbue dispose actuellement de 10 000 GPU NVIDIA H100.

La société n'a pas encore lancé de produits, à l'exception de l'environnement de formation open source Avalon l'automne dernier.

Kanjun Qiu et Josh Albrecht, cofondateurs d'Imbue

Cependant, le montant du financement d’Imbue dans ce cycle est 10 fois supérieur au montant levé précédemment.

L’investissement a été dirigé par l’Astera Institute, une organisation à but non lucratif fondée par le milliardaire Jed McCaleb, avec la participation de Nvidia, Kyle Vogt, PDG de la société de conduite autonome Cruise de General Motors, et du co-fondateur de Notion, Simon Last.

Aujourd’hui, le financement total d’Imbue a atteint 220 millions de dollars, ce qui en fait l’une des startups les mieux financées de ces derniers mois. Les quelques-uns devant sont Cohere (435 millions de dollars), Adept (415 millions de dollars) et AI21 Labs (283 millions de dollars).

Le nom le plus accrocheur parmi les investisseurs est sans aucun doute Nvidia.

Cette année encore, Nvidia a investi dans sept licornes de l'IA, dont Adept, Coreweave, Cohere, Inflection, Runway, AI21 Labs et Imbue.

Ciblage des agents IA

Une start-up qui en est encore à ses débuts, ne compte que 20 employés et n'a pas encore lancé de produits destinés au public, mais elle a pourtant gagné les faveurs de nombreux investisseurs bien connus en IA dans la Silicon Valley.

La raison en est que la voie choisie par Imbue n'est pas un modèle de base d'IA, mais un agent d'IA !

Après l’explosion de l’IA générative provoquée par les grands modèles, le marché a été complètement revitalisé et les investisseurs confiants recherchent avec impatience le prochain point chaud.

Les agents IA sont une direction dans laquelle de nombreux leaders de l’IA et géants de la technologie sont optimistes.

Karpathy, une personnalité éminente qui a rejoint OpenAI cette année et ancien directeur de Tesla AI, a déclaré un jour : les agents IA représentent l'avenir de l'IA !

Karpathy a un jour appelé AutoGPT la prochaine frontière

Les agents IA sont des agents autonomes qui, dans leur forme la plus simple, fonctionnent en boucles, générant des instructions et des actions autodirigées à chaque itération. En tant que tels, ils ne dépendent pas des humains pour guider les conversations et sont hautement évolutifs.

En tant que système informatique qui simule les choix humains pour accomplir des tâches complexes, les agents d’IA constituent sans aucun doute une voie plus imaginative que les grands modèles linguistiques.

En fait, dès mars et avril de cette année, il y a eu une explosion d'agents d'IA : comme par hasard, en seulement deux semaines, de nombreux agents intelligents tels que Stanford Westworld Town, BabyAGI, AutoGPT et GPT-Engineer ont été lancés. Le corps surgit comme des pousses de bambou après une pluie.

Certaines personnes ont même lancé un appel : ne lancez pas de grands modèles de langage. Nous ne pouvons pas lancer OpenAI, mais en ce qui concerne les agents IA, ils n'ont pas beaucoup plus d'expérience que nous. Peut-être que si vous n'y faites pas attention, vous pourrez devenir "OpenAI" sur la piste des agents IA !

Non, Imbue arrive.

Investisseurs : explorez lentement, ne vous précipitez pas pour mettre en œuvre

Cependant, le fondateur a déclaré que même si Imbue développe certains produits, il n'envisage pas d'en mettre la plupart en production.

Imbue espère que ces modèles et outils seront un moyen de nous aider à mener à l'AGI à l'avenir, afin que les gens puissent disposer d'une plate-forme pour créer leurs propres modèles personnalisés.

L'attitude d'Imbue envers le marché n'est pas urgente, cela se voit également dans le financement——

Le principal investisseur est l’Institut Astera, une organisation à but non lucratif dédiée aux projets technologiques, plutôt que des sociétés de capital-risque qui se précipitent dans les projets d’IA alors qu’ils sont en vogue.

Les fondateurs ont déclaré avoir intentionnellement évité de rencontrer des sociétés de capital-risque pendant le processus de collecte de fonds.

En effet, selon eux, le travail d’Imbue risque de prendre encore plusieurs années avant d’être véritablement commercialisé : les sociétés de capital-risque n’auront pas autant de patience, tandis que les organisations à but non lucratif seront plus tolérantes quant à leur calendrier de commercialisation.

Le plus grand investisseur et milliardaire Jed McCaleb a déclaré qu'après avoir regardé le PPT de Qiu et Albrecht construisant un agent d'IA, il s'est senti très satisfait et a donc pris la décision d'investir d'un geste de la main.

Bien sûr, il comprend aussi qu'il s'agit d'un gros pari : pour faire passer la recherche à l'étape suivante et commercialiser les travaux du laboratoire, il faudra dépenser beaucoup d'argent rien qu'en investissant dans des GPU.

Qiu et Albrecht sont également convaincus que dans dix ans, les résultats du PPT deviendront probablement des applications quotidiennes des gens et qu'ils ne seront probablement pas utilisés dans dix ans.

Modèle de base d'inférence de formation

Sur le blog officiel d'Imbue, ils ont expliqué ceci :

Actuellement, les systèmes d’IA ont des capacités très limitées pour accomplir des tâches simples pour le compte des utilisateurs. L’un des obstacles importants est le « raisonnement ».

On peut dire qu’une forte capacité de raisonnement est une condition nécessaire pour que les agents d’IA puissent réaliser des actions efficaces.

Cela peut être décomposé en : la capacité à faire face à l'incertitude, la capacité à savoir quand changer d'approche, la capacité à poser des questions et à recueillir de nouvelles informations, la capacité à élaborer des scénarios et à prendre des décisions, la capacité à proposer et à abandonner des hypothèses. , et la capacité de faire face à la nature complexe et imprévisible du monde réel.

Adapter des modèles de base pour « raisonner les agents d'IA » signifie non seulement tirer parti des puissantes capacités fournies par LLM, mais également comprendre de manière détaillée et pratique comment ces modèles sont formés et comment ils fonctionnent.

C'est-à-dire que, d'une part, il est nécessaire de créer des données de pré-entraînement spécifiquement utilisées pour renforcer l'inférence du modèle, et d'autre part, la technologie doit être développée pour rendre les résultats d'inférence plus fiables.

Pour ce faire, l’équipe a adopté une approche full-stack : formation du modèle de base, prototypage d’agents et d’interfaces expérimentaux, création d’outils et d’infrastructures robustes et compréhension des fondements théoriques de la façon dont le modèle apprend.

- Modèle

Entraînez et optimisez des modèles extrêmement volumineux (> 100 milliards de paramètres) pour obtenir des performances exceptionnelles sur les tests d'inférence.

La dernière ronde de financement a donné à Imbue des capacités que d'autres entreprises ne peuvent égaler : un cluster informatique équipé d'environ 10 000 H100, capable de réaliser une itération rapide de tout, des données de formation à l'architecture et aux mécanismes d'inférence.

-Agent

En plus du modèle, Imbue a conçu un prototype d'agent à usage interne (principalement pour le codage). Dans le même temps, nous essayons également divers autres agents pour obtenir un agent polyvalent puissant et fiable.

-Interface

Les interfaces de chat IA d’aujourd’hui sont fondamentalement skeuomorphes. L’équipe estime qu’il existe de nombreux problèmes fondamentaux concernant la robustesse, la confiance et la collaboration des agents qui peuvent être résolus en réinventant l’interface d’interaction.

En outre, les agents d’IA capables de comprendre le monde offrent également l’opportunité de repenser la façon dont les humains interagissent avec les ordinateurs, créant ainsi des systèmes qui nous soutiennent et nous responsabilisent mieux.

- outil

De bons outils accélèrent les cycles itératifs.

À cette fin, l'équipe consacre beaucoup d'efforts à la création d'outils pour elle-même : qu'il s'agisse d'un simple prototype d'agent pour corriger les erreurs de vérification de type et de thread, d'interfaces de débogage et de visualisation au-dessus des agents et des modèles, ou de systèmes plus complexes (par exemple, CARBS peut effectuer automatiquement la plupart des ajustements d'hyperparamètres et des recherches d'architecture réseau).

-Théorie

Pour créer un modèle pour les agents fournissant une base solide tout en maintenant la sécurité à long terme, la théorie de l’apprentissage profond doit être développée.

À cette fin, l’équipe concentre ses recherches sur l’apprentissage des fonctionnalités et sur la compréhension du mécanisme central derrière le processus d’apprentissage des grands modèles de langage.

À l'heure actuelle, l'équipe a publié de nombreux articles sur les bases théoriques de l'apprentissage auto-supervisé et sur les règles de base de l'apprentissage dans des systèmes tels que les réseaux de neurones.

Agent IA capable de raisonner et de coder

Cependant, avant de développer un agent d’IA utilisable par tous, l’équipe a d’abord mené des recherches approfondies sur ses propres scénarios d’utilisation.

Découvrez comment améliorer continuellement les modèles d'inférence conçus spécifiquement pour les agents et comment créer des outils pour rendre les agents plus fiables.

En conséquence, une grande partie du premier lot de prototypes d’agents tournait autour du travail principal de l’équipe : le code.

Les raisons spécifiques sont les suivantes :

- L'usage est une condition sine qua non de l'invention

La meilleure façon de faire en sorte que les agents d'IA fonctionnent de manière stable avec les humains est de créer des agents d'IA qui peuvent être utilisés dans le travail quotidien et résoudre divers problèmes au cours du processus.

**- Le code peut améliorer les capacités de raisonnement **

Premièrement, la formation au code aide le modèle à mieux raisonner. Deuxièmement, parce que les questions de programmation sont très objectives (le code réussit le test ou non), elles constituent une plate-forme idéale pour tester des compétences de raisonnement plus larges, permettant aux équipes de voir si leurs améliorations apportées au système sous-jacent sont efficaces.

- Le code est important pour l'action

La génération de code est un moyen efficace pour les agents d'interagir avec les ordinateurs. Une plus grande capacité de codage se traduit directement par un agent plus susceptible de mener à bien des tâches complexes. Par exemple, un agent capable d'écrire des requêtes SQL pour extraire des informations d'une table est plus susceptible de satisfaire les besoins de l'utilisateur qu'un agent qui tente directement d'agréger les mêmes informations.

- D'importance stratégique

Grâce à des améliorations continues, les agents peuvent assumer davantage de tâches, accélérant ainsi la recherche et l’ingénierie. De cette manière, cela aide non seulement à créer des systèmes logiciels, mais également à établir un prototype organisationnel pour voir à quoi ressemblera un agent d’IA réellement utilisable.

Actuellement, l’équipe n’envisage pas de mettre ces « agents de code » en production. Cependant, ils espèrent rendre publics ces outils et modèles au fil du temps, permettant ainsi à chacun de créer ses propres agents d’IA.

**Les vrais ordinateurs personnels nous donnent la liberté, la dignité et la possibilité de faire ce que nous aimons. **

Un agent d’IA vraiment utile est en fait un ordinateur qui comprend les objectifs, communique de manière proactive et travaille pour nous en coulisses, supprimant ainsi les barrières entre les idées et l’exécution.

Au lieu de regarder un écran, nous sommes libres d’explorer nos curiosités, de découvrir les lois de l’univers, de créer des chefs-d’œuvre d’art, de mieux nous connaître ou simplement de prendre le temps de profiter de la vie.

membre de l'équipe

Bien qu’ils ne soient qu’une vingtaine de personnes, les membres de l’équipe d’Imbue peuvent être décrits comme des tigres accroupis, des dragons cachés.

Le co-fondateur et PDG Kanjun Qiu est titulaire d'une licence et d'une maîtrise du MIT. Outre l'IA, d'autres membres ont également une formation en neurosciences et en physique des plasmas.

Les fondateurs Kanjun Qiu et Josh Albrecht estiment que l'étendue des connaissances de base dont dispose l'équipe constitue un avantage.

Même si selon Wall Street News, plusieurs investisseurs de la Silicon Valley doutent que cette petite équipe ait la capacité de diriger un véritable laboratoire de recherche en IA.

Mais du point de vue de ceux qui connaissent les fondateurs d’Imbue, le capital-risque a tendance à soutenir quelques fondateurs aux antécédents bien connus, cette préoccupation n’est donc pas importante.

Certains investisseurs et conseillers

Les références: