Lao Huang participou do investimento e as cientistas chinesas do MIT arrecadaram US$ 200 milhões! 10.000 H100 treinam agente de IA com mais de 100 bilhões de parâmetros

Fonte: Xinzhiyuan

Editor: Enéias com tanto sono

Agora há pouco, outro unicórnio de IA nasceu no Vale do Silício!

A empresa fundada por esta cientista chinesa chama-se Imbue, recebeu recentemente um financiamento de 200 milhões de dólares e a sua avaliação atingiu mil milhões de dólares.

Imbue também é um dos poucos unicórnios cujos fundadores são mulheres.

Além disso, Imbue também possui 10.000 placas gráficas Nvidia H100, então ele não precisa mais se preocupar com moeda forte.

Sim, você adivinhou certo, a NVIDIA investiu novamente neste unicórnio de IA!

Jim Fan, um cientista sênior da Nvidia, também tuitou alegremente seus parabéns: No ano passado falamos sobre Avalon e MineDojo no NeurIPS, e agora a empresa por trás do Avalon se tornou um unicórnio!

Esta história nos diz: não ignore todos os pesquisadores inexpressivos que você encontrar em uma conferência importante. Quem sabe um dia sua empresa receberá financiamento de alto nível e o próximo Sam Altman nascerá.

Nenhum dinheiro foi gerado, mas centenas de milhões foram arrecadados. Tal milagre só pode acontecer no Vale do Silício.

NVIDIA está otimista

Atualmente, o modelo grande de "ultra grande escala" que o Imbue está treinando tem mais de 100 bilhões de parâmetros, e o Imbue tem atualmente 10.000 GPUs NVIDIA H100 em mãos.

A empresa ainda não lançou nenhum produto, exceto o ambiente de treinamento de código aberto Avalon no outono passado.

Cofundadores da Imbue, Kanjun Qiu e Josh Albrecht

No entanto, o valor do financiamento da Imbue nesta rodada é 10 vezes o valor arrecadado anteriormente.

O investimento foi liderado pelo Astera Institute, uma organização sem fins lucrativos fundada pelo bilionário Jed McCaleb, com a participação da Nvidia, Kyle Vogt, CEO da empresa autônoma Cruise da General Motors, e do cofundador da Notion, Simon Last.

Agora, o financiamento total da Imbue atingiu US$ 220 milhões, tornando-a uma das startups mais bem financiadas dos últimos meses. Os poucos à frente são Cohere (US$ 435 milhões), Adept (US$ 415 milhões) e AI21 Labs (US$ 283 milhões).

O nome que mais chama a atenção entre os investidores é, sem dúvida, Nvidia.

Apenas este ano, a Nvidia investiu em sete unicórnios de IA, incluindo Adept, Coreweave, Cohere, Inflection, Runway, AI21 Labs e Imbue.

Visando agentes de IA

Uma empresa start-up que ainda está em seus estágios iniciais, tem apenas 20 funcionários e ainda não lançou nenhum produto ao público, mas conquistou o favor de muitos investidores conhecidos em IA no Vale do Silício. Por que isso acontece?

A razão é que a rota escolhida pelo Imbue não é um modelo básico de IA, mas sim um agente de IA!

Após a explosão da IA generativa causada por grandes modelos, o mercado foi completamente revitalizado e os investidores confiantes estão procurando ansiosamente o próximo ponto quente.

Os agentes de IA são uma direção sobre a qual muitos líderes de IA e gigantes da tecnologia estão otimistas.

Karpathy, uma figura proeminente que ingressou na OpenAI este ano e ex-diretor de IA da Tesla, disse uma vez: Os agentes de IA representam o futuro da IA!

Karpathy certa vez chamou o AutoGPT de a próxima fronteira

Os agentes de IA são agentes autônomos que, em sua forma mais simples, operam em loops, gerando instruções e ações autodirigidas a cada iteração. Como tal, não dependem de humanos para orientar as conversas e são altamente escaláveis.

Como um sistema de computação que simula escolhas humanas para completar tarefas complexas, os agentes de IA são, sem dúvida, um caminho mais imaginativo do que grandes modelos de linguagem.

Na verdade, já em março e abril deste ano, houve uma explosão de agentes de IA. Como que por coincidência, em apenas duas semanas, muitos agentes inteligentes como Stanford Westworld Town, BabyAGI, AutoGPT e GPT-Engineer foram lançados. O corpo aparece como brotos de bambu depois da chuva.

Algumas pessoas até emitiram um apelo: não implementem grandes modelos de linguagem. Não podemos implementar OpenAI, mas quando se trata de agentes de IA, eles não têm muito mais experiência do que nós. Talvez se você não tomar cuidado, você possa se tornar "OpenAI" na trilha do agente de IA!

Não, Imbue está chegando.

Investidores: explorem devagar, não se apressem em implementar

No entanto, o fundador disse que embora a Imbue esteja desenvolvendo alguns produtos, não planeja colocar a maior parte deles em produção.

Imbue espera que esses modelos e ferramentas sejam uma forma de nos ajudar a levar à AGI no futuro, para que as pessoas possam ter uma plataforma para criar seus próprios modelos personalizados.

A atitude da Imbue em relação ao mercado não é urgente, isso também pode ser visto no financiamento——

O principal investidor é o Astera Institute, uma organização sem fins lucrativos dedicada a projetos tecnológicos, em vez de empresas de capital de risco que se precipitam em projetos de IA enquanto estão quentes.

Os fundadores disseram que evitaram intencionalmente reuniões com empresas de capital de risco durante o processo de captação de recursos.

Isto porque, na sua opinião, o trabalho da Imbue ainda pode levar vários anos antes de ser verdadeiramente comercializado. As empresas de capital de risco não terão essa paciência, enquanto as organizações sem fins lucrativos serão mais tolerantes com o seu calendário de comercialização.

O maior investidor e bilionário Jed McCaleb disse que depois de assistir ao PPT de Qiu e Albrecht construindo um agente de IA, ele se sentiu muito satisfeito, então tomou a decisão de investir com um aceno de mão.

Claro, ele também entende que se trata de uma grande aposta: para levar a pesquisa para o próximo estágio e comercializar o trabalho do laboratório, muito dinheiro será queimado apenas investindo em GPUs.

Qiu e Albrecht também estão muito confiantes de que em dez anos os resultados do PPT provavelmente se tornarão aplicações diárias das pessoas e provavelmente não serão usados em dez anos.

Modelo básico de inferência de treinamento

No blog oficial do Imbue, eles explicaram isso -

Atualmente, os sistemas de IA têm capacidades muito limitadas para realizar tarefas simples em nome dos utilizadores. Um dos obstáculos importantes é o “raciocínio”.

Pode-se dizer que uma forte capacidade de raciocínio é uma condição necessária para que os agentes de IA alcancem ações eficazes.

Isto pode ser subdividido em: a capacidade de lidar com a incerteza, a capacidade de saber quando mudar de abordagem, a capacidade de fazer perguntas e reunir novas informações, a capacidade de desenvolver cenários e tomar decisões, a capacidade de propor e abandonar hipóteses. e a capacidade de lidar com a natureza complexa e imprevisível do mundo real.

Adaptar modelos básicos para “raciocinar agentes de IA” significa não apenas aproveitar as vantagens dos poderosos recursos fornecidos pelo LLM, mas também compreender de forma detalhada e prática como esses modelos são treinados e como funcionam.

Ou seja, por um lado, é necessário criar dados de pré-treinamento especificamente utilizados para fortalecer a inferência do modelo e, por outro lado, a tecnologia deve ser desenvolvida para tornar os resultados da inferência mais confiáveis.

Para fazer isso, a equipe adotou uma abordagem full-stack: treinar o modelo base, criar protótipos de agentes e interfaces experimentais, construir ferramentas e infraestrutura robustas e compreender os fundamentos teóricos de como o modelo aprende.

- Modelo

Treine e otimize modelos extremamente grandes (>100 bilhões de parâmetros) para obter desempenho excepcional em benchmarks de inferência.

A última rodada de financiamento proporcionou à Imbue capacidades que outras empresas não conseguem igualar: um cluster de computação equipado com cerca de 10.000 H100s, que pode realizar iteração rápida de tudo, desde dados de treinamento até arquitetura e mecanismos de inferência.

-Agente

Além do modelo, a Imbue projetou um protótipo de agente para uso interno (principalmente para codificação). Ao mesmo tempo, também estamos tentando uma variedade de outros agentes para obter um agente de uso geral poderoso e confiável.

-Interface

As interfaces de chat de IA de hoje são basicamente skeuomórficas. A equipe acredita que existem muitas questões centrais relacionadas à robustez, confiança e colaboração dos agentes que podem ser resolvidas através da reinvenção da interface de interação.

Além disso, os agentes de IA que conseguem compreender o mundo também proporcionam uma oportunidade de repensar a forma como os humanos interagem com os computadores, criando assim sistemas que nos apoiam e capacitam melhor.

- ferramenta

Ótimas ferramentas aceleram os ciclos iterativos.

Para isso, a equipe se esforça muito para construir ferramentas para si mesma: seja um protótipo de agente simples para corrigir erros de verificação de tipo e threading, interfaces de depuração e visualização sobre agentes e modelos ou sistemas mais complexos (por exemplo, O CARBS pode concluir automaticamente a maioria dos ajustes de hiperparâmetros e pesquisas de arquitetura de rede).

-Teoria

Para criar um modelo para agentes que forneça uma base robusta e, ao mesmo tempo, mantenha a segurança a longo prazo, deve ser desenvolvida uma teoria de aprendizagem profunda.

Para esse fim, a equipe concentra sua pesquisa no aprendizado de recursos e na compreensão do mecanismo central por trás do processo de aprendizagem de grandes modelos de linguagem.

Atualmente, a equipe publicou muitos artigos sobre as bases teóricas da aprendizagem autossupervisionada e as regras básicas de aprendizagem em sistemas como as redes neurais.

Agente de IA que pode raciocinar e codificar

No entanto, antes de desenvolver um agente de IA que todos possam usar, a equipe primeiro conduziu uma pesquisa aprofundada sobre seus próprios cenários de uso.

Saiba como você pode melhorar continuamente os modelos de inferência projetados especificamente para agentes e como criar ferramentas para tornar os agentes mais confiáveis.

Como resultado, grande parte do primeiro lote de protótipos de agentes girava em torno do trabalho central da equipe – o código.

As razões específicas são as seguintes:

- O uso é condição sine qua non da invenção

A melhor maneira de fazer com que os agentes de IA trabalhem de forma estável com os humanos é criar agentes de IA que possam ser usados no trabalho diário e resolver vários problemas no processo.

**- O código pode melhorar as habilidades de raciocínio **

Primeiro, o treinamento em código ajuda o modelo a aprender a raciocinar melhor. Em segundo lugar, como as questões de programação são muito objetivas (o código passa no teste ou não), ela fornece uma plataforma ideal para testar habilidades de raciocínio mais amplas, permitindo que as equipes vejam se suas melhorias no sistema subjacente são eficazes.

- O código é importante para a ação

A geração de código é uma forma eficiente de os agentes interagirem com os computadores. Maior capacidade de codificação se traduz diretamente em um agente com maior probabilidade de concluir tarefas complexas com êxito. Por exemplo, um agente que pode escrever consultas SQL para extrair informações de uma tabela tem maior probabilidade de satisfazer as necessidades do usuário do que um agente que tenta agregar diretamente as mesmas informações.

- De importância estratégica

Com melhorias contínuas, os agentes podem assumir mais tarefas, acelerando a pesquisa e a engenharia. Desta forma, não só ajuda a construir sistemas de software, mas também ajuda a estabelecer um protótipo organizacional para ver como será um agente de IA verdadeiramente utilizável.

Atualmente, a equipe não tem planos de colocar esses “agentes de código” em produção. No entanto, eles esperam tornar públicas essas ferramentas e modelos ao longo do tempo, permitindo que qualquer pessoa crie seus próprios agentes de IA.

**Os computadores pessoais reais nos dão liberdade, dignidade e a capacidade de fazer o que gostamos. **

Um agente de IA verdadeiramente útil é, na verdade, um computador que entende os objetivos, se comunica de forma proativa e trabalha nos bastidores para nós, removendo as barreiras entre as ideias e a execução.

Em vez de ficarmos olhando para uma tela, somos livres para explorar nossas curiosidades, descobrir as leis do universo, criar obras-primas de arte, nos conhecer mais profundamente ou simplesmente aproveitar o tempo para aproveitar a vida.

membro da equipe

Embora existam apenas cerca de 20 pessoas, os membros da equipe de Imbue podem ser descritos como tigres agachados, dragões escondidos.

O cofundador e CEO Kanjun Qiu recebeu seu bacharelado e mestrado pelo MIT. Além de IA, outros membros têm formação em neurociência e física de plasma.

Os fundadores Kanjun Qiu e Josh Albrecht acreditam que a amplitude de conhecimento que a equipe possui é uma vantagem.

Embora, de acordo com o Wall Street News, vários investidores no Vale do Silício duvidem que esta pequena equipe tenha capacidade para administrar um verdadeiro laboratório de pesquisa de IA.

Mas na opinião daqueles que conhecem os fundadores da Imbue, o capital de risco tende a apoiar alguns fundadores com antecedentes bem conhecidos, pelo que esta preocupação não é importante.

Alguns investidores e consultores

Referências: