Elon Musk afirma que o Colossus2 está a treinar simultaneamente 7 modelos, com um máximo de 100 trilhões de parâmetros.

De acordo com o monitorização da 1M AI News, o fundador da SpaceX e da xAI, Musk, publicou no X que o supercomputador em cluster para treino Colossus 2 da SpaceXAI está atualmente a treinar simultaneamente 7 modelos:

1. Imagine V2, a próxima geração de um modelo de geração de imagens e vídeo
2. 2 variantes de um modelo com 1 bilião de milhões de parâmetros
3. 2 variantes de um modelo com 1,5 bilião de milhões de parâmetros
4. Um modelo com 6 biliões de milhões de parâmetros
5. Um modelo com 10 biliões de milhões de parâmetros

Ele acrescentou: “Ainda há algumas coisas para pôr em dia” (Some catching up to do). Antes, vários meios de comunicação tinham noticiado que o próximo modelo de bandeira da xAI, Grok 5, tem uma escala de parâmetros de cerca de 6 biliões de milhões; o 6T da lista corresponde a isso. O modelo com 10 biliões de milhões de parâmetros não tinha sido visto em reportagens públicas anteriores.

No seu post, Musk usa “SpaceXAI” para se referir à entidade resultante da fusão entre a SpaceX e a xAI. As duas empresas concluíram a fusão em fevereiro deste ano, com uma avaliação pós-fusão de cerca de 1,25 biliões de dólares. O Colossus 2 entrou em funcionamento a 17 de janeiro e é o primeiro cluster global de treino de IA em escala de gigawatt; está planeado atualizar para 1,5GW este mês.