Fireworks AI представляет предварительный просмотр обучающей платформы, поддерживающей полноразмерное обучение на всех параметрах с триллионным масштабом параметров

Согласно мониторингу 1M AI News, компания Fireworks AI, занимающаяся инфраструктурой для ИИ-вычислений, выпустила превью Fireworks Training, расширив себя с чисто вычислительной платформы до единой платформы для обучения и развертывания. Fireworks AI была основана Джо Линь (Lin Qiao), бывшим инженером из Meta, который принимал участие в создании PyTorch. На текущий момент оценка компании составляет 4 млрд долларов, а дневной объем обработанных токенов достигает 15 трлн.

Платформа предлагает три уровня:

1. Training Agent: для продуктовых команд без ML-инфраструктуры; описываете задачу, загружаете данные — и этого достаточно, чтобы выполнить весь процесс от обучения до развертывания; сейчас поддерживается только LoRA
2. Managed Training: для ML-инженеров; поддерживает SFT, DPO и донастройку с подкреплением, включая обучение со всеми параметрами
3. Training API: для исследовательских команд; позволяет настраивать функции потерь и циклы обучения, поддерживает такие алгоритмы, как GRPO, DAPO и т.п.

Масштаб обучения со всеми параметрами — от одного узла Qwen3 8B до Kimi K2.5 на 64 платах NVIDIA B200 (десятки триллионов параметров).

Производственные клиенты по вычислениям Fireworks AI — инструменты для ИИ-программирования Cursor, Vercel и Genspark — уже завершили на этой платформе обучение с усилением для передовых сценариев. Vercel обучила для своего продукта по генерации кода v0 автоматическую модель исправления ошибок: доля генерации кода без ошибок достигает 93%. Его CTO Малте Убл (Malte Ubl) отмечает, что по сравнению с Sonnet 3.5 это лишь 62%, а сквозная задержка по сравнению с ранее использовавшимися закрытыми моделями улучшилась в 40 раз. Genspark провела донастройку с подкреплением для открытой модели с триллионами параметров Kimi K2, чтобы построить агент для глубоких исследований: число обращений к инструментам выросло на 33%, а затраты снизились на 50%. Cursor распределенно завершила обучение с усилением Composer 2 на 3–4 кластерах по всему миру (сейчас — первое место в рейтинге CursorBench), при этом обучение и производственные вычисления используют один и тот же пул GPU.

Ключевое технологическое различие, на котором Fireworks AI делает акцент, — числовая согласованность между обучением и инференсом. Модель MoE (модель со смешением экспертов) численно более хрупкая, чем плотные модели: даже небольшие изменения скрытых состояний могут перевернуть маршрутизацию экспертов и вызвать каскадное усиление. Fireworks публикует для всех поддерживаемых моделей значения KL-дивергенции между обучением и инференсом — все они ниже 0.01.