RL-тонкая настройка позволяет модели 4B превзойти 235B в финансовых вопросах и ответах: открытая среда обучения FinQA от Snorkel AI

По данным мониторинга 1M AI News, Snorkel AI выпустила FinQA — среду для обучения с подкреплением, усиленную контекстом реальных финансовых документов SEC 10-K, которая уже открыта исходно на платформе OpenEnv, совместно поддерживаемой Meta, PyTorch и Hugging Face. FinQA включает 290 задач по финансовым вопросам с экспертной разметкой по 22 публичным компаниям (включая Alphabet, Amazon, Apple, Bank of America, Boeing) и предоставляет агенту 4 инструмента MCP: перечислить доступные финансовые таблицы, получить структуру таблицы, выполнить SQL-запрос и отправить ответ. SQL в обязательном порядке требует фильтрующих условий и запрещает SELECT *, заставляя агента выбирать только нужные данные, а не выгружать целиком всю таблицу.

Snorkel AI в сотрудничестве с командой rLLM из Калифорнийского университета в Беркли использовала FinQA для подкрепляющего обучения и точной настройки Qwen3-4B; результаты на бенчмарке финансовых вопросов и ответов SnorkelFinance составили 59.7%, что выше, чем у Qwen3-235B той же серии (51.37%). Объём параметров — примерно 1/60 по сравнению с последним, а стоимость инференса снизилась примерно на 90%. Ключевой вывод: большие модели умеют рассуждать, но производят галлюцинации в названиях столбцов и игнорируют ограничения SQL; после RL-тренировки небольшие модели, напротив, способны точно вызывать инструменты — «дисциплина инструментов», а не масштаб, является узким местом.

FinQA — это первый открытый исходный environment, опубликованный Snorkel AI на OpenEnv; в дальнейшем будут выпущены многораундовые environments для предприятий, охватывающие такие отрасли, как медицина, страхование и право.