Производительность большой модели 20Б сравнима с Llama2-70B! Полностью открытый исходный код, все от базы до инструментов четко организовано.

**Источник:**Синьчжиюань

Только что запись параметров отечественной модели с открытым исходным кодом снова обновилась!

20 сентября Шанхайская лаборатория искусственного интеллекта (Шанхайская лаборатория искусственного интеллекта) и SenseTime в сотрудничестве с Китайским университетом Гонконга и Фуданьским университетом официально открыли исходный код модели InternLM-20B с 20 миллиардами параметров.

адрес проекта:

Магическое сообщество:

На этот раз можно сказать, что версия большой модели Shusheng·Puyu с 20 миллиардами параметров «увеличивает количество без увеличения цены». Число параметров составляет менее одной трети, но ее производительность может конкурировать с эталоном сегодняшних моделей. модели с открытым кодом - Llama2-70B. Текущие основные модели 13B с открытым исходным кодом уступают InternLM-20B по всем параметрам.

Мало того, одновременно была модернизирована комплексная система инструментов для разработки и применения крупных моделей.

На этот раз Шанхайская лаборатория искусственного интеллекта извлекла из себя все сокровища, накопленные в результате собственных крупномасштабных исследований и разработок моделей, от самой модели с открытым исходным кодом до всей цепочки инструментов с открытым исходным кодом, надеясь помочь исследователям, учреждениям и социальным практикам. Каждый может принять участие в технологической революции, вызванной большими моделями, при очень низких затратах и порогах.

Производительность «лидирует в своем классе», а порог «готов к использованию прямо из коробки».InternLM-20B является катализатором и новой точкой опоры для перехода крупных моделей в тысячи отраслей!

Эта волна больших моделей пойдет на пользу всем.

Все, что мы используем, имеет открытый исходный код

Как мы все знаем, во всей системе исследований и разработок крупных моделей имеется множество связанных между собой звеньев, которые представляют собой очень сложный набор замкнутых контуров.

Как организовать это более стандартизированным способом? Как использовать базовую модель после ее получения? Какие меры предосторожности следует принять во время поэтапного процесса внедрения? Проблемы есть везде.

После реальной практики в повседневной работе команда Шанхайской лаборатории искусственного интеллекта накопила ряд ценного опыта.

Теперь, чтобы процветать экосистема с открытым исходным кодом, они просто открывают исходный код всех инструментов, задействованных в модели, от подготовки данных до предварительного обучения, развертывания и оценки приложений.

Расшифруйте «Эксклюзивную формулу»

Важность данных для больших моделей подобна сырью для производства: без источника энергии они не могут управлять работой интеллектуальных систем искусственного интеллекта. В частности, высококачественные данные являются одним из ключевых элементов индустриализации больших моделей.

Что касается сбора данных, необходимо не только эффективно фильтровать и очищать оригинальные материалы, полученные из различных каналов, таких как веб-страницы, книги, профессиональные отчеты и статьи, но также в полной мере использовать отзывы, предоставленные пользователями внутреннего тестирования модели.

Однако для того, чтобы LLM приобрел ключевые способности, такие как понимание, программирование и логическое рассуждение, и стал настоящим «воином шестиугольника», более важно создавать данные самостоятельно.

В этом отношении академические исследования также очень активны.

Что касается команды Шанхайской лаборатории искусственного интеллекта, они решили строить данные не в одном направлении, а в «полном измерении», разбирая всю систему знаний и создавая корпус.

Поэтому плотность знаний и логики в этих корпусах очень высока.

Добавление небольшого количества «катализатора» к большому количеству обычного контента может не только лучше стимулировать ключевые возможности LLM, но и позволить модели лучше усваивать и понимать соответствующую информацию.

По словам Линь Дахуа, ведущего ученого Шанхайской лаборатории искусственного интеллекта: «В некотором смысле, один токен здесь может быть эквивалентен эффективности 10 или даже 100 традиционных токенов».

С точки зрения вычислительной мощности, за исключением крупных интернет-компаний, обладающих обильными ресурсами, большинству разработчиков из сообщества открытого исходного кода трудно получить большую вычислительную мощность.

«Я надеюсь, что появятся легкие инструменты, которые смогут использовать эту модель». Это наибольшее количество отзывов сообщества, полученных Шанхайской лабораторией искусственного интеллекта.

С помощью легкого инструмента тонкой настройки XTuner с открытым исходным кодом пользователи могут использовать свои собственные данные для точной настройки модели с открытым исходным кодом Шанхайской лаборатории искусственного интеллекта на графическом процессоре потребительского уровня емкостью 8 ГБ.

Кроме того, с точки зрения применения модели «диалог в чате» по-прежнему остается очень важной частью возможностей модели.

Шанхайская лаборатория искусственного интеллекта также хочет подчеркнуть, что большая модель служит центральным узлом и использует инструменты для решения проблем, подобно тому, как Code Interpreter вызывает инструменты.

В то же время в ходе этого процесса большая модель также может выполнять саморефлексию.В этом огромный потенциал интеллектуальных агентов при поддержке LLM.

Линь Дахуа считает, что Agent станет очень ценным направлением для долгосрочного развития, которое необходимо изучить.

В конечном мире интеллектуальных агентов все организационное разделение труда будет продолжать модернизироваться и развиваться. В будущем определенно будет сосуществовать множество интеллектуальных агентов, каждый со своими областями знаний, и будет много технологий. что может способствовать общению между ними.

Итак, где конкретное обновление этой цепочки инструментов?

- Данные: корпус предварительного обучения OpenDataLab с открытым исходным кодом «Scholar·Ten Thousand Volumes»

Что касается данных, 14 августа был официально открыт исходный код мультимодального учебного корпуса Scholar·Wanjuan 1.0. Общий объем данных превышает 2 ТБ, включая набор текстовых данных, набор графических данных и набор видеоданных.

Благодаря «перевариванию» высококачественного корпуса модели серии Shusheng продемонстрировали отличную производительность в различных генеративных задачах, таких как семантическое понимание, вопросы и ответы на знания, визуальное понимание, а также визуальные вопросы и ответы.

На данный момент было скачано около 100 000 раз.

- Предварительное обучение: эффективная система предварительного обучения InternLM

На этапе предварительного обучения склад InternLM также открыл исходный код системы предварительного обучения InternLM-Train.

С одной стороны, он глубоко интегрирует операторы модели Transformer для повышения эффективности обучения, а с другой стороны, предлагает уникальную технологию Hybrid Zero для достижения эффективного перекрытия вычислений и связи, что значительно снижает межузловой коммуникационный трафик во время процесса обучения.

Благодаря максимальной оптимизации производительности эта система с открытым исходным кодом достигает высокой эффективности параллельных вычислений на килограмм-картах, а ее производительность обучения достигла ведущего в отрасли уровня.

- Точная настройка: полнопараметрическая точная настройка InternLM, облегченная точная настройка XTuner

Недорогой набор инструментов для точной настройки больших моделей XTuner также недавно был открыт с открытым исходным кодом, поддерживая различные большие модели с открытым исходным кодом, такие как Llama, а также алгоритмы тонкой настройки, такие как LoRA и QLoRA.

Что касается аппаратных требований, XTuner требует минимум 8 ГБ видеопамяти для недорогой тонкой настройки модели 7B. Точную настройку модели 20B также можно выполнить на видеокарте потребительского класса с 24 ГБ видеопамяти. видеопамять.

XTuner предоставляет множество платформ тонкой настройки для различных моделей с открытым исходным кодом.

- Развертывание: LMDeploy поддерживает эффективный вывод от миллиардов до сотен миллиардов языковых моделей параметров

Что касается развертывания, LMDeploy охватывает полный набор облегченных решений по развертыванию и обслуживанию больших моделей.

Он поддерживает эффективный вывод моделей от одного до ста миллиардов параметров и превосходит основные проекты сообщества с открытым исходным кодом FasterTransformer, vLLM, Deepspeed и т. д. с точки зрения пропускной способности и других характеристик.

- Оценка: универсальная платформа для оценки больших моделей OpenCompass

В части оценки платформа оценки больших моделей с открытым исходным кодом OpenCompass предоставляет систему оценки в пяти измерениях: предмет, язык, знания, понимание и рассуждение.

В то же время он также поддерживает более 50 наборов оценочных данных, 300 000 оценочных вопросов, а также поддерживает оценку с нулевой выборкой, небольшой выборкой и цепочкой мышления. В настоящее время это наиболее полная оценочная платформа с открытым исходным кодом.

-Применение: легкая и гибкая структура агента Lagent

На заключительном этапе применения команда Шанхайской лаборатории искусственного интеллекта сосредоточилась на агенте, разработав и выложив в открытый доступ исходный код легкого и гибкого агента Lagent.

Он может помочь пользователям быстро преобразовать большую языковую модель в несколько типов агентов и предоставить типичные инструменты для расширения возможностей больших языковых моделей.

Эта платформа с открытым исходным кодом объединяет различные типы возможностей агента, включая классический ReAct, AutoGPT и ReWoo.

Структура кода этого фреймворка не только понятна, но и проста. Используя менее 20 строк кода, разработчики могут создать собственный агент.

Кроме того, Lagent поддерживает несколько крупных моделей, включая InternLM, Llama, ChatGPT.

При поддержке Lagent эти агенты могут вызывать большие языковые модели для планирования рассуждений и вызова инструментов, а также проводить своевременную рефлексию и самокоррекцию в процессе выполнения.

Первый отечественный контекст 16 тыс., 20 миллиардов параметров, связанных с Llama2-70B

В дополнение к полному набору цепочек инструментов для больших моделей Шанхайская лаборатория искусственного интеллекта также представила новый открытый исходный код InternLM-20B, содержащий до 20 миллиардов параметров.

Результаты оценки показывают, что среди моделей с открытым исходным кодом одинакового масштаба InternLM-20B заслуженно имеет лучшую общую производительность.

- Поддержка сверхдлинного контекста

Во-первых, с точки зрения длины контекста, InternLM-20B может поддерживать контекстные окна размером до 16 КБ.

Как показано на рисунке ниже, InternLM-20B смог точно ответить на три вопроса после прочтения длинной новостной статьи об известном кофейном бренде.

InternLM-20B также может точно извлекать рефераты из очень длинных статей и отчетов.

Например, после ввода классической статьи ResNet он сразу же пишет резюме, точно суммируя основные идеи и экспериментальные результаты ResNet.

- Назовите инструменты и станьте самоучкой

Во-вторых, при поддержке длинного контекста возможности модели значительно расширяются, и появляется больше возможностей для вызова инструментов, объяснения кода, а также размышлений и исправлений. И это стало ключевой технологией для создания интеллектуальных тел на InternLM-20B.

Теперь InternLM-20B может не только поддерживать вывод контента в десятках направлений, таких как дата, погода, путешествия, спорт и т. д., а также десятки тысяч различных API, но также может вызывать инструменты аналогично Code Interpreter. .

В то же время в этом процессе он также может размышлять, пересматривать и связываться с реальными сценами.

В ToolBench, наборе для оценки вызовов крупных моделей, совместно выпущенном Университетом Цинхуа и другими учреждениями, InternLM-20B достиг показателя побед 63,5% по сравнению с ChatGPT, достигнув лучшего результата в списке.

Более того, модель InternLM-20B также демонстрирует определенные возможности обобщения с нулевой выборкой. Даже если модель не изучила некоторые инструменты в процессе обучения, она все равно может вызывать инструменты на основе описаний инструментов и вопросов пользователя.

Как показано на рисунке ниже, если вы предоставите ему некоторые инструменты искусственного интеллекта, он сможет самостоятельно планировать и рассуждать, а также решать проблемы пользователей.

- Общее преимущество в одном классе

В основном наборе для оценки, включающем до 50 моделей различных размеров, InternLM-20B также показал лучшие общие характеристики среди моделей с открытым исходным кодом того же масштаба.

В то же время он явно превосходил более крупный Llama-33B по средним характеристикам и даже немного превосходил Llama2-70B в некоторых оценках.

В частности, InternLM-20B показывает отличные результаты в комплексных предметных оценках MMLU, C- и AGI и занимает лидирующие позиции среди моделей с открытым исходным кодом такого же масштаба.

Особенно на C- и AGI, куда входит китайский предметный экзамен, показатели значительно превосходили Llama2-70B.

В оценке, проверяющей фактические знания, InternLM-20B полностью превосходит модель 13B и может конкурировать с Llama-33B.

Но определенный отрыв по сравнению с Ламой-65Б или Ламой2-70Б все же есть.

Что касается способности понимания, производительность InternLM-20B еще более выдающаяся, превосходя все модели с открытым исходным кодом, включая Llama2-70B.

Рассуждение является «камнем преткновения», из-за которого провалились многие модели. Оно проверяет способность больших моделей приносить реальные деньги, а также во многом определяет, может ли модель поддерживать практическое применение.

В следующих четырех наборах оценок результаты InternLM-20B превзошли основную модель с открытым исходным кодом 13B и даже приблизились к возможностям вывода Llama-65B.

Что касается возможностей программирования, InternLM-20B также был значительно улучшен. В двух типичных наборах оценок Human и MBPP он близок к Llama2-70B.

Примечание. Жирные шрифты на скриншотах выше — это лучший результат в диапазоне 13B–33B.

В последнем оценочном списке Open LLM Leaderboard, опубликованном HuggingFace, InternLM-20B лидирует по среднему баллу среди базовых моделей с параметрами ниже 60B, а также превосходит Llama-65B.

- Более безопасная модель с открытым исходным кодом

Наконец, с точки зрения соответствия ценности InternLM-20B также более совершенен и безопасен.

Если вы зададите ему предвзятый вопрос, он немедленно определит опасные факторы и предоставит правильные рекомендации по оценке.

Большие модели никогда не были исключительной прерогативой крупных производителей.

После того, как началась волна больших моделей, нам нужно сосредоточиться не только на том, чтобы возглавить список оценок, но и на том, как превратить большие модели из «жемчужины искусственного интеллекта» в «новую производительность», которую можно будет использовать в тысячи отраслей.

На протяжении всей истории технологии, которые действительно опережают время, были не просто прорывными инновациями, но, что более важно, они были недорогими, низкопороговыми и доступными каждому. Но крупные компании, такие как OpenAI и Google, никогда не будут раскрывать конкретные детали.

И это первоначальная цель Шанхайской лаборатории искусственного интеллекта.

С момента своего запуска в июне Shusheng Puyu выполнил несколько этапов обновлений и оказал большое влияние на сообщество и индустрию открытого исходного кода.

Более того, Шанхайская лаборатория искусственного интеллекта не только открывает код на GitHub и размещает модели в сообществах HuggingFace и Moda, но и отправляет выделенных сотрудников для ежедневного чтения отзывов сообщества и тщательного ответа на вопросы пользователей.

Ранее модель LLaMA от Meta была с открытым исходным кодом, что вызвало безумие замен ChatGPT и положило начало моменту стабильного распространения для больших текстовых моделей.

Как и сегодняшняя процветающая экосистема семейства альпака, усилия Шанхайской лаборатории искусственного интеллекта с открытым исходным кодом определенно принесут неизмеримую пользу сообществу.

Для активных разработчиков и исследователей по всему миру Shusheng Puyu предоставит базу среднего размера, но с очень мощными возможностями.

Хотя большинство компаний, особенно малых и средних предприятий, заметили тенденцию к созданию крупных моделей, они вряд ли потратят много денег на приобретение вычислительной мощности и привлечение лучших талантов, таких как крупные производители.

Фактически, начиная с конференции по искусственному интеллекту 6 июля, Шанхайская лаборатория искусственного интеллекта занимается открытым исходным кодом по всей цепочке. Например, XTuner позволяет пользователям очень легко обучать свои собственные модели, используя только часть собственных данных.

Мало того, команда объединила вопросы, корпус, документы и модель XTuner сообщества открытого исходного кода для обучения службы поддержки клиентов сообщества открытого исходного кода. Это реальный вклад в сообщество открытого исходного кода.

Фактически, Шанхайская лаборатория искусственного интеллекта поделилась с сообществом всей своей технической системой (то есть упомянутой выше полнофункциональной системой инструментов).

Во всем обществе так много отраслей, так много компаний, так много учреждений и разработчиков. Если они действительно смогут осознать ценность больших моделей, это станет очень важной силой.

У них безграничный творческий потенциал, единственное, чего им не хватает – это ресурсов.

«Помощь в трудную минуту» Шанхайской лаборатории искусственного интеллекта определенно позволит большим моделям иметь огромную ценность в области внедрения.

Как сказал Линь Дахуа:

Как лаборатория, мы можем предоставить базовые модели и ряд инструментов, которые интегрируют ноу-хау различных отраслей в данные и возможности моделей, а также делают их очень простыми в использовании и обучают больше людей использовать их, чтобы их можно было использовать. в различных отраслях.Есть цветы и фрукты.

Ссылка на полную цепочку инструментов системы с открытым исходным кодом

Предварительный обучающий корпус «Ученый·Десять тысяч томов»:

Программа предварительной подготовки InternLM:

Набор инструментов для тонкой настройки XTuner:

Цепочка инструментов вывода LMDeploy:

Платформа оценки больших моделей OpenCompas:

Структура агента лагента: