Les performances du grand modèle 20B sont comparables à celles du Llama2-70B ! Entièrement open source, tout est clairement organisé, de la base aux outils.

**Source :**Xinzhiyuan

Tout à l'heure, l'enregistrement des paramètres du modèle open source national a été à nouveau actualisé !

Le 20 septembre, le laboratoire d'intelligence artificielle de Shanghai (Shanghai AI Laboratory) et SenseTime, en collaboration avec l'université chinoise de Hong Kong et l'université de Fudan, ont officiellement ouvert le modèle InternLM-20B à 20 milliards de paramètres.

adresse du projet :

Communauté magique :

Cette fois, on peut dire que la version à 20 milliards de paramètres du grand modèle Shusheng·Puyu « augmente la quantité sans augmenter le prix ». Le nombre de paramètres est inférieur à un tiers, mais ses performances peuvent rivaliser avec la référence d'aujourd'hui. modèles open source - Llama2-70B. Les modèles open source 13B grand public actuels sont laissés pour compte par InternLM-20B dans toutes les dimensions.

De plus, le système d'outils complet pour le développement et l'application de grands modèles a également été mis à niveau en même temps.

Du modèle open source lui-même à l'ensemble de la chaîne des outils open source, cette fois, le Shanghai AI Laboratory a mis en valeur tous les trésors accumulés grâce à sa propre recherche et développement de modèles à grande échelle, dans l'espoir d'aider les chercheurs, les institutions et les praticiens sociaux. Tout le monde peut participer à la révolution technologique apportée par les grands modèles à un coût et un seuil très bas.

Les performances sont « leaders dans sa catégorie » et le seuil est « prêt à l'emploi dès la sortie de la boîte ». InternLM-20B est le catalyseur et le nouveau point d'appui pour que les grands modèles entrent dans des milliers d'industries !

Cette vague de grands modèles profitera à tout le monde.

Tout ce que nous utilisons est open source

Comme nous le savons tous, dans l’ensemble du système de R&D des grands modèles, il existe de multiples liens reliés entre eux, ce qui constitue un ensemble très complexe de boucles fermées.

Comment l’organiser de manière plus standardisée ? Comment utiliser le modèle de base après l'avoir obtenu ? Quelles précautions faut-il prendre lors du processus de mise en œuvre étape par étape ? Il y a des problèmes partout.

Après une véritable pratique dans le travail quotidien, l’équipe du Shanghai AI Laboratory a accumulé un ensemble d’expériences précieuses.

Désormais, afin de faire prospérer l'écosystème open source, ils ouvrent simplement tous les outils impliqués dans le modèle, de la préparation des données à la pré-formation, en passant par le déploiement et les applications d'évaluation.

Décryptez la "Formule Exclusive"

L’importance des données pour les grands modèles est comparable à celle des matières premières pour la production : sans source d’énergie, elles ne peuvent pas piloter le fonctionnement des systèmes d’IA intelligents. En particulier, des données de qualité sont l’un des éléments clés pour l’industrialisation des grands modèles.

En termes de collecte, il est non seulement nécessaire de filtrer et de nettoyer efficacement les documents originaux extraits de divers canaux tels que les pages Web, les livres, les rapports et articles professionnels, mais également d'utiliser pleinement les commentaires fournis par les utilisateurs de tests internes modèles.

Cependant, pour que LLM acquière des capacités clés, telles que la compréhension, la programmation et le raisonnement logique, et devienne un véritable « guerrier de l'hexagone », il est plus important de construire des données par lui-même.

À cet égard, la recherche universitaire est également très active : par exemple, le projet « Textbooks Are All You Need » de Microsoft peut prendre une avance relative sur le benchmark en construisant un modèle phi-1 basé sur des données.

En ce qui concerne l'équipe du Shanghai AI Laboratory, ils n'ont pas choisi de construire des données à partir d'une seule direction, mais à partir d'une « dimension complète », en triant l'ensemble du système de connaissances et en construisant un corpus.

La densité de connaissances et de logiques dans ces corpus est donc très élevée.

L'ajout d'une petite quantité de « catalyseur » à une grande quantité de contenu régulier peut non seulement mieux stimuler les capacités clés du LLM, mais également permettre au modèle de mieux absorber et comprendre les informations pertinentes.

Selon Lin Dahua, un scientifique de renom du laboratoire d'intelligence artificielle de Shanghai, « dans un sens, un jeton ici peut équivaloir à l'efficacité de 10, voire 100 jetons traditionnels ».

En termes de puissance de calcul, à l'exception des grandes sociétés Internet qui disposent de ressources abondantes, il est difficile pour la plupart des développeurs de la communauté open source d'obtenir plus de puissance de calcul.

"J'espère qu'il y aura des outils légers capables d'utiliser le modèle." Il s’agit du plus grand nombre de commentaires de la communauté que le Shanghai AI Lab ait reçu.

Grâce à l'outil de réglage fin léger open source XTuner, les utilisateurs peuvent utiliser leurs propres données pour affiner le modèle open source du Shanghai AI Laboratory sur un GPU grand public de 8 Go.

De plus, en termes d'application du modèle, le « dialogue chat » reste une partie très importante des capacités du modèle.

Le Shanghai AI Laboratory souhaite également souligner que le grand modèle sert de plate-forme centrale et utilise des outils pour résoudre les problèmes, de la même manière que Code Interpreter appelle les outils.

Dans le même temps, au cours de ce processus, le grand modèle peut également effectuer une auto-réflexion, ce qui constitue l'énorme potentiel des agents intelligents avec le soutien du LLM.

Lin Dahua estime qu'Agent constituera une direction très précieuse pour le développement à long terme qui doit être explorée.

Dans le monde final des agents intelligents, toute la division organisationnelle du travail continuera de s'améliorer et d'évoluer. À l'avenir, de nombreux agents intelligents coexisteront certainement, chacun avec ses propres domaines d'expertise, et il y aura de nombreuses technologies. qui peut favoriser la communication entre eux. .

Alors, où est la mise à niveau spécifique de cette chaîne d’outils ?

- Données : Corpus de pré-formation OpenDataLab open source "Scholar·Ten Thousand Volumes"

En termes de données, le corpus de formation multimodal Scholar·Wanjuan 1.0 a été officiellement ouvert le 14 août. Le volume total de données dépasse 2 To, y compris l'ensemble de données textuelles, l'ensemble de données graphiques et l'ensemble de données vidéo.

Grâce à la « digestion » d'un corpus de haute qualité, les modèles de la série Shusheng ont démontré d'excellentes performances dans diverses tâches génératives telles que la compréhension sémantique, les questions et réponses de connaissances, la compréhension visuelle et les questions et réponses visuelles.

Jusqu'à présent, près de 100 000 téléchargements ont été effectués.

- Pré-formation : cadre de pré-formation efficace InternLM

Au cours de la phase de pré-formation, l'entrepôt InternLM a également open source le cadre de pré-formation InternLM-Train.

D'une part, il intègre profondément les opérateurs du modèle Transformer pour améliorer l'efficacité de la formation, et d'autre part, il propose la technologie unique Hybrid Zero pour obtenir un chevauchement efficace de l'informatique et de la communication, réduisant considérablement le trafic de communication entre nœuds pendant le processus de formation.

Grâce à l'optimisation ultime des performances, ce système open source atteint une efficacité élevée de calcul parallèle kilo-carte, et ses performances de formation ont atteint le niveau de pointe de l'industrie.

- Réglage fin : réglage fin des paramètres complets InternLM, réglage fin léger XTuner

La boîte à outils de réglage fin de grands modèles à faible coût, XTuner, a également été récemment open source, prenant en charge une variété de grands modèles open source tels que Llama, ainsi que des algorithmes de réglage fin tels que LoRA et QLoRA.

En termes de configuration matérielle requise, XTuner n'a besoin que d'un minimum de 8 Go de mémoire vidéo pour effectuer un réglage fin à faible coût du modèle 7B. Le réglage fin du modèle 20B peut également être effectué sur une carte graphique grand public avec 24 Go de mémoire vidéo. Mémoire vidéo.

XTuner fournit une variété de frameworks de réglage fin pour divers modèles open source

- Déploiement : LMDeploy prend en charge l'inférence efficace de milliards, voire de centaines de milliards de modèles de langage de paramètres

En termes de déploiement, LMDeploy couvre un ensemble complet de solutions légères de déploiement et de services d'inférence pour les grands modèles.

Il prend en charge une inférence de modèle efficace allant d'un milliard à cent milliards de paramètres et dépasse les principaux projets open source de la communauté FasterTransformer, vLLM, Deepspeed, etc. en termes de débit et d'autres performances.

- Évaluation : plateforme d'évaluation de grands modèles OpenCompass, unique et complète

Dans la partie évaluation, la plateforme open source d'évaluation de grands modèles OpenCompass propose un système d'évaluation en cinq dimensions : sujet, langage, connaissance, compréhension et raisonnement.

Dans le même temps, il prend également en charge plus de 50 ensembles de données d'évaluation, 300 000 questions d'évaluation et prend en charge l'évaluation d'un échantillon zéro, d'un petit échantillon et d'une chaîne de réflexion. Il s'agit actuellement de la plate-forme d'évaluation open source la plus complète.

-Application : framework d'agent léger et flexible Lagent

Dans la phase finale d'application, l'équipe du Shanghai AI Laboratory s'est concentrée sur l'agent, en développant et en open source le cadre d'agent léger et flexible de Lagent.

Il peut aider les utilisateurs à transformer rapidement un grand modèle de langage en plusieurs types d'agents et fournir des outils typiques pour renforcer les grands modèles de langage.

Ce framework open source intègre différents types de fonctionnalités d'agent, notamment ReAct classique, AutoGPT et ReWoo.

La structure du code de ce framework est non seulement claire, mais aussi simple. Avec moins de 20 lignes de code, les développeurs peuvent créer leur propre agent.

De plus, Lagent prend en charge plusieurs grands modèles, notamment InternLM, Llama, ChatGPT.

Avec le support de Lagent, ces agents peuvent appeler de grands modèles de langage pour le raisonnement de planification et l'invocation d'outils, et peuvent mener une réflexion et une autocorrection en temps opportun pendant le processus d'exécution.

Premier contexte national 16k, 20 milliards de paramètres liés à Llama2-70B

En plus d'un ensemble complet de chaînes d'outils de grands modèles, le Shanghai AI Laboratory dispose également d'un nouvel InternLM-20B open source avec jusqu'à 20 milliards de paramètres.

Les résultats de l'évaluation montrent que parmi les modèles open source de même ampleur, InternLM-20B est bien mérité avec les meilleures performances globales.

- Prise en charge du contexte extra long

Premièrement, en termes de longueur de contexte, InternLM-20B peut prendre en charge des fenêtres contextuelles jusqu'à 16 Ko.

Comme le montre la figure ci-dessous, InternLM-20B a pu répondre avec précision à trois questions après avoir lu un long article de presse sur une marque de café bien connue.

Pour les articles et rapports extrêmement longs, InternLM-20B peut également extraire avec précision des résumés.

Par exemple, après avoir saisi l'article ResNet classique, il rédige immédiatement un résumé, résumant avec précision les idées principales et les résultats expérimentaux de ResNet.

- Appelez les outils et devenez autodidacte

Deuxièmement, avec la prise en charge d'un contexte long, les capacités du modèle sont considérablement étendues et il y a plus de place pour l'invocation d'outils, l'explication du code, ainsi que la réflexion et la correction. Et c'est devenu une technologie clé pour construire des corps intelligents sur InternLM-20B.

Désormais, InternLM-20B peut non seulement prendre en charge la sortie de contenu dans des dizaines de directions telles que la date, la météo, les voyages, les sports, etc., ainsi que des dizaines de milliers d'API différentes, mais peut également appeler des outils d'une manière similaire à Code Interpreter. .

En même temps, dans ce processus, il peut également réfléchir, réviser et se connecter à des scènes réelles.

Dans ToolBench, un vaste ensemble d'évaluation d'appels d'outils modèles publié conjointement par l'Université Tsinghua et d'autres institutions, InternLM-20B a atteint un taux de réussite de 63,5 % par rapport à ChatGPT, obtenant ainsi le meilleur résultat de la liste.

De plus, le modèle InternLM-20B présente également certaines capacités de généralisation à échantillon nul. Même si le modèle n'a pas appris certains outils au cours du processus de formation, il peut toujours appeler des outils en fonction des descriptions d'outils et des questions des utilisateurs.

Comme le montre la figure ci-dessous, si vous lui fournissez des outils d'IA, il peut planifier et raisonner par lui-même et résoudre les problèmes des utilisateurs.

- Lead complet dans la même classe

Dans l'ensemble d'évaluation grand public comprenant jusqu'à 50 modèles dans diverses dimensions, InternLM-20B a également atteint les meilleures performances globales des modèles open source de même ampleur.

Dans le même temps, il a également clairement surpassé le plus grand Llama-33B en termes de performances moyennes, et a même battu de peu le Llama2-70B dans certaines évaluations.

Plus précisément, InternLM-20B obtient d'excellents résultats dans les évaluations complètes de sujets MMLU, C et AGI, et occupe une position de leader parmi les modèles open source de même ampleur.

Surtout en C- et AGI, qui incluent l'examen du sujet chinois, les performances ont largement dépassé Llama2-70B.

Dans l'évaluation qui teste les connaissances factuelles, InternLM-20B surpasse largement le modèle 13B et peut rivaliser avec Llama-33B.

Mais il existe encore un certain écart par rapport au Llama-65B ou au Llama2-70B.

En termes de capacité de compréhension, les performances d'InternLM-20B sont encore plus remarquables, surpassant tous les modèles open source, y compris Llama2-70B.

Le raisonnement est la « pierre d'achoppement » qui a fait échouer de nombreux modèles. Il teste la capacité des grands modèles à gagner de l'argent réel et détermine également en grande partie si le modèle peut prendre en charge des applications pratiques.

Dans les quatre ensembles d'évaluation d'inférence suivants, les résultats d'InternLM-20B ont dépassé le modèle open source traditionnel 13B et se sont même rapprochés de la capacité d'inférence de Llama-65B.

En termes de capacités de programmation, InternLM-20B a également été considérablement amélioré. Sur les deux ensembles d'évaluation typiques de Human et MBPP, il est proche de Llama2-70B.

Remarque : Les polices en gras dans les captures d'écran ci-dessus constituent les meilleurs résultats dans la gamme 13B-33B.

Dans la dernière liste d'évaluation Open LLM Leaderboard publiée par HuggingFace, InternLM-20B est en tête du score moyen parmi les modèles de base avec moins de 60B de paramètres et surpasse également Llama-65B.

- Un modèle open source plus sécurisé

Enfin, en termes d'alignement des valeurs, InternLM-20B est également plus complet et plus sûr.

Si vous lui posez une question biaisée, il identifiera immédiatement les facteurs dangereux et fournira des indications de valeur correctes.

Les grands modèles n’ont jamais été l’apanage exclusif des grands constructeurs.

Après le début de la vague de grands modèles, nous devons nous concentrer non seulement sur la tête de liste des évaluations, mais aussi sur la manière de faire passer les grands modèles du « joyau de l'IA » à une « nouvelle productivité » qui peut être utilisée dans des milliers d'industries.

Tout au long de l’histoire, les technologies qui sont véritablement à la pointe de notre époque ne sont pas seulement des innovations de rupture, mais, plus important encore, elles sont peu coûteuses, à faible seuil et accessibles à tous. Mais les grandes entreprises comme OpenAI et Google ne divulgueront jamais les détails spécifiques.

Et c’est l’intention initiale du Shanghai AI Laboratory.

Depuis son lancement en juin, Shusheng Puyu a réalisé plusieurs séries de mises à niveau et a eu un impact considérable sur la communauté et l'industrie open source.

De plus, en plus de rendre le code ouvert sur GitHub et de mettre les modèles sur les communautés HuggingFace et Moda, le Shanghai AI Laboratory envoie même du personnel dédié pour lire chaque jour les commentaires de la communauté et répondre attentivement aux questions des utilisateurs.

Auparavant, le modèle LLaMA de Meta était open source, déclenchant une frénésie de remplacement de ChatGPT et inaugurant un moment de diffusion stable pour les grands modèles de texte.

Tout comme l'écosystème prospère de la famille des alpagas aujourd'hui, les efforts open source du Shanghai AI Laboratory apporteront certainement une valeur incommensurable à la communauté.

Pour les développeurs et chercheurs actifs du monde entier, Shusheng Puyu fournira une base de taille modérée mais de capacités très puissantes.

Bien que la plupart des entreprises, en particulier les petites et moyennes entreprises, aient constaté la tendance des grands modèles, il est peu probable qu'elles dépensent beaucoup d'argent pour acheter de la puissance de calcul et attirer les meilleurs talents comme les grands fabricants.

En fait, depuis la conférence sur l'intelligence artificielle du 6 juillet, le Shanghai AI Laboratory s'est lancé dans l'open source tout au long de la chaîne. Par exemple, XTuner permet aux utilisateurs de former leurs propres modèles en utilisant uniquement certaines de leurs propres données de manière très légère.

De plus, une équipe a combiné les questions, le corpus, les documents et le modèle XTuner de la communauté open source pour former un service client de la communauté open source. Il s’agit d’une véritable contribution à la communauté open source.

En fait, le Shanghai AI Laboratory a partagé l’intégralité de son système technique avec la communauté (c’est-à-dire le système d’outils complet mentionné ci-dessus).

Il y a tellement d'industries, tellement d'entreprises, tellement d'institutions et de développeurs dans l'ensemble de la société, que s'ils peuvent vraiment comprendre la valeur des grands modèles, ce sera une force très importante.

Ils ont une créativité sans fin, la seule chose qui leur manque, ce sont les ressources.

L'« aide en cas de besoin » du Shanghai AI Laboratory permettra certainement aux grands modèles d'exercer une valeur énorme dans le domaine de la mise en œuvre.

Comme l'a dit Lin Dahua——

En tant que laboratoire, nous pouvons fournir des modèles de base et une série d'outils qui intègrent le savoir-faire de diverses industries dans les capacités de données et de modèles, les rendent très faciles à utiliser et enseignent à davantage de personnes à les utiliser, afin qu'ils puissent être utilisés. dans diverses industries. Il y a des fleurs et des fruits.

Lien open source du système d'outils de chaîne complet

Corpus de pré-formation « Scholar·Dix Mille Volumes » :

Cadre de pré-formation InternLM :

Boîte à outils de réglage fin XTuner :

Chaîne d'outils d'inférence LMDeploy :

Plateforme d'évaluation de grands modèles OpenCompas :

Cadre d'agent Lagent :