**出典:**新志源
たった今、国内オープンソースモデルパラメータ記録が再び更新されました！
9 月 20 日、上海人工知能研究所 (Shanghai AI Laboratory) と SenseTime は、香港中文大学および復丹大学と協力して、200 億パラメータの InternLM-20B モデルを正式にオープンソース化しました。
プロジェクトアドレス:
マジックコミュニティ:
今回のShusheng・Puyu大型モデルの200億パラメータ版は、「価格を上げずに量を増やした」と言えるパラメータ数は3分の1以下だが、その性能は今日のベンチマークに匹敵する。オープンソース モデル - Llama2-70B。現在主流のオープンソース 13B モデルは、あらゆる面で InternLM-20B に後れを取っています。
それだけでなく、大規模モデルの開発とアプリケーションのためのフルチェーンツールシステムも同時にアップグレードされました。
今回、上海 AI 研究所は、オープンソース モデル自体からオープンソース ツールのチェーン全体に至るまで、独自の大規模モデルの研究開発で蓄積したすべての宝を引き出し、研究者、機関、社会実践者を支援したいと考えています。誰もが、非常に低いコストと敷居で、大型モデルによってもたらされる技術革新に参加することができます。
性能は「クラス最高」、敷居は「箱から出してすぐに使える」 InternLM-20B は、大型モデルが数千の業界に進出する触媒であり、新たな支点となります。
この大型モデルの波はすべての人に恩恵をもたらします。
周知のとおり、大規模モデルの研究開発システム全体には、複数のリンクが張り巡らされており、非常に複雑な閉ループのセットとなっています。
より標準化された方法で整理するにはどうすればよいでしょうか?ベースモデルを入手した後、どのように使用しますか?段階的な実装プロセスではどのような予防策を講じる必要がありますか?どこにでも問題はあります。
上海 AI 研究所のチームは、日々の業務で実際に実践した結果、一連の貴重な経験を蓄積してきました。
現在、オープンソース エコシステムを繁栄させるために、データの準備から事前トレーニング、展開、評価アプリケーションに至るまで、モデルに含まれるすべてのツールをオープンソースにするだけです。
「専用公式」を解読
大規模モデルにとってデータの重要性は生産のための原材料のようなものであり、電源がなければインテリジェント AI システムの動作を推進することはできません。特に、高品質なデータは大型モデルの産業化にとって重要な要素の 1 つです。
収集に関しては、Web ページ、書籍、専門レポート、論文などのさまざまなチャネルからクロールされたオリジナルの資料を効果的にフィルタリングしてクリーンアップするだけでなく、モデルの内部テスト ユーザーから提供されるフィードバックを最大限に活用する必要があります。
しかし、LLMが理解力、プログラミング力、論理的推論などの重要な能力を身につけ、真の「六角戦士」となるためには、自らデータを構築することがより重要です。
この点に関しては、学術研究も非常に活発であり、例えば、Microsoft の「Textbooks Are All You Need」は、データトレーニングされたモデル phi-1 を構築することで、ベンチマークで相対的な優位性を達成できます。
上海 AI 研究所のチームに関する限り、彼らは単一の方向からデータを構築するのではなく、「完全な次元」からデータを構築することを選択し、知識システム全体を整理してコーパスを構築しました。
したがって、これらのコーパスの知識と論理の密度は非常に高くなります。
大量の通常のコンテンツに少量の「触媒」を追加すると、LLM の主要な機能をより効果的に刺激できるだけでなく、モデルが関連情報をよりよく吸収して理解できるようになります。
上海 AI 研究所の主力科学者であるリン・ダーファ氏の言葉を借りると、「ある意味、ここでの 1 つのトークンは、従来のトークン 10 個、さらには 100 個の有効性に相当する可能性があります。」
コンピューティング能力の点では、豊富なリソースを持つ大手インターネット企業を除いて、オープンソース コミュニティのほとんどの開発者にとって、より多くのコンピューティング能力を得るのは困難です。
「このモデルを使用できる軽量ツールが登場することを願っています。」これは、Shanghai AI Lab が受け取ったコミュニティからのフィードバックの中で最も多くのものです。
オープンソースの XTuner 軽量微調整ツールを通じて、ユーザーは自分のデータを使用して、8GB コンシューマ グレード GPU 上で上海 AI 研究所のオープンソース モデルを微調整できます。
さらに、モデルの適用という点では、「チャット対話」は依然としてモデルの機能の非常に重要な部分です。
上海 AI 研究所は、大規模なモデルが中央ハブとして機能し、コード インタープリターがツールを呼び出す方法と同様に、ツールを使用して問題を解決することも強調したいと考えています。
同時に、このプロセス中に大規模モデルは自己反映も行うことができ、これが LLM のサポートによるインテリジェント エージェントの大きな可能性です。
Lin Dahua 氏は、Agent は検討する必要がある長期的な開発にとって非常に価値のある方向性になると信じています。
最終的なインテリジェントエージェントの世界では、組織全体の分業体制が進化し続け、将来的には、それぞれが専門分野を持った多数のインテリジェントエージェントが共存し、多くのテクノロジーが存在することになるでしょう。それは彼らの間のコミュニケーションを促進することができます。
では、このツールチェーンの具体的なアップグレードはどこにあるのでしょうか?
- データ: OpenDataLab オープンソース「Scholar・Ten Thousand Volumes」事前トレーニング コーパス
データに関しては、Scholar・Wanjuan 1.0 マルチモーダル トレーニング コーパスが 8 月 14 日に正式にオープンソース化されました。テキスト データ セット、グラフィック データ セット、ビデオ データ セットを含む総データ量は 2 TB を超えています。
Shusheng シリーズモデルは、高品質コーパスの「消化」により、意味理解、知識問答、視覚理解、視覚問答などのさまざまな生成タスクにおいて優れたパフォーマンスを発揮します。
これまでに約10万件のダウンロードがあった。
- 事前トレーニング: InternLM の効率的な事前トレーニング フレームワーク
事前トレーニング段階では、InternLM ウェアハウスは事前トレーニング フレームワーク InternLM-Train もオープンソース化しました。
一方で、Transformer モデル オペレーターを深く統合してトレーニング効率を向上させ、他方では、コンピューティングと通信の効率的なオーバーラップを実現する独自の Hybrid Zero テクノロジーを提案し、トレーニング プロセス中のクロスノード通信トラフィックを大幅に削減します。
このオープンソース システムは、究極のパフォーマンス最適化により、キロカード並列コンピューティングの高効率を実現し、そのトレーニング パフォーマンスは業界をリードするレベルに達しています。
- 微調整: InternLM フルパラメータ微調整、XTuner 軽量微調整
低コストの大規模モデル微調整ツールボックス XTuner も最近オープンソース化され、Llama などのさまざまなオープンソースの大規模モデルや、LoRA や QLoRA などの微調整アルゴリズムをサポートしています。
ハードウェア要件に関しては、XTuner は 7B モデルの低コスト微調整を実行するために、最低 8GB のビデオ メモリのみを必要とします。20B モデルの微調整は、24G のビデオ メモリを搭載したコンシューマー グレードのグラフィック カードでも完了できます。ビデオメモリ。
XTuner は、さまざまなオープン ソース モデルにさまざまな微調整フレームワークを提供します
- 導入: LMDeploy は、数十億から数千億のパラメータ言語モデルの効率的な推論をサポートします
デプロイメントに関しては、LMDeploy は、大規模モデル向けの軽量の推論デプロイメントおよびサービス ソリューションの完全なセットをカバーしています。
10 億から 1,000 億のパラメーターに及ぶ効率的なモデル推論をサポートしており、スループットやその他のパフォーマンスの点で、コミュニティの主流のオープンソース プロジェクトである FasterTransformer、vLLM、Deepspeed などを上回っています。
- 評価: OpenCompass のワンストップ、オールラウンドな大規模モデル評価プラットフォーム
評価部分では、オープンソースの大規模モデル評価プラットフォーム OpenCompass が、主題、言語、知識、理解、推論の 5 つの次元での評価システムを提供します。
同時に、50以上の評価データセット、30万件の評価質問をサポートし、ゼロサンプル、小規模サンプル、思考連鎖評価もサポートしており、現在最も包括的なオープンソース評価プラットフォームです。
-アプリケーション: Lagent の軽量で柔軟なエージェント フレームワーク
最終アプリケーション段階では、上海 AI 研究所チームはエージェントに焦点を当て、Lagent の軽量で柔軟なエージェント フレームワークを開発し、オープンソース化しました。
ユーザーが大規模な言語モデルを複数の種類のエージェントに迅速に変換できるようにサポートし、大規模な言語モデルを強化するための一般的なツールを提供します。
このオープン ソース フレームワークは、従来の ReAct、AutoGPT、ReWoo など、さまざまなタイプのエージェント機能を統合します。
このフレームワークのコード構造は明確であるだけでなく、シンプルでもあります。開発者は 20 行未満のコードで独自のエージェントを作成できます。
さらに、Lagent は、InternLM、Llama、ChatGPT を含む複数の大規模モデルをサポートしています。
Lagent のサポートにより、これらのエージェントは推論とツールの呼び出しを計画するために大規模な言語モデルを呼び出すことができ、実行プロセス中にタイムリーな反映と自己修正を行うことができます。
大規模なモデル ツール チェーンのフルセットに加えて、上海 AI 研究所は、最大 200 億のパラメータを備えた InternLM-20B も新たにオープンソース化しました。
評価結果は、同規模のオープンソース モデルの中で、InternLM-20B が最高の総合パフォーマンスを備えていることを示しています。
- 非常に長いコンテキストのサポート
まず、コンテキストの長さに関して、InternLM-20B は最大 16K のコンテキスト ウィンドウをサポートできます。
以下の図に示すように、InternLM-20B は、有名なコーヒー ブランドに関する長いニュース記事を読んだ後、3 つの質問に正確に答えることができました。
非常に長い論文やレポートについても、InternLM-20B は正確に要約を抽出できます。
たとえば、古典的な ResNet 論文を入力すると、すぐに要約を作成し、ResNet の核となるアイデアと実験結果を正確に要約します。
- ツールを呼び出して独学しましょう
第 2 に、長いコンテキストのサポートにより、モデルの機能が大幅に拡張され、ツールの呼び出し、コードの説明、反映と修正の余地が広がります。そして、これはInternLM-20Bで知的体を構築するための重要な技術となっています。
現在、InternLM-20B は、日付、天気、旅行、スポーツなど、数十の方向へのコンテンツ出力と数万の異なる API をサポートするだけでなく、コード インタープリターと同様の方法でツールを呼び出すこともできます。 。
同時に、このプロセスでは、現実のシーンを反映して修正し、接続することもできます。
清華大学などが共同でリリースした大規模モデルのツールコール評価セットであるToolBenchにおいて、InternLM-20BはChatGPTと比較して勝率63.5%を達成し、リスト内で最高の結果を達成した。
さらに、InternLM-20B モデルは、特定のゼロサンプル汎化機能も示します。モデルがトレーニング プロセス中に一部のツールを学習していない場合でも、ツールの説明やユーザーの質問に基づいてツールを呼び出すことができます。
以下の図に示すように、いくつかの AI ツールを提供すると、AI が自ら計画を立てて推論し、ユーザーの問題を解決できます。
- 同階級で総合首位
さまざまな次元で最大 50 のモデルを含む主流の評価セットにおいて、InternLM-20B は、同じ規模のオープンソース モデルの中で最高の全体的なパフォーマンスも達成しました。
同時に、平均性能の点では大型の Llama-33B を明らかに上回り、いくつかの評価では Llama2-70B を僅差で上回りました。
具体的には、InternLM-20B は、MMLU、C-、および AGI の総合的な被験者評価において優れた結果を示しており、同規模のオープンソース モデルの中で主導的な地位にあります。
特に中国語科目試験を含むC-とAGIではLlama2-70Bを大きく上回る成績を収めた。
事実知識をテストする評価では、InternLM-20B は総合的に 13B モデルを上回り、Llama-33B と競合することができます。
しかし、Llama-65B や Llama2-70B と比較すると、まだ一定のギャップがあります。
理解能力という点では、InternLM-20B のパフォーマンスはさらに優れており、Llama2-70B を含むすべてのオープンソース モデルを上回っています。
推論は、多くのモデルが失敗してきた「つまずきの石」であり、大規模モデルが実際にお金を稼ぐ能力をテストするだけでなく、モデルが実用的なアプリケーションをサポートできるかどうかも大きく左右されます。
以下の 4 つの推論評価セットでは、InternLM-20B の結果は主流の 13B オープンソース モデルを上回り、Llama-65B の推論能力にさえ近づいています。
プログラミング機能の面でも、InternLM-20B は大幅に向上しました。 Human と MBPP の 2 つの代表的な評価セットでは、Llama2-70B に近い値です。
注: 上のスクリーンショットの太字フォントは、13B ～ 33B の範囲で最良の結果です。
HuggingFace がリリースした最新の Open LLM Leaderboard 評価リストでは、InternLM-20B がパラメータが 60B 未満のベース モデルの平均スコアでトップとなり、Llama-65B も上回っています。
- より安全なオープンソース モデル
最後に、価値の整合性の観点からも、InternLM-20B はより完全で安全です。
偏見のある質問をすると、安全でない要因がすぐに特定され、正しい値のガイダンスが提供されます。
大型モデルの波が始まった後、我々が注力しなければならないのは、評価リストでトップになることだけではなく、大型モデルを「AIの至宝」から、社会で活用できる「新たな生産性」へとどのように作り上げていくかである。何千もの産業。
歴史を通じて、真に時代をリードするテクノロジーは、単なる破壊的イノベーションではありません。さらに重要なのは、それらが低コストで敷居が低く、誰でも利用できることです。しかし、OpenAIやGoogleのような大企業は、具体的な詳細を決して公表しないだろう。
そしてこれが上海AI研究所の本来の目的です。
Shusheng Puyu は 6 月の発表以来、複数回のアップグレードを完了し、オープンソース コミュニティと業界に幅広い影響を与えてきました。
さらに、上海 AI 研究所はコードを GitHub で公開し、モデルを HuggingFace および Moda コミュニティに公開するだけでなく、毎日コミュニティからのフィードバックを読み、ユーザーの質問に注意深く答えるために専任の担当者を派遣しています。
以前は、Meta の LLaMA モデルがオープンソース化され、ChatGPT の置き換えの熱狂を引き起こし、大規模なテキスト モデルの安定した普及の瞬間をもたらしました。
今日のアルパカ族の豊かな生態系と同じように、上海 AI 研究所のオープンソースへの取り組みは間違いなくコミュニティに計り知れない価値をもたらすでしょう。
Shusheng Puyu は、世界中の積極的な開発者や研究者にとって、適度なサイズながら非常に強力な機能のベースを提供します。
ほとんどの企業、特に中小企業は大型モデルのトレンドを目にしていますが、大手メーカーのようにコンピューティング能力を購入し、優秀な人材を引き付けるために多額の資金を投じる可能性は低いでしょう。
実際、7 月 6 日の人工知能カンファレンスを皮切りに、上海 AI 研究所はチェーン全体でオープンソース化を進めています。たとえば、XTuner を使用すると、ユーザーは独自のデータの一部のみを使用して、非常に軽量な方法で独自のモデルをトレーニングできます。
それだけでなく、チームはオープンソース コミュニティの質問、コーパス、ドキュメント、XTuner モデルを組み合わせて、オープンソース コミュニティの顧客サービスをトレーニングしました。これはオープンソース コミュニティへの真の貢献です。
実際、上海 AI 研究所は、その技術システム全体 (つまり、上記のフルチェーン ツール システム) をコミュニティと共有しています。
社会全体にはたくさんの業界、たくさんの企業、たくさんの機関や開発者が存在しますが、それらが大型モデルの価値を真に実現できれば、それは非常に重要な力となるでしょう。
彼らには無限の創造性がありますが、唯一欠けているのはリソースです。
上海AI研究所の「いざという時の助け」により、大型モデルは実装分野で大きな価値を発揮できることは間違いない。
林大華が言ったように——
研究所として、さまざまな業界のノウハウをデータとモデルの機能に統合し、非常に使いやすくし、より多くの人に使い方を教えて使用できるようにする、基本的なモデルと一連のツールを提供できます。さまざまな産業に花や果物があります。
「学者・万巻」事前学習コーパス：
InternLM 事前トレーニング フレームワーク:
XTuner 微調整ツールボックス:
LMD推論ツールチェーンを展開します。
OpenCompas 大規模モデル評価プラットフォーム:
Lagent エージェントのフレームワーク:
14.3K 人気度
32.4K 人気度
40.6K 人気度
37K 人気度
883 人気度
20B大型モデルの性能はLlama2-70Bに匹敵します！完全なオープンソースで、ベースからツールまですべてが明確に整理されています。
**出典:**新志源
たった今、国内オープンソースモデルパラメータ記録が再び更新されました！
9 月 20 日、上海人工知能研究所 (Shanghai AI Laboratory) と SenseTime は、香港中文大学および復丹大学と協力して、200 億パラメータの InternLM-20B モデルを正式にオープンソース化しました。
プロジェクトアドレス:
マジックコミュニティ:
今回のShusheng・Puyu大型モデルの200億パラメータ版は、「価格を上げずに量を増やした」と言えるパラメータ数は3分の1以下だが、その性能は今日のベンチマークに匹敵する。オープンソース モデル - Llama2-70B。現在主流のオープンソース 13B モデルは、あらゆる面で InternLM-20B に後れを取っています。
それだけでなく、大規模モデルの開発とアプリケーションのためのフルチェーンツールシステムも同時にアップグレードされました。
今回、上海 AI 研究所は、オープンソース モデル自体からオープンソース ツールのチェーン全体に至るまで、独自の大規模モデルの研究開発で蓄積したすべての宝を引き出し、研究者、機関、社会実践者を支援したいと考えています。誰もが、非常に低いコストと敷居で、大型モデルによってもたらされる技術革新に参加することができます。
性能は「クラス最高」、敷居は「箱から出してすぐに使える」 InternLM-20B は、大型モデルが数千の業界に進出する触媒であり、新たな支点となります。
この大型モデルの波はすべての人に恩恵をもたらします。
私たちが使用するものはすべてオープンソースです
周知のとおり、大規模モデルの研究開発システム全体には、複数のリンクが張り巡らされており、非常に複雑な閉ループのセットとなっています。
より標準化された方法で整理するにはどうすればよいでしょうか?ベースモデルを入手した後、どのように使用しますか?段階的な実装プロセスではどのような予防策を講じる必要がありますか?どこにでも問題はあります。
上海 AI 研究所のチームは、日々の業務で実際に実践した結果、一連の貴重な経験を蓄積してきました。
現在、オープンソース エコシステムを繁栄させるために、データの準備から事前トレーニング、展開、評価アプリケーションに至るまで、モデルに含まれるすべてのツールをオープンソースにするだけです。
「専用公式」を解読
大規模モデルにとってデータの重要性は生産のための原材料のようなものであり、電源がなければインテリジェント AI システムの動作を推進することはできません。特に、高品質なデータは大型モデルの産業化にとって重要な要素の 1 つです。
収集に関しては、Web ページ、書籍、専門レポート、論文などのさまざまなチャネルからクロールされたオリジナルの資料を効果的にフィルタリングしてクリーンアップするだけでなく、モデルの内部テスト ユーザーから提供されるフィードバックを最大限に活用する必要があります。
しかし、LLMが理解力、プログラミング力、論理的推論などの重要な能力を身につけ、真の「六角戦士」となるためには、自らデータを構築することがより重要です。
この点に関しては、学術研究も非常に活発であり、例えば、Microsoft の「Textbooks Are All You Need」は、データトレーニングされたモデル phi-1 を構築することで、ベンチマークで相対的な優位性を達成できます。
したがって、これらのコーパスの知識と論理の密度は非常に高くなります。
大量の通常のコンテンツに少量の「触媒」を追加すると、LLM の主要な機能をより効果的に刺激できるだけでなく、モデルが関連情報をよりよく吸収して理解できるようになります。
上海 AI 研究所の主力科学者であるリン・ダーファ氏の言葉を借りると、「ある意味、ここでの 1 つのトークンは、従来のトークン 10 個、さらには 100 個の有効性に相当する可能性があります。」
コンピューティング能力の点では、豊富なリソースを持つ大手インターネット企業を除いて、オープンソース コミュニティのほとんどの開発者にとって、より多くのコンピューティング能力を得るのは困難です。
「このモデルを使用できる軽量ツールが登場することを願っています。」これは、Shanghai AI Lab が受け取ったコミュニティからのフィードバックの中で最も多くのものです。
オープンソースの XTuner 軽量微調整ツールを通じて、ユーザーは自分のデータを使用して、8GB コンシューマ グレード GPU 上で上海 AI 研究所のオープンソース モデルを微調整できます。
さらに、モデルの適用という点では、「チャット対話」は依然としてモデルの機能の非常に重要な部分です。
上海 AI 研究所は、大規模なモデルが中央ハブとして機能し、コード インタープリターがツールを呼び出す方法と同様に、ツールを使用して問題を解決することも強調したいと考えています。
同時に、このプロセス中に大規模モデルは自己反映も行うことができ、これが LLM のサポートによるインテリジェント エージェントの大きな可能性です。
Lin Dahua 氏は、Agent は検討する必要がある長期的な開発にとって非常に価値のある方向性になると信じています。
最終的なインテリジェントエージェントの世界では、組織全体の分業体制が進化し続け、将来的には、それぞれが専門分野を持った多数のインテリジェントエージェントが共存し、多くのテクノロジーが存在することになるでしょう。それは彼らの間のコミュニケーションを促進することができます。
では、このツールチェーンの具体的なアップグレードはどこにあるのでしょうか?
- データ: OpenDataLab オープンソース「Scholar・Ten Thousand Volumes」事前トレーニング コーパス
データに関しては、Scholar・Wanjuan 1.0 マルチモーダル トレーニング コーパスが 8 月 14 日に正式にオープンソース化されました。テキスト データ セット、グラフィック データ セット、ビデオ データ セットを含む総データ量は 2 TB を超えています。
Shusheng シリーズモデルは、高品質コーパスの「消化」により、意味理解、知識問答、視覚理解、視覚問答などのさまざまな生成タスクにおいて優れたパフォーマンスを発揮します。
これまでに約10万件のダウンロードがあった。
- 事前トレーニング: InternLM の効率的な事前トレーニング フレームワーク
事前トレーニング段階では、InternLM ウェアハウスは事前トレーニング フレームワーク InternLM-Train もオープンソース化しました。
一方で、Transformer モデル オペレーターを深く統合してトレーニング効率を向上させ、他方では、コンピューティングと通信の効率的なオーバーラップを実現する独自の Hybrid Zero テクノロジーを提案し、トレーニング プロセス中のクロスノード通信トラフィックを大幅に削減します。
このオープンソース システムは、究極のパフォーマンス最適化により、キロカード並列コンピューティングの高効率を実現し、そのトレーニング パフォーマンスは業界をリードするレベルに達しています。
- 微調整: InternLM フルパラメータ微調整、XTuner 軽量微調整
低コストの大規模モデル微調整ツールボックス XTuner も最近オープンソース化され、Llama などのさまざまなオープンソースの大規模モデルや、LoRA や QLoRA などの微調整アルゴリズムをサポートしています。
ハードウェア要件に関しては、XTuner は 7B モデルの低コスト微調整を実行するために、最低 8GB のビデオ メモリのみを必要とします。20B モデルの微調整は、24G のビデオ メモリを搭載したコンシューマー グレードのグラフィック カードでも完了できます。ビデオメモリ。
- 導入: LMDeploy は、数十億から数千億のパラメータ言語モデルの効率的な推論をサポートします
デプロイメントに関しては、LMDeploy は、大規模モデル向けの軽量の推論デプロイメントおよびサービス ソリューションの完全なセットをカバーしています。
10 億から 1,000 億のパラメーターに及ぶ効率的なモデル推論をサポートしており、スループットやその他のパフォーマンスの点で、コミュニティの主流のオープンソース プロジェクトである FasterTransformer、vLLM、Deepspeed などを上回っています。
評価部分では、オープンソースの大規模モデル評価プラットフォーム OpenCompass が、主題、言語、知識、理解、推論の 5 つの次元での評価システムを提供します。
同時に、50以上の評価データセット、30万件の評価質問をサポートし、ゼロサンプル、小規模サンプル、思考連鎖評価もサポートしており、現在最も包括的なオープンソース評価プラットフォームです。
最終アプリケーション段階では、上海 AI 研究所チームはエージェントに焦点を当て、Lagent の軽量で柔軟なエージェント フレームワークを開発し、オープンソース化しました。
ユーザーが大規模な言語モデルを複数の種類のエージェントに迅速に変換できるようにサポートし、大規模な言語モデルを強化するための一般的なツールを提供します。
このフレームワークのコード構造は明確であるだけでなく、シンプルでもあります。開発者は 20 行未満のコードで独自のエージェントを作成できます。
さらに、Lagent は、InternLM、Llama、ChatGPT を含む複数の大規模モデルをサポートしています。
Lagent のサポートにより、これらのエージェントは推論とツールの呼び出しを計画するために大規模な言語モデルを呼び出すことができ、実行プロセス中にタイムリーな反映と自己修正を行うことができます。
国内初の 16,000 コンテキスト、Llama2-70B と連携した 200 億パラメータ
大規模なモデル ツール チェーンのフルセットに加えて、上海 AI 研究所は、最大 200 億のパラメータを備えた InternLM-20B も新たにオープンソース化しました。
評価結果は、同規模のオープンソース モデルの中で、InternLM-20B が最高の総合パフォーマンスを備えていることを示しています。
- 非常に長いコンテキストのサポート
まず、コンテキストの長さに関して、InternLM-20B は最大 16K のコンテキスト ウィンドウをサポートできます。
以下の図に示すように、InternLM-20B は、有名なコーヒー ブランドに関する長いニュース記事を読んだ後、3 つの質問に正確に答えることができました。
たとえば、古典的な ResNet 論文を入力すると、すぐに要約を作成し、ResNet の核となるアイデアと実験結果を正確に要約します。
第 2 に、長いコンテキストのサポートにより、モデルの機能が大幅に拡張され、ツールの呼び出し、コードの説明、反映と修正の余地が広がります。そして、これはInternLM-20Bで知的体を構築するための重要な技術となっています。
現在、InternLM-20B は、日付、天気、旅行、スポーツなど、数十の方向へのコンテンツ出力と数万の異なる API をサポートするだけでなく、コード インタープリターと同様の方法でツールを呼び出すこともできます。 。
同時に、このプロセスでは、現実のシーンを反映して修正し、接続することもできます。
清華大学などが共同でリリースした大規模モデルのツールコール評価セットであるToolBenchにおいて、InternLM-20BはChatGPTと比較して勝率63.5%を達成し、リスト内で最高の結果を達成した。
以下の図に示すように、いくつかの AI ツールを提供すると、AI が自ら計画を立てて推論し、ユーザーの問題を解決できます。
さまざまな次元で最大 50 のモデルを含む主流の評価セットにおいて、InternLM-20B は、同じ規模のオープンソース モデルの中で最高の全体的なパフォーマンスも達成しました。
同時に、平均性能の点では大型の Llama-33B を明らかに上回り、いくつかの評価では Llama2-70B を僅差で上回りました。
特に中国語科目試験を含むC-とAGIではLlama2-70Bを大きく上回る成績を収めた。
しかし、Llama-65B や Llama2-70B と比較すると、まだ一定のギャップがあります。
以下の 4 つの推論評価セットでは、InternLM-20B の結果は主流の 13B オープンソース モデルを上回り、Llama-65B の推論能力にさえ近づいています。
HuggingFace がリリースした最新の Open LLM Leaderboard 評価リストでは、InternLM-20B がパラメータが 60B 未満のベース モデルの平均スコアでトップとなり、Llama-65B も上回っています。
最後に、価値の整合性の観点からも、InternLM-20B はより完全で安全です。
偏見のある質問をすると、安全でない要因がすぐに特定され、正しい値のガイダンスが提供されます。
大型モデルは決して大手メーカーの独占物ではありませんでした。
大型モデルの波が始まった後、我々が注力しなければならないのは、評価リストでトップになることだけではなく、大型モデルを「AIの至宝」から、社会で活用できる「新たな生産性」へとどのように作り上げていくかである。何千もの産業。
歴史を通じて、真に時代をリードするテクノロジーは、単なる破壊的イノベーションではありません。さらに重要なのは、それらが低コストで敷居が低く、誰でも利用できることです。しかし、OpenAIやGoogleのような大企業は、具体的な詳細を決して公表しないだろう。
そしてこれが上海AI研究所の本来の目的です。
Shusheng Puyu は 6 月の発表以来、複数回のアップグレードを完了し、オープンソース コミュニティと業界に幅広い影響を与えてきました。
以前は、Meta の LLaMA モデルがオープンソース化され、ChatGPT の置き換えの熱狂を引き起こし、大規模なテキスト モデルの安定した普及の瞬間をもたらしました。
今日のアルパカ族の豊かな生態系と同じように、上海 AI 研究所のオープンソースへの取り組みは間違いなくコミュニティに計り知れない価値をもたらすでしょう。
ほとんどの企業、特に中小企業は大型モデルのトレンドを目にしていますが、大手メーカーのようにコンピューティング能力を購入し、優秀な人材を引き付けるために多額の資金を投じる可能性は低いでしょう。
実際、7 月 6 日の人工知能カンファレンスを皮切りに、上海 AI 研究所はチェーン全体でオープンソース化を進めています。たとえば、XTuner を使用すると、ユーザーは独自のデータの一部のみを使用して、非常に軽量な方法で独自のモデルをトレーニングできます。
実際、上海 AI 研究所は、その技術システム全体 (つまり、上記のフルチェーン ツール システム) をコミュニティと共有しています。
彼らには無限の創造性がありますが、唯一欠けているのはリソースです。
上海AI研究所の「いざという時の助け」により、大型モデルは実装分野で大きな価値を発揮できることは間違いない。
林大華が言ったように——
研究所として、さまざまな業界のノウハウをデータとモデルの機能に統合し、非常に使いやすくし、より多くの人に使い方を教えて使用できるようにする、基本的なモデルと一連のツールを提供できます。さまざまな産業に花や果物があります。
フルチェーンツールシステムのオープンソースリンク
「学者・万巻」事前学習コーパス：
InternLM 事前トレーニング フレームワーク:
XTuner 微調整ツールボックス:
LMD推論ツールチェーンを展開します。
OpenCompas 大規模モデル評価プラットフォーム:
Lagent エージェントのフレームワーク: