**出典: **Financial AP通信
編集者 石正成
北京時間水曜日の早朝、アメリカのテクノロジー新興企業であるOpenAIは、外部の力を導入し、AIシステムの欠陥とリスクを発掘することを目的とした「レッドチーム」ネットワークメンバーの世界的な募集開始を発表する発表を行った。あらかじめ。
(出典: OpenAI)
いわゆる「レッド チーム」ネットワーク、またはレッド チーミングの概念は、軍事シミュレーションに由来しています。 **つまり、仮想の「敵」をシミュレートするチームを見つけて、自分の側 (「青いチーム」) の準備レベルをテストします。 **AI の分野における「レッド チーム」の任務は、AI が社会保障を危険にさらすなどの違法な目的を支援するのを防ぐために、ハッカーやその他の潜在的に危険な人物をシミュレートし、大規模な言語モデルの抜け穴を見つけようとすることです。現実社会では。
OpenAIは、過去数年間、さまざまな分野の専門家が未発表モデルのテストに協力してきたが、今後はさまざまな地域、さまざまな言語、さまざまな専門分野から多数の人材を採用する「正規部隊」を結成する予定であると述べた。経験豊富な人々が協力して AI モデルをより安全にします。 **重要なバージョンがオンラインになる前に集中テストのためにグループを募集するだけだったこれまでとは異なり、OpenAI では不確実な数のメンバーが需要に応じて開発サイクル全体を通じてテストを実施できるようになります。
同時に、この「レッドチーム」ネットワークはOpenAIのグローバル専門家ライブラリーにもなり、OpenAIは「レッドチーム」メンバー間のコミュニケーションのプラットフォームも提供します。 OpenAIはまた、採用を希望する専門家の指示の一部を公式Webサイトにリストしているが、これらの分野に限定されないことも強調している。
認知科学：認知科学
化学: 化学
生物学: 生物学
物理学: 物理学
コンピュータ サイエンス: コンピュータ サイエンス
ステガノグラフィー: ステガノグラフィー
政治学: 政治学
心理学: 心理学
説得: 説得
経済学: 経済学
人類学: 人類学
社会学: 社会学
HCI (ヒューマン コンピュータ インタラクション): ヒューマン コンピュータ インタラクション
公平性とバイアス: 公平性とバイアス
アライメント: ターゲットのアライメント
教育: 教育
ヘルスケア: 医療
法律: 法律
子供の安全：子供の安全
サイバーセキュリティ: ネットワーク セキュリティ
財務: 財務
誤った/偽の情報：誤った/誤った情報
政治的利用: 政治的利用
プライバシー: プライバシー
生体認証: 生体認証
言語と言語学：言語と言語学
ちなみに、OpenAIは「レッドチーム」プロジェクトに参加するメンバーに報酬を支払うとも明言している（ただし金額は明らかにしていない）。 OpenAIはまた、「レッドチーム」に参加するプロジェクトは通常、機密保持契約に署名するか、不特定期間沈黙を守る必要があると強調した。
OpenAIは、応募チャンネルは今年12月1日までオープンであり、順次応募を審査し、その後さらに公募が必要かどうかを評価すると述べた。
OpenAIが言及したように、「レッドチーム」は長い間存在しており、多くのメンバーがすでにメディアからの公開インタビューを受けています。
今年4月のフィナンシャル・タイムズ紙の暴露記事で、米国ロチェスター大学の化学工学教授アンドリュー・ホワイトは、GPT-4の「レッドチーム」テストに参加したと述べた**。彼の攻撃目標は、ChatGPT を使用してまったく新しい神経毒を作成することだったということです。ホワイト氏は、化学論文や化学メーカーのカタログを大型モデルに供給するために「プラグイン」機能を使用し、大型モデルは彼に仮説の毒素を生成できる場所さえ見つけたと語った。 **
ホワイト氏は、大規模なモデルは最終的に多くの人が化学実験をより迅速かつ正確に行うのに役立つ可能性があるが、一部の人々がAIを使用して危険な実験を行うという深刻な危険も存在すると述べた。
White 氏からフィードバックを受けた後、OpenAI は同様の質問に応答しないようにシステムに変更を加えました。メディアによると、弁護士、教師、リスク管理担当者、セキュリティ研究者など、さまざまな背景を持つ約10人の「レッドチーム」メンバーがおり、そのほとんどが米国とヨーロッパに拠点を置いているという。彼らは、GPT-4 がリリースされる前の数か月間、システムのテストに約 10 ～ 40 時間を費やし、時給約 100 ドルを支払っていたことを明らかにしました。
8.4K 人気度
25.1K 人気度
34.6K 人気度
36.2K 人気度
476 人気度
OpenAIが「レッドチーム」ネットワークの公募を発表、AI指向のスーパーエキスパートライブラリが誕生しようとしている
**出典: **Financial AP通信
編集者 石正成
北京時間水曜日の早朝、アメリカのテクノロジー新興企業であるOpenAIは、外部の力を導入し、AIシステムの欠陥とリスクを発掘することを目的とした「レッドチーム」ネットワークメンバーの世界的な募集開始を発表する発表を行った。あらかじめ。
いわゆる「レッド チーム」ネットワーク、またはレッド チーミングの概念は、軍事シミュレーションに由来しています。 **つまり、仮想の「敵」をシミュレートするチームを見つけて、自分の側 (「青いチーム」) の準備レベルをテストします。 **AI の分野における「レッド チーム」の任務は、AI が社会保障を危険にさらすなどの違法な目的を支援するのを防ぐために、ハッカーやその他の潜在的に危険な人物をシミュレートし、大規模な言語モデルの抜け穴を見つけようとすることです。現実社会では。
OpenAIは、過去数年間、さまざまな分野の専門家が未発表モデルのテストに協力してきたが、今後はさまざまな地域、さまざまな言語、さまざまな専門分野から多数の人材を採用する「正規部隊」を結成する予定であると述べた。経験豊富な人々が協力して AI モデルをより安全にします。 **重要なバージョンがオンラインになる前に集中テストのためにグループを募集するだけだったこれまでとは異なり、OpenAI では不確実な数のメンバーが需要に応じて開発サイクル全体を通じてテストを実施できるようになります。
同時に、この「レッドチーム」ネットワークはOpenAIのグローバル専門家ライブラリーにもなり、OpenAIは「レッドチーム」メンバー間のコミュニケーションのプラットフォームも提供します。 OpenAIはまた、採用を希望する専門家の指示の一部を公式Webサイトにリストしているが、これらの分野に限定されないことも強調している。
ちなみに、OpenAIは「レッドチーム」プロジェクトに参加するメンバーに報酬を支払うとも明言している（ただし金額は明らかにしていない）。 OpenAIはまた、「レッドチーム」に参加するプロジェクトは通常、機密保持契約に署名するか、不特定期間沈黙を守る必要があると強調した。
OpenAIは、応募チャンネルは今年12月1日までオープンであり、順次応募を審査し、その後さらに公募が必要かどうかを評価すると述べた。
ステージに登壇したOpenAI「レッドチーム」メンバー
OpenAIが言及したように、「レッドチーム」は長い間存在しており、多くのメンバーがすでにメディアからの公開インタビューを受けています。
今年4月のフィナンシャル・タイムズ紙の暴露記事で、米国ロチェスター大学の化学工学教授アンドリュー・ホワイトは、GPT-4の「レッドチーム」テストに参加したと述べた**。彼の攻撃目標は、ChatGPT を使用してまったく新しい神経毒を作成することだったということです。ホワイト氏は、化学論文や化学メーカーのカタログを大型モデルに供給するために「プラグイン」機能を使用し、大型モデルは彼に仮説の毒素を生成できる場所さえ見つけたと語った。 **
ホワイト氏は、大規模なモデルは最終的に多くの人が化学実験をより迅速かつ正確に行うのに役立つ可能性があるが、一部の人々がAIを使用して危険な実験を行うという深刻な危険も存在すると述べた。
White 氏からフィードバックを受けた後、OpenAI は同様の質問に応答しないようにシステムに変更を加えました。メディアによると、弁護士、教師、リスク管理担当者、セキュリティ研究者など、さまざまな背景を持つ約10人の「レッドチーム」メンバーがおり、そのほとんどが米国とヨーロッパに拠点を置いているという。彼らは、GPT-4 がリリースされる前の数か月間、システムのテストに約 10 ～ 40 時間を費やし、時給約 100 ドルを支払っていたことを明らかにしました。