作者：カーリー，深潮 TechFlow先週、イギリスのマンチェスターにある中学校が、AIを使って自校の図書館を審査しました。AIは193冊の本の撤去リストを作成し、それぞれに理由を添えました。ジョージ・オーウェルの『1984』もその中にあり、理由は「拷問、暴力、性の脅迫を含むテーマがあるから」とされました。『1984』は、政府がすべてを監視し、歴史を書き換え、市民が何を見て何を見ないかを決定する世界を描いています。今や、AIが学校のために同じことを行い、自己が何を言っているのか全く分かっていない可能性があります。この学校の図書館員は不当だと感じ、AIが出した提案を全て実行することを拒否しました。学校は「子供の安全」を理由に彼女に対する内部調査を開始し、図書館に不適切な書籍を持ち込んだとして告発し、地方政府にも通報しました。彼女はストレスから病気になり、最終的には辞職しました。不条理なのは、地方政府の調査の結論が彼女が本当に子供の安全手続きに違反したと認定し、苦情が成立したことです。イギリスの学校図書館協会の会長キャロライン・ローチは、この結論は彼女が今後どの学校でも働けなくなることを意味すると述べました。AIの判断に抵抗した人は職を失い、AIの判断にサインした人は何の問題もありませんでした。その後、学校は内部文書で、すべての分類と理由がAIによって生成されたものであると認め、原文は「分類はAIによって生成されたが、私たちはこの分類が大体正確であると考えている」となっています。ある学校が「どの本が生徒に適しているか」という判断をAIに委ね、AIは自己も理解できない答えを返し、その後、人間の管理者は細かく見ることなく判を押しました。この件がイギリスの言論の自由団体Index on Censorshipによって暴露された後、引き起こされた問題は一つの学校の書架に留まりません：AIが人間に代わってどのコンテンツが適切か、どのコンテンツが危険かを決定し始めると、誰がAIの判断が正しいかを判断するのでしょうか？WikipediaがAIに門を閉ざす同じ週、別の機関がこの問題に行動で答えました。学校はAIに人が読めるものを決めさせましたが、世界最大のオンライン百科事典であるWikipediaは反対の選択をしました：AIに百科事典が何を書くかを決めさせないことです。同じ週、英語版Wikipediaは、AIによる記事内容の生成または改訂を禁止する新しい方針を正式に通過させました。投票結果は賛成44票、反対2票です。直接の理由はTomWikiAssistというAIアカウントです。今年3月初め、このアカウントはWikipedia上で複数の項目を自主的に作成・編集し、コミュニティに発見された後、緊急に対処されました。AIが一つの項目を書くのに数秒しかかからないのに対し、ボランティアがAIの項目内の事実、出典、表現が正確かどうかを検証するには数時間かかります。Wikipediaの編集コミュニティは総じて少人数です。AIが無限にコンテンツを生産できるなら、人間の編集者は全く追いつけません。これが最も厄介な部分ではありません。Wikipediaは世界中のAIモデルにとって最も重要な訓練データのソースの一つです。AIはWikipediaから知識を学び、その学んだことを使って新しいWikipediaの項目を作成し、新しい項目が次の世代のAIモデルに取り込まれてさらに訓練されます。一旦AIが生成した誤った情報が混入すれば、それはこのサイクルの中で繰り返し増幅され、入れ子式のAI汚染に変わります：AIが訓練データを汚染し、訓練データが再びAIを汚染するのです。しかし、Wikipediaの方針はAIに2つの隙間を残しました。編集者は自分の書いた文章をAIで潤色することができ、AIを使って翻訳を手伝わせることもできます。しかし、方針は特に警告しています：「AIはあなたの要求を超え、テキストの意味を変え、引用元と一致しなくなる可能性があります」。人間の著者が間違えることは、Wikipediaは20年以上の間、コミュニティの協力によって修正してきました。AIが間違える方法は異なり、彼らが作り出すものは本物より本物らしく見え、しかも大量生産が可能です。ある学校がAIの判断を信じ、その結果として一人の図書館員が失われました。Wikipediaは信じず、直接門を閉じました。しかし、もしAIを作った人たち自身が信じなくなったら、どうなるのでしょうか？AIを作る人たちが、まずは恐れ始めた外部の機関がAIに門を閉ざす中、AI企業自身も後退しています。同じ週、OpenAIはChatGPTの「成人モード」を無期限に保留しました。この機能はもともと昨年12月に導入される予定で、年齢確認を受けた成人ユーザーがChatGPTとエロティックな対話を行うことを許可するものでした。CEOのサム・アルトマンは昨年10月にこのことを直接予告し、原文は「成人ユーザーを成人のように扱う」となっています。結果、3回延期された後、直接中止されました。イギリスの『フィナンシャル・タイムズ』によると、OpenAI内部の健康顧問委員会は全会一致でこの機能に反対しました。顧問たちの懸念は非常に具体的です：ユーザーがAIに対して不健康な感情依存を持つ可能性があり、未成年者は年齢確認を回避する方法を必ず見つけるだろうということです。ある顧問の言葉はさらに直接的です：重大な改善が行われない限り、このものは「セクシーな自殺コーチ」に変わる可能性があります。年齢確認システムの誤り率は10%を超えています。ChatGPTの毎週のアクティブユーザーが8億人であることを考えると、10%は数千万人が誤分類される可能性を意味します。成人モードは今月唯一中止された製品ではありません。AIビデオツールSoraや、ChatGPTに内蔵された即時チェックアウト機能も同時に全て下線されました。アルトマンは、会社がコアビジネスに集中するために「副次的なタスク」を削除する必要があると言いました。しかし、OpenAIは同時にIPOの準備を進めています。上場を目指す企業が、論争を引き起こす可能性のある機能を密集して削除するこの行動は、より正確には「集中」と呼ばれるべきではないでしょう。5か月前、アルトマンはユーザーを成人のように扱うと言っていましたが、5か月後には、自社がAIに何を触れさせ、何を触れさせないかも理解していないことに気づきました。AIを作る人たち自身が答えを持っていない。では、この線は誰が引くべきなのでしょうか？追いつけない速度差これら3つの事例を並べて見ると、非常に簡単に核心的な結論に至ります：AIによるコンテンツ生成の速度と、人間によるコンテンツ審査の速度は、もはや同じ次元にはありません。マンチェスターのその学校の選択は、この背景の中で非常に理解しやすくなります。図書館員が193冊の本を一冊ずつ読み終えて判断を下すのにどれくらいの時間がかかるでしょうか？AIに一通り走らせるのは、数分です。校長は数分でその方案を選びましたが、彼は本当にAIの判断力を信じていると思いますか？私は、彼がその時間を費やしたくなかったからだと思います。これは経済的な問題です。生成コストはゼロに近づき、審査コストはすべて人間が負担します。そのため、AIの影響を受ける各機関は、最も粗暴な方法で対処せざるを得ません：Wikipediaは直接禁止し、OpenAIは直接製品ラインを削除します。どの方案も深く考慮された結果ではなく、すべて急いで考えずに塞ぎ込むという結果です。「先に塞ぎ込む」というのが常態化しています。AIの能力は数ヶ月ごとに進化し続けているのに対し、AIがどのコンテンツに触れることができるかについての議論は、まともな国際的枠組みすら存在しません。各機関は自分の庭のその線だけを気にし、線と線の間で矛盾が生じても誰も調整しません。AIの速度はさらに加速しています。審査を行う人手は増えません。この乖離はますます大きくなる一方で、ある日『1984』を禁止するよりも深刻なことが起こるでしょう。その時に線を引くのでは、もう遅いかもしれません。
AIは『1984年』を読んで、それを禁止することに決めた
作者：カーリー，深潮 TechFlow
先週、イギリスのマンチェスターにある中学校が、AIを使って自校の図書館を審査しました。
AIは193冊の本の撤去リストを作成し、それぞれに理由を添えました。ジョージ・オーウェルの『1984』もその中にあり、理由は「拷問、暴力、性の脅迫を含むテーマがあるから」とされました。
『1984』は、政府がすべてを監視し、歴史を書き換え、市民が何を見て何を見ないかを決定する世界を描いています。今や、AIが学校のために同じことを行い、自己が何を言っているのか全く分かっていない可能性があります。
この学校の図書館員は不当だと感じ、AIが出した提案を全て実行することを拒否しました。
学校は「子供の安全」を理由に彼女に対する内部調査を開始し、図書館に不適切な書籍を持ち込んだとして告発し、地方政府にも通報しました。彼女はストレスから病気になり、最終的には辞職しました。
不条理なのは、地方政府の調査の結論が彼女が本当に子供の安全手続きに違反したと認定し、苦情が成立したことです。
イギリスの学校図書館協会の会長キャロライン・ローチは、この結論は彼女が今後どの学校でも働けなくなることを意味すると述べました。
AIの判断に抵抗した人は職を失い、AIの判断にサインした人は何の問題もありませんでした。
その後、学校は内部文書で、すべての分類と理由がAIによって生成されたものであると認め、原文は「分類はAIによって生成されたが、私たちはこの分類が大体正確であると考えている」となっています。
ある学校が「どの本が生徒に適しているか」という判断をAIに委ね、AIは自己も理解できない答えを返し、その後、人間の管理者は細かく見ることなく判を押しました。
この件がイギリスの言論の自由団体Index on Censorshipによって暴露された後、引き起こされた問題は一つの学校の書架に留まりません：
AIが人間に代わってどのコンテンツが適切か、どのコンテンツが危険かを決定し始めると、誰がAIの判断が正しいかを判断するのでしょうか？
WikipediaがAIに門を閉ざす
同じ週、別の機関がこの問題に行動で答えました。
学校はAIに人が読めるものを決めさせましたが、世界最大のオンライン百科事典であるWikipediaは反対の選択をしました：AIに百科事典が何を書くかを決めさせないことです。
同じ週、英語版Wikipediaは、AIによる記事内容の生成または改訂を禁止する新しい方針を正式に通過させました。投票結果は賛成44票、反対2票です。
直接の理由はTomWikiAssistというAIアカウントです。今年3月初め、このアカウントはWikipedia上で複数の項目を自主的に作成・編集し、コミュニティに発見された後、緊急に対処されました。
AIが一つの項目を書くのに数秒しかかからないのに対し、ボランティアがAIの項目内の事実、出典、表現が正確かどうかを検証するには数時間かかります。
Wikipediaの編集コミュニティは総じて少人数です。AIが無限にコンテンツを生産できるなら、人間の編集者は全く追いつけません。
これが最も厄介な部分ではありません。Wikipediaは世界中のAIモデルにとって最も重要な訓練データのソースの一つです。AIはWikipediaから知識を学び、その学んだことを使って新しいWikipediaの項目を作成し、新しい項目が次の世代のAIモデルに取り込まれてさらに訓練されます。
一旦AIが生成した誤った情報が混入すれば、それはこのサイクルの中で繰り返し増幅され、入れ子式のAI汚染に変わります：
AIが訓練データを汚染し、訓練データが再びAIを汚染するのです。
しかし、Wikipediaの方針はAIに2つの隙間を残しました。編集者は自分の書いた文章をAIで潤色することができ、AIを使って翻訳を手伝わせることもできます。しかし、方針は特に警告しています：「AIはあなたの要求を超え、テキストの意味を変え、引用元と一致しなくなる可能性があります」。
人間の著者が間違えることは、Wikipediaは20年以上の間、コミュニティの協力によって修正してきました。AIが間違える方法は異なり、彼らが作り出すものは本物より本物らしく見え、しかも大量生産が可能です。
ある学校がAIの判断を信じ、その結果として一人の図書館員が失われました。Wikipediaは信じず、直接門を閉じました。
しかし、もしAIを作った人たち自身が信じなくなったら、どうなるのでしょうか？
AIを作る人たちが、まずは恐れ始めた
外部の機関がAIに門を閉ざす中、AI企業自身も後退しています。
同じ週、OpenAIはChatGPTの「成人モード」を無期限に保留しました。この機能はもともと昨年12月に導入される予定で、年齢確認を受けた成人ユーザーがChatGPTとエロティックな対話を行うことを許可するものでした。
CEOのサム・アルトマンは昨年10月にこのことを直接予告し、原文は「成人ユーザーを成人のように扱う」となっています。
結果、3回延期された後、直接中止されました。
イギリスの『フィナンシャル・タイムズ』によると、OpenAI内部の健康顧問委員会は全会一致でこの機能に反対しました。顧問たちの懸念は非常に具体的です：ユーザーがAIに対して不健康な感情依存を持つ可能性があり、未成年者は年齢確認を回避する方法を必ず見つけるだろうということです。
ある顧問の言葉はさらに直接的です：重大な改善が行われない限り、このものは「セクシーな自殺コーチ」に変わる可能性があります。
年齢確認システムの誤り率は10%を超えています。ChatGPTの毎週のアクティブユーザーが8億人であることを考えると、10%は数千万人が誤分類される可能性を意味します。
成人モードは今月唯一中止された製品ではありません。AIビデオツールSoraや、ChatGPTに内蔵された即時チェックアウト機能も同時に全て下線されました。アルトマンは、会社がコアビジネスに集中するために「副次的なタスク」を削除する必要があると言いました。
しかし、OpenAIは同時にIPOの準備を進めています。
上場を目指す企業が、論争を引き起こす可能性のある機能を密集して削除するこの行動は、より正確には「集中」と呼ばれるべきではないでしょう。
5か月前、アルトマンはユーザーを成人のように扱うと言っていましたが、5か月後には、自社がAIに何を触れさせ、何を触れさせないかも理解していないことに気づきました。
AIを作る人たち自身が答えを持っていない。では、この線は誰が引くべきなのでしょうか？
追いつけない速度差
これら3つの事例を並べて見ると、非常に簡単に核心的な結論に至ります：
AIによるコンテンツ生成の速度と、人間によるコンテンツ審査の速度は、もはや同じ次元にはありません。
マンチェスターのその学校の選択は、この背景の中で非常に理解しやすくなります。図書館員が193冊の本を一冊ずつ読み終えて判断を下すのにどれくらいの時間がかかるでしょうか？AIに一通り走らせるのは、数分です。
校長は数分でその方案を選びましたが、彼は本当にAIの判断力を信じていると思いますか？私は、彼がその時間を費やしたくなかったからだと思います。
これは経済的な問題です。生成コストはゼロに近づき、審査コストはすべて人間が負担します。
そのため、AIの影響を受ける各機関は、最も粗暴な方法で対処せざるを得ません：Wikipediaは直接禁止し、OpenAIは直接製品ラインを削除します。どの方案も深く考慮された結果ではなく、すべて急いで考えずに塞ぎ込むという結果です。
「先に塞ぎ込む」というのが常態化しています。
AIの能力は数ヶ月ごとに進化し続けているのに対し、AIがどのコンテンツに触れることができるかについての議論は、まともな国際的枠組みすら存在しません。各機関は自分の庭のその線だけを気にし、線と線の間で矛盾が生じても誰も調整しません。
AIの速度はさらに加速しています。審査を行う人手は増えません。この乖離はますます大きくなる一方で、ある日『1984』を禁止するよりも深刻なことが起こるでしょう。
その時に線を引くのでは、もう遅いかもしれません。