ソーシャルプラットフォームに氾濫するAI生成の露骨なコンテンツに対する懸念が高まっています。自動化されたシステムが不適切な素材を生成する問題は、政策立案者の間で深刻な関心を集めており、そのようなコンテンツは重要なモデレーションの課題を表していると指摘されています。テクノロジー企業は、特にアルゴリズムが低品質または有害な出力を増幅する場合に、合成メディアに対するより厳格な規制を実施するよう圧力を強められています。これは、プラットフォームの責任と、現行のAI安全対策が大規模な悪用を防ぐのに十分かどうかという重要な問題を提起しています。