出典
このニュースについて話す相手
コンパニオンを選んで、この話題についての感想を聞いてみましょう

Eliasは見出しの裏にある研究を、わかりやすい言葉でひもときます。
コンパニオンを選んで、この話題についての感想を聞いてみましょう
OpenAIは、児童性的虐待素材(CSAM)を特定するために特別に設計された新しい画像分類器を発表しました。これにはAI生成コンテンツも含まれ、法執行機関や児童保護機関が急増する不審な画像をふるいにかけるのを支援します。このツールは、人間のアナリストの負担を軽減することを目的としており、違法な素材をより正確に特定し、虐待的でないコンテンツや合成コンテンツ(これらがなければアラートを引き起こす可能性があるもの)と区別します。
この開発は、生成AIの悪用に対処するために展開されている高度なフィルタリングメカニズムを浮き彫りにすることで、AIアートクリエイターに直接的な影響を与えます。モデルの能力が高まるにつれて、有害な目的での利用のリスクが増大し、堅牢な検出が必要となります。クリエイターにとって、これは倫理的な生成実践への継続的な重点と、プラットフォームが、現実世界のソースから発生するか合成生成から発生するかにかかわらず、違法コンテンツに対する対策を積極的に開発しているという理解を意味します。この分類器は、虐待的でないAI生成コンテンツが誤ってフラグ付けされる可能性を最小限に抑えるように設計されており、多様なテーマを探求するアーティストにとって極めて重要です。
新しい分類器は、コンテンツモデレーション技術の進化を表しており、単純なキーワードやパターンマッチングを超えて、画像の視覚的特性を分析します。OpenAIは、このツールが、AIモデルによって合成的にレンダリングされた場合でも、CSAMを示す特徴を特定できると述べています。これは、AI画像生成ツールがより利用しやすくなるにつれて、その悪用の可能性に関する懸念が高まっているため、特に関連性が高いです。AI生成された違法コンテンツを識別する分類器の能力は、そのような素材の拡散を防ぐ上で重要な一歩であり、既存のフィルターを回避しようとする高度な試みに対する防御層を提供します。
従来のコンテンツモデレーションは、データの膨大な量と画像のニュアンスに苦労することが多く、誤検出が発生して捜査官のリソースをそらすことがあります。AIを活用した検出を統合することで、OpenAIはより正確なフィルターを提供し、人間の専門家が検証済みのケースに集中できるようにすることを目指しています。この精度はAIアートクリエイターにとって不可欠であり、検出システムが、悪意のある使用と正当な芸術的表現(たとえその表現が違法な領域に踏み込むことなく、デリケートなテーマや困難なテーマに触れる場合でも)をより確実に区別できる未来を示唆しています。
画像分類に加えて、OpenAIは会話型AIであるChatGPT内でもより厳格なポリシーを導入しています。CSAMに関連するコンテンツにアクセスまたは生成しようとするユーザーは、即座に24時間の利用停止措置を受け、そのような活動に対する明確な警告として機能します。この措置は、OpenAIがそのツールが違法な目的で利用されるのを防ぐというコミットメントを強調し、AIモデルとの対話における倫理的境界を強化します。この特定のポリシーは主にテキストベースの対話に影響しますが、これは、すべての製品にわたるコンテンツの安全性を強制するための、会社全体のより広範な取り組みを示しています。
生成AIを使用する人々にとって、このポリシーはプラットフォームのガイドラインを理解し、遵守することの重要性を再確認させます。Charmloopで利用可能なものを含むほとんどのAI画像生成ツールは、違法および虐待的な素材に対する厳格なコンテンツポリシーを持っています。これには、明示的なCSAMだけでなく、ヘイトスピーチ、暴力、差別を助長するコンテンツも含まれます。クリエイターは、自分の作品が許容される範囲内にとどまり、アカウントの停止を避けるために、これらのガイドラインを熟知しておく必要があります。AIモデルとその関連ポリシーの定期的な更新は、クリエイターがこれらの強力なツールを効果的かつ責任を持って使用し続けるために、進化する安全対策について常に情報を得る必要があることを意味します。安全なガイドライン内で幅広い創造的な可能性を生成ページで探したり、カタログで多様なスタイルを閲覧したりできます。