Red Teaming（レッドチーミング）

・英語による用語：Red Teaming
・用語カテゴリ：技術用語
・日本語読み：レッドチーミング
・種別：AI安全性評価
・位置づけ：攻撃者視点でAIの弱点を洗い出す取り組み
・関連：ジェイルブレイク ／ プロンプトインジェクション ／ ガードレール ／ アラインメント
・備考：攻撃者の視点であえてAIを試し、脆弱性や有害な振る舞いを事前に洗い出す取り組み。

Red Teaming（レッドチーミング）とは？AIの弱点を攻撃者目線で探す取り組み

Red Teaming（レッドチーミング）とは、あえて攻撃者・悪意ある利用者の視点に立ってAIを試し、有害な出力を引き出せないか、安全機能をすり抜けられないかといった弱点（脆弱性）を、公開・本番投入の前に洗い出す取り組みです。もともとは軍事やサイバーセキュリティの用語で、AIの安全性評価にも取り入れられています。

具体的には、ジェイルブレイクやプロンプトインジェクションを試みる、差別的・危険な内容を出させようと誘導する、想定外の使い方をわざと行うなどして、AIがどこで問題ある振る舞いをするかを体系的に探ります。見つかった弱点は、ガードレールの強化や学習の改善へとフィードバックされます。

生成AIを企業が導入・提供する際、レッドチーミングはリスクを事前に把握し、信頼できるサービスに仕上げるための重要な工程です。専門チームによる評価だけでなく、自動化ツールや外部の専門家を活用することもあります。AIの安全性は一度で完成するものではなく、攻撃手法の進化に合わせて継続的に実施していくことが求められます。