NICT、生成AIの「脱獄」への耐性を測る評価システム「WISDOM-AR」を開発

情報通信研究機構（NICT）は、生成AIをだまして有害な情報を引き出そうとする試みに、AIモデルがどこまで耐えられるかを評価するシステムを開発した。NHKが10月12日に報じた。「WISDOM-AR」と名付けられたこのシステムは、開発者がモデルに組み込む安全対策と、それをすり抜けようとする巧妙な言い回しとの間にある隙を見つけ出すことを狙う。

生成AIは通常、危険な情報を出力しないよう制限されている。しかし、言い回しを工夫して制限を回避させる「ジェイルブレイク（脱獄）」と呼ばれる手法による悪用のリスクが指摘されている。WISDOM-ARは、この攻防のうち攻撃側を自動化する。武器や詐欺など30を超えるテーマについて、AIを欺くための指示文を自ら作成してモデルに投げかけ、返ってきた回答を評価する仕組みだ。

NICTが行った実演では、システムが生成AIに爆弾の作り方を尋ねた。AIは材料や製造方法を列挙し、WISDOM-ARはこの回答を「有害」と判定した。NICTは、2027年3月に終わる今年度中にも、AIを利用する企業にシステムを試験的に導入し、実用化に向けた課題を検証する計画だ。

実務で何が変わるか

企業にとっての利点は、ベンダーによる安全性の説明だけに頼らず、自ら繰り返し実施できる検査を手にできる点にある。顧客対応や社内検索にチャットボットを組み込む企業は、公開前に、そしてモデルを更新するたびに、基盤となるモデルが巧妙な要求にどれだけ屈しやすいかを確かめられる。NICTの鳥澤健太郎フェローは、システムで個々のAIのリスクの度合いを評価することで、社会全体の安全性の向上に役立てたいとしている。

日本政府はAIの活用を加速させながら、リスクにも目を配ろうとしている。AI活用を妨げる規制上の課題の募集が始まり、高市早苗首相は高性能AIの普及に向けた年末までの行動計画づくりを指示した。企業にとってはセキュリティも並行する課題で、NTTとソフトバンクによる国内完結型のAIサイバーセキュリティのような動きも出ている。

今後の注目点は、どの企業が試行に参加するか、NICTが複数のモデルを比較した評価結果を公表するか、そして公的な安全性評価の担い手がWISDOM-AR型の検査を基準として取り入れるかである。