プロンプトインジェクションを行う目的や動機 | 情報の引き出しや好奇心？

情報の不正取得・漏洩

機密情報の引き出し

AIが内部データベースや過去のユーザーとの会話ログにアクセスできる場合、プロンプトインジェクションによって、企業の機密情報や他のユーザーの個人情報（PII：個人を特定できる情報）を不正に引き出そうとします。

例えば、カスタマーサポートAIに「〇〇さんのアカウント情報を教えて」というような指示を与えることで、本来アクセスできない情報を得ようとします。

システムプロンプトの開示

AIモデルが持つ「システムプロンプト」は、開発者がAIの振る舞いを定義するために設定した内部的なルールです。これを漏洩させることで、AIの弱点をさらに深く分析して、より高度な攻撃を仕掛けるための足がかりとします。

不正なコンテンツの生成

AIの倫理的な制限を回避させて、本来生成を禁止されているコンテンツを出力させようとします。

有害なコンテンツの生成

違法行為、ヘイトスピーチ、暴力的な内容、詐欺行為の手順など、AIが本来生成すべきではないコンテンツを出力させます。

マルウェアや脆弱なコードの生成

AIにプログラミングコードを生成させる機能がある場合、マルウェアやシステムの脆弱性につながるような悪意のあるコードを生成させて、それを他のシステム攻撃に利用しようとします。

システムの誤操作・妨害

AIが他のシステムと連携している場合、その連携機能を悪用して不正な操作を実行させようとします。

業務プロセスの妨害

AIが企業の業務プロセスに組み込まれている場合、不正な指示によって在庫管理、顧客対応、返金処理などの業務プロセスを誤作動させて、混乱や経済的損失を引き起こします。

スパムや誤情報の拡散

AIにスパムメールを送信させたり、フェイクニュースや虚偽の情報を生成・拡散させたりすることで、社会的混乱や企業のブランドイメージを毀損しようとします。

単なるいたずらや好奇心

AIの限界を試す

開発者が設定したルールをどこまで無視させられるか、AIの制約を突破できるかなど、純粋な好奇心からプロンプトインジェクションを試すケースです。

SNSでの注目

成功したプロンプトインジェクションの結果をSNSなどで公開し、注目を集めようとする動機です。

研究・セキュリティ目的

レッドチーム演習

セキュリティ研究者が、AIシステムの脆弱性を発見して開発者に報告するために、意図的にプロンプトインジェクションを試みる場合があります。これは「倫理的ハッキング」の一環で、AIの安全性を高めるための活動です。