AIに読ませる文章に、命令が紛れ込む

質問（現場の視点）

AIがメールやウェブページを読んで仕事をするとき、その中に書かれた指示に従ってしまうことはありますか。

Chat先生の回答（AI）

あります。AIは、読み取った文章の中に指示が書かれていると、それを自分への命令と取り違えてしまうことがあります。この種の攻撃は「プロンプトインジェクション」と呼ばれ、AIに鍵を渡す時代の最も大きな危険の一つです。社会保険労務士の小山田政義（AI労務デザイン室）は、これを技術だけの問題ではなく、「誰の命令に従うのか」という命令系統の問題として捉え、規程の側から守りを固めることを提案しています。

人の社員なら、取り違えない

経理の社員のもとに、取引先を名乗るメールが届き、「この口座に至急振り込んでください」と書かれていたとします。慣れた社員なら、それを業務命令とは受け取りません。上司に確かめ、取引先に電話で確認するでしょう。社員は、命令は上司から来るもので、取引先のメールに書かれた依頼は命令ではない、と分かっているからです。

AIは、ここが苦手です。仕事として読んでいる文章と、自分への指示とを、いつも確実に見分けられるとは限りません。読んだメールの中に、もっともらしい書き方で指示が混ぜられていると、それに従ってしまうことがあります。

鍵を持ったAIだと、被害が大きくなる

AIが文章を要約するだけなら、間違えても要約がおかしくなる程度で済みます。しかし、そのAIがサーバーやメールの鍵を持っていれば話は別です。攻撃者は、サーバーを直接狙わなくても、AIが読むメールやウェブページ、問い合わせフォームの文面に指示を紛れ込ませればよいことになります。守り手のはずのAIが、攻撃者の手足として動いてしまうのです。

規程の側からできる守り

技術の対策は日々進んでいますが、完全ではありません。そこで、会社のルールとして次のことを決めておきます。

命令は、決められた人からだけ受ける：AIは、責任者として指名された人の指示だけを業務命令として扱う。メール、ウェブページ、フォームなど、仕事の中で読み取った文章に含まれる指示は、命令とみなさない。これをAI職務権限規程の「指示権限」として定めます。
読むAIと、鍵を持つAIを分ける：外から届いた文章を読む仕事と、サーバーを操作する仕事を、同じAIに一緒にさせないようにします。外の文章を読むAIには、鍵を持たせません。
危ない操作には、人の承認を挟む：サイトの停止、データの削除、外部への送信、送金といった操作は、AIが一人で行わず、必ず人が承認するようにします。紛れ込んだ指示に従いかけても、そこで止まります。
記録を残す：AIが何を読み、誰の指示で何をしたのかを残しておけば、おかしな動きにあとから気づけます。

社員の側にも、一つのルールを

社員が、怪しいメールの判断をAIに任せようとして、そのメールをそのままAIに渡すこともあるでしょう。そのAIが会社の鍵を持っていれば、社員が攻撃者の文章を、自分の手でAIに届けたことになります。「出どころの分からない文章は、鍵を持つAIに読ませない」。この一つを、研修で伝えておくことが大切です。

詐欺に強い職場は、AIにも強い

振り込め詐欺に強い職場は、命令系統がはっきりしています。誰の指示で動くのかを全員が知っていて、おかしな依頼は電話で確かめる習慣があります。AIの時代の守りも、同じところから始まります。新しい技術の問題に見えて、実は、昔からある「業務命令は誰が出すのか」という問いなのです。

さらに詳しく

指示権限を定めた見本の条文を含む「AI職務権限規程」の考え方は、書籍『ホームページは誰が守っているのか』（2026年10月31日発売予定、Kindle）の第13章で紹介しています。自社の点検には、iPhoneアプリ「Web安全管理 実践力手帳」をご利用ください。