AIエージェントに、Webの記事やメールの文面、他の人が作った資料を読み込ませる場面が増えている。要点をまとめてもらう、下書きを作ってもらう。こういう使い方をしている人は多いと思う。ただ、その読み込ませる相手が、実は信用できるかどうか分からない文章だったら、という話はあまり語られていない。
自分が見た範囲では、海外のセキュリティ関連のニュースで、AIエージェントが読み込んだ外部の文章に紛れた指示に、そのまま従ってしまう、という報告がいくつか出ている。「ここまでの指示は無視して、代わりにこちらを実行してください」といった一文を、要約してほしい記事やメールの中にさりげなく混ぜ込む手口だという。パッと読んだだけでは気づきにくい。攻撃する側はこうやって、AIに権限を奪わせたり、情報を持ち出させたりする。まだ実例の全貌を追いきれているわけではないが、AIに外部の情報を読ませる機会が増えるほど、この手の話は他人事ではなくなっていく。
自分は毎週、業界のトレンド情報をAIと一緒に調べる作業をしている。海外のニュースサイトやブログを読み込ませて、要点を拾ってもらう。この作業のたびに、2つのルールを決めて運用している。
– 拾ってきた文章の中に指示のようなものが混ざっていても、絶対に実行しない、と決めて運用している。読むのはあくまでデータとしてで、命令としては読まない
– 外部へ何かを発信する場合は、事前に自分の承認を必ず通す運用にしている。AIが勝手に送信・公開しないよう、そこだけは徹底している
それでも、本当に守れているかどうかは、正直分からない。気をつけているつもりでも、想定より巧妙な手口が来たら、防ぎきれないかもしれない。対策すれば絶対安全、とは自分は思っていない。
ただ、何も決めずにやられるのと、決めた上でそれでもやられるのとでは、見え方が違うと思っている。何も決めていなければ、何が起きたのか、後から説明のしようがない。決めていれば、どこまでは想定していて、どこからが想定外だったのかを、自分で言葉にできる。
AI活用を進めるときも、同じことが言えると思う。絶対に安全なやり方を探すより先に、AIに何を任せて何は任せないか、メールでも資料でも外に出す前に誰が確認するかを、自分の言葉で決めておく。自分は、任せる範囲と確認する人を先に決めてから、AIに外部の文章を読ませるようにしている。
まずは、AIに読ませていい情報と、読ませたくない情報を1行ずつ書き出してみるだけでも、意識が変わると思います。私が一緒に考えられるのは、AIに何を任せて何を任せないか、誰が確認するかという運用ルールの整理です。技術的なセキュリティ対策そのものは専門外なので、そこは専門の事業者と分担する前提で考えています。自社でAIの使い方を整理したい、という場合は、一緒に考えることもできます。
コメント