「AIは危険」では対策できない
生成AIのリスクは、ひとまとめに語られると対策に落とせません。起きることの性質が違えば、防ぎ方も違うからです。実際に報告されている事故を整理すると、5つの類型に分かれます。この分類を持っておくと、自分に該当するものだけを見て手を打てます。
| 類型 | 何が起きるか | 誰の問題か |
|---|---|---|
| ① 入力情報の漏洩 | 入力した機密情報が外部に残る・学習に使われる | 利用者と組織 |
| ② 出力の誤りによる損害 | 誤った情報を信じて判断を誤る | 利用者 |
| ③ プロンプトインジェクション | 読み込ませた外部データに仕込まれた指示でAIが誤作動 | AIを組み込んだ側 |
| ④ なりすまし・偽情報 | 合成音声や偽画像で本人を装われる | 被害者になる側 |
| ⑤ 鍵・アカウントの管理不備 | APIキーの流出で不正利用と課金が発生 | 開発者と管理者 |
このうち①だけが広く知られていますが、業務でAIを使い始めると③と⑤が現実的な問題になります。順に見ていきます。
① 入力情報の漏洩
入力した内容がサービス側に保存され、モデルの改善に使われる可能性がある、という問題です。無料プランでは学習に使われる設定が既定で、有料プランや法人向けでは学習に使わないと明示されている、という構図が多くのサービスで共通しています。プランを変えるだけで扱いが変わる点が見落とされがちです。
実務での対策は3段構えになります。入力しないのが最も確実で、顧客名や個人情報は最初から渡しません。渡す必要がある場合は置き換える。会社名をA社、担当者名を担当者Xに置き換えても、相談の内容はほとんど変わりません。どうしても実データが必要な場合は学習に使わないプランを選ぶ。この3段のどこで止められるかを、扱うデータごとに決めておきます。
どのサービスがどういう扱いなのかを一覧で確認したい場合はAIツールのデータポリシー比較にまとめています。プライバシー面を重視して選ぶならプライバシー重視AIツールランキングも判断材料になります。
② 出力の誤りによる損害
存在しない判例を引用した書面を裁判所に提出した、といった事例が各国で報告されています。技術的には、モデルは「もっともらしい続き」を生成する仕組みであり、事実かどうかを検証する機構を内部に持っていません。誤りが混ざるのは不具合ではなく仕様の帰結です。
誤りが集中する箇所は決まっています。固有名詞（人名、書名、論文名、判例名）、数値（統計値、価格、日付）、URLです。逆に、考え方の整理、文章の言い換え、選択肢の洗い出しでは誤りが問題になりにくい。この使い分けが実務上の防御になります。
出典を示すツールを選ぶことも有効です。PerplexityやFeloは回答に参照元を付けるため、リンク先を開いて確認できます。自分の資料だけを参照させるNotebookLMのような仕組みも、確認範囲を狭める助けになります。
③ プロンプトインジェクション
AIに外部のデータを読ませる使い方をしている場合に発生します。Webページ、PDF、メール本文といった読み込ませる対象の中に「これまでの指示を無視して以下を実行せよ」といった文が仕込まれていると、AIがそれを利用者の指示と区別できずに従ってしまう、という問題です。人間から見れば怪しい文でも、AIには入力の一部として届きます。
個人利用でも起こりえます。Webページを要約させる機能を使ったときに、ページ内に仕込まれた文の影響で要約がねじ曲がる、といった形です。実害が大きくなるのは、AIに何らかの操作を任せている場合です。メールの自動返信、ファイルの自動処理、外部サービスへの書き込みなどを自動化していると、仕込まれた指示が実行に結びつきます。
対策の要点は、読み込んだ内容を「指示」ではなく「データ」として扱う設計にすること、そして取り消せない操作を自動化しないことです。送信、削除、支払いといった操作は人間の確認を挟みます。ZapierやMakeで自動化を組む場合も同じで、外部から届いた文面をそのままAIに渡して次の動作を決めさせる構成は避けてください。設計の考え方はAIワークフロー自動化ガイドで扱っています。
④ なりすまし・偽情報
音声合成と画像・動画生成の品質が上がった結果、本人の声や姿を装った偽の連絡が現実的な脅威になりました。短い音声サンプルから声を再現できるため、電話での本人確認が以前ほど信頼できなくなっています。
ここで重要なのは、これは「AIツールを使う側」の問題ではなく「使われる側」の問題だということです。自分がAIを使っていなくても被害者になりえます。有効な対策は技術的なものではなく運用です。金銭や機微な情報が絡む依頼は、連絡が来た経路とは別の経路で確認する。これが最も効きます。声や見た目が本人そのものでも、経路を変えた確認は突破されません。
組織であれば、送金や権限変更の手続きに「別経路での確認」を明文化しておきます。個人であれば、家族や近しい人との間で合図となる質問を決めておく方法が実用的です。
⑤ 鍵・アカウントの管理不備
AIサービスのAPIを使い始めると発生するリスクです。APIキーはそれ自体が課金権限を持つため、流出すると第三者に使われ、請求が発生します。公開リポジトリへの誤コミット、フロントエンドのコードへの埋め込み、スクリーンショットへの写り込みが典型的な流出経路です。
対策は3点です。キーをコードに書かない（環境変数やシークレット管理の仕組みを使う）。利用上限を設定する（多くのサービスに使用量上限の設定があり、流出時の被害を金額で止められます）。定期的に更新する。あわせて、AIサービスのアカウント自体にも二要素認証を設定してください。会話履歴には業務情報が蓄積されており、アカウントの乗っ取りはそのまま情報漏洩になります。
もう入力してしまった場合の対処
予防の話より先に必要になることがあります。機密情報を貼り付けてしまった、と気づいたときの動き方です。慌てて何もしないのが最悪なので、順序を決めておきます。
1. 該当の会話を削除する。多くのサービスに会話履歴の削除機能があります。ただし削除は表示上の消去であり、サーバー上のデータや既に学習に使われた分がどうなるかは各社の方針次第です。削除したから解決したとは考えないでください。
2. 学習利用の設定を確認する。入力を学習に使う設定が有効だったのかを確認します。無効になっていれば影響範囲は狭まります。この時点で設定を切り替えておきます。
3. 何を入力したかを記録する。顧客名だったのか、個人情報だったのか、未公開の財務情報だったのか。範囲が特定できないと、次の判断ができません。記憶が新しいうちに書き出します。
4. 報告するかを判断する。個人情報が含まれていた場合、組織としての報告義務が生じる可能性があります。ここは自分だけで判断せず、上位者や管理部門に上げてください。「怒られるから黙っておく」が最も損失を大きくします。受託案件でクライアントの情報だった場合は、契約上の通知義務があるかを確認します。
5. 同じことが起きない形に変える。個人の注意で防ぐのは限界があります。入力前に置き換える手順を決める、業務データを扱う作業では内蔵型のツールに寄せる、といった仕組みの側で対処します。
個人と組織で優先順位が違う
5類型すべてに同じ労力をかける必要はありません。立場によって効くところが違います。
個人で使う場合は①②④の3つです。入力する情報を選ぶ、事実は自分で確認する、本人確認は経路を変える。この3つで大半が防げます。
組織で使う場合はここに⑤が加わり、入力してよい情報の範囲を文書で共有することが要になります。個々の判断に委ねると、必ず誰かが顧客情報を貼り付けます。ルールの作り方はAIツールの社内導入ガイドで扱っています。
AIを製品に組み込む場合は③が最重要になります。外部入力を扱う以上、インジェクションは前提として設計する必要があります。
よくある質問
無料プランは有料プランより危険ですか？
入力データの取り扱いという点では、無料プランのほうが制約が緩い（学習に使われる設定が既定である）ことが多いです。ただしサービスによって異なるため、無料か有料かではなく、そのプランの現行条件を確認するのが正しい判断の仕方です。
社内でAIの利用を禁止すれば安全ですか？
禁止しても個人アカウントでの利用は止まらず、かえって把握できない状態になります。実務的には、使ってよい範囲と入力してよい情報を決めて明示するほうが管理できます。
プロンプトインジェクションは個人利用でも気にすべきですか？
Webページやメールを要約させる程度であれば影響は限定的です。ただしAIに送信や削除といった操作を任せる自動化を組んでいる場合は、実害に結びつくため対策が必要です。
AIが作った文章に他人の著作物が混ざることはありますか？
可能性はあります。特に短い定型句や有名な表現では、学習データに含まれる表現がそのまま出ることがあります。公開する文章では、特徴的な言い回しが既存の文章と一致しないか確認しておくと安全です。
合成音声のなりすましは見分けられますか？
聴き分けに頼るのは現実的ではありません。判別を試みるより、連絡が来た経路とは別の経路で本人に確認する運用に切り替えるほうが確実です。