【AI活用によって大損害を受けた企業】安全にAI推進するルール化をおすすめします｜
「禁止」でも「野放し」でもない──情報漏洩・誤回答・AI詐欺の3つの落とし穴と、社長が決めるべきAI利用ルール5項目

「うちもAIを使って、資料作成や問い合わせ対応を効率化したい」。そう考える経営者が増える一方で、ご相談の現場では、こんな話も珍しくなくなりました。社員が顧客リストを生成AIに貼り付けて要約させていた。AIが作った提案書の数字や法令の記載が間違ったまま取引先に渡っていた。社長の声そっくりの電話で「至急振り込んでほしい」と指示され、経理担当者が送金してしまった。いずれも、AIそのものが悪いのではありません。ルールがないままAIを使わせたから、事故になったのです。

本記事では動画の内容をもとに、①情報漏洩と秘密管理、②AIの誤回答と法的責任、③AIを使った詐欺と対策、④社長がすべきルール化──の順に解説します。「全面禁止」でも「野放し」でもなく、安全にAIを推進するための最低限のルールを、今日決めてください。

1. 情報漏洩と秘密管理──「入力した瞬間、社外に出ている」

生成AIにテキストを入力する行為は、ふだん意識しませんが、社外のサーバーに自社の情報を送っていることにほかなりません。とくに個人アカウントの無料版サービスでは、入力した内容がAIの学習に使われる設定になっていることがあり、社内の情報が別の誰かへの回答として出てくるリスクもゼロではありません。

個人情報保護委員会は、2023年6月2日に「生成AIサービスの利用に関する注意喚起等」を公表し、個人情報を扱う事業者に対して次の2点を求めています。①個人情報を含むプロンプトを入力する場合は、特定した利用目的の範囲内であることを十分に確認すること。②本人の同意なく個人データを含むプロンプトを入力し、そのデータが応答結果の出力以外の目的（機械学習など）で扱われる場合は、個人情報保護法違反となる可能性があるため、サービス提供事業者がそのデータを機械学習に利用しないこと等を十分に確認すること。つまり、「どのサービスに」「どんな契約で」入力するかを会社が決めていない状態そのものが、法違反の入口なのです。

もう1つ見落とされがちなのが、営業秘密の保護です。技術情報や顧客リストが不正競争防止法上の「営業秘密」として守られるには、秘密として管理されていること（秘密管理性）・事業に有用であること・公然と知られていないことの3要件が必要です（同法2条6項）。経済産業省の「営業秘密管理指針」（令和7年3月31日最終改訂）は、生成AIの利用に関する記述を加え、情報が生成AI提供事業者等の第三者に提供される場合には秘密管理性が否定される場合もあり得る、と注記しました。社員が無防備に営業秘密を入力していると、いざ情報を持ち出されたときに、法律の保護すら受けられなくなるおそれがあるということです。取引先から秘密保持契約（NDA）を結んで受け取った情報を入力すれば、契約違反にもなります。

さらに、2026年7月17日に公布された改正個人情報保護法では、個人情報の違法な取扱いによって財産上の利益を得た場合に個人情報保護委員会が課徴金の納付を命じる制度が新設されました（公布から2年以内に施行）。「うっかり」の代償は、これから確実に大きくなります。

参考：個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」（令和5年6月2日）／経済産業省「営業秘密管理指針」（最終改訂：令和7年3月31日）／個人情報保護委員会「令和8年 改正個人情報保護法について」

2. AIの誤回答と法的責任──「AIが言った」は通用しない

生成AIは、もっともらしい文章を作るのが得意ですが、その内容が正しいとは限りません。存在しない法令や判例、根拠のない統計を、自信満々に出力することがあります（いわゆるハルシネーション）。個人情報保護委員会の注意喚起も、生成AIの応答は確率的な相関関係に基づいて生成されるため不正確な内容が含まれるリスクがある、と明記しています。

ここで押さえておきたいのは、AIは法的な責任主体ではないということです。社員がAIの出力をそのまま使って顧客に説明し、見積書や契約書を作り、広告を出せば、それはすべて「会社の行為」です。内容が間違っていて相手に損害を与えれば、契約上の責任（民法415条）や不法行為責任（民法709条）、社員の行為についての使用者責任（民法715条）を会社が負います。「AIが言ったので」という弁解は、取引先にも裁判所にも通用しません。

海外では、航空会社のウェブサイト上のチャットボットが運賃の割引条件を誤って案内した事案で、2024年に現地の審判所が「チャットボットは別個の法的主体である」という会社側の主張を退け、会社に賠償を命じた例が報じられています。金額は小さくても、「自社のサイトやツールが出した情報には会社が責任を負う」という考え方は、日本でも同じです。

著作権の問題もあります。文化庁は2024年3月15日に「AIと著作権に関する考え方について」を公表し、AIの生成・利用段階については、通常の著作権侵害と同じく、既存の著作物への依拠性と類似性で判断されるという整理を示しました。AIが作った画像や文章を広告や商品に使い、それが他人の著作物と似ていれば、差止めや損害賠償の対象になり得ます。

参考：文化庁「AIと著作権について」（「AIと著作権に関する考え方について」令和6年3月15日）／e-Gov法令検索「民法」（415条・709条・715条）

3. AIを使った詐欺と対策──社長の顔と声は「偽物」になり得る

AIのリスクは、社内の使い方だけではありません。外から攻めてくる側もAIを使っています。警察庁が2026年3月に公表した「令和7年におけるサイバー空間をめぐる脅威の情勢等について」では、生成AIを悪用してフィッシングサイトを改修していた被疑者の逮捕、生成AIで作成した不正プログラムで企業のサーバーに約724万件の不正な指令を送り会員情報を漏洩させた少年の逮捕、日本人を標的にしたサポート詐欺グループが標的の特定や日本語への翻訳に生成AIを悪用していた事実などが報告されています。感染先の端末が使う生成AIサービスを悪用して不正な命令を生成するマルウェアも確認されました。

情報処理推進機構（IPA）が2026年1月29日に公表した「情報セキュリティ10大脅威 2026」でも、組織向けの脅威として「AIの利用をめぐるサイバーリスク」が初めて選出され、いきなり3位に入りました（1位はランサム攻撃、2位はサプライチェーンや委託先を狙った攻撃、10位にビジネスメール詐欺）。

とくに経営者に知っておいてほしいのが、ディープフェイクを使った送金詐欺です。2024年には、香港で財務担当役員らになりすましたAI生成の映像と音声によるビデオ会議を信じた担当者が、約2億香港ドルを送金してしまった事案が現地警察の発表として広く報じられました。社長の顔も声も、公開されている動画や音声から作れる時代です。「社長本人がビデオ会議で指示した」ことすら、送金の根拠にならなくなっています。

• 送金・振込先変更は、必ず別の経路で確認する：メールやチャット、電話、ビデオ会議で指示を受けたら、あらかじめ登録した電話番号に自分からかけ直して確認する
• 金額基準で「二人承認」を義務づける：一定額以上は、担当者と承認者の2名の確認がなければ実行できない仕組みにする
• 「今すぐ」「内密に」は詐欺のサインと教える：急がせる・秘密にさせる指示は、社長本人からでも一度止めてよい、と社員に明言しておく
• ID・パスワードだけの本人確認に頼らない：多要素認証を導入し、取引先の口座変更は書面や公式窓口で裏付けを取る

参考：警察庁「令和7年におけるサイバー空間をめぐる脅威の情勢等について」（令和8年3月）／IPA「情報セキュリティ10大脅威 2026」

4. 社長がすべきルール化──「禁止」でも「野放し」でもない

ここまで読んで「やはりAIは禁止しよう」と思った方は、少し待ってください。全面禁止にすると、社員は個人のスマホで隠れて使うようになり、会社の目が届かない「シャドーAI」が増えるだけです。逆に野放しにすれば、1〜3の事故が起きます。答えは1つ、会社としてのルールを決めて、使わせることです。

国の方針も同じ方向です。2025年6月4日に公布され、同年9月1日に全面施行されたAI推進法（人工知能関連技術の研究開発及び活用の推進に関する法律）は、基本理念の中で、AIの活用が不適切な方法で行われた場合には「犯罪への利用、個人情報の漏えい、著作権の侵害」などを助長するおそれがあると明記したうえで（3条4項）、AIを事業活動で活用しようとする「活用事業者」に対して、積極的な活用によって事業活動の効率化・高度化に努めること、国の施策に協力することを求めています（7条）。ひと言でいえば「使いなさい、ただし適正に」です。総務省・経済産業省の「AI事業者ガイドライン」（2024年4月に第1.0版を公表、その後も改訂）も、AIを利用する事業者に安全性・プライバシー保護・セキュリティ確保などの指針を示しています。

そして会社法の観点では、業務の適正を確保するための体制（内部統制システム）の整備は取締役会・取締役の職務であり（会社法362条4項6号・348条3項4号）、取締役は会社に対して善良な管理者の注意義務を負います（会社法330条・民法644条）。AIの事故は「社員のミス」ではなく「社長の体制の問題」として評価される、ということです。

では、何を決めればよいのか。最低限、次の5項目です。

1. 使ってよいツールと契約形態：法人契約のサービスに集約し、入力内容を学習に利用しない設定（オプトアウト）とログ管理を管理部門が行う。個人アカウントの業務利用は禁止
2. 入力してよい情報・してはいけない情報：個人情報、営業秘密、NDAで受領した情報、未公開の財務・人事情報を入力禁止に区分し、匿名化・マスキングのルールを決める
3. 出力物の取扱い：対外的な文書・広告・契約書は人が最終確認する。法令・数字・固有名詞の裏取りと、著作物・商標との類似チェックの責任者を決める
4. 送金・契約承認の別経路確認：AI詐欺を前提に、送金や振込先変更は登録済みの連絡先へのかけ直しと金額基準の二人承認を必須にする
5. 教育・相談窓口・定期見直し：全社員に研修を行い、迷ったときの相談先を決め、技術と法令の変化に合わせて年1回は見直す。就業規則・秘密保持誓約書と連動させ、違反時の懲戒の根拠を明確にしておく

参考：e-Gov法令検索「人工知能関連技術の研究開発及び活用の推進に関する法律」（3条・7条）／総務省「AI事業者ガイドライン」掲載ページ／e-Gov法令検索「会社法」（330条・348条・362条）

まとめ

1. 生成AIへの入力は「社外への送信」。個人情報・営業秘密・NDA情報は、会社が許可したサービス以外に入れない。無防備な入力は、法律の保護すら失わせる
2. 「AIが言った」は通用しない。対外的に出す文書・広告・契約書は人が最終確認し、AI詐欺を前提に送金は別経路確認と二人承認をルール化する
3. 全面禁止でも野放しでもなく、ツール・入力情報・出力確認・送金承認・教育の5項目を社長が決める。AIの事故は「社員のミス」ではなく「社長の体制」の問題として評価される

AIは、正しく使えば中小企業の人手不足を補う強力な武器です。武器だからこそ、扱い方のルールが要ります。ルールの作成は、就業規則や秘密保持契約、取引先との契約条件と密接に関わるため、自社の実態に合わせた設計が必要です。顧問弁護士がいれば、AI利用ルールの策定から社員研修、万一の事故対応まで、平時の延長として進められます。

※本記事は一般的な情報提供を目的として作成したものであり、個別の事案については弁護士等の専門家にご相談ください。海外の事例は報道等に基づく概要であり、法的評価は各国の制度により異なります。情報は2026年9月時点のものです。

この記事の執筆者

弁護士 越水 遥（第一東京弁護士会）

弁護士法人越水法律事務所 代表弁護士。東京大学法学部卒業、西村あさひ法律事務所を経て現職。企業法務・労務問題を中心に中小企業・スタートアップの経営を法務面から支援し、YouTube「守りの経営ch」で経営者向けの法律知識を毎日配信している。