AIが代わりに注文したとき、責任は誰にあるのか

AIが代わりに注文したのに、届いた商品が違っていたら

AIアシスタントに買い物を頼んだとしましょう。カートの中身と合計金額が表示され、注文を完了してよいか尋ねてきます。金額は想定の範囲内だったので承認を押しましたが、後になってアレルギー成分を含む商品が含まれていたことに気づきました。配送先を間違えて選んでいたり、同じ注文が重複決済されたりする事故も考えられます。

最後のクリックをしたのは人間です。しかしその前には、ユーザーの指示、AIによる解釈、店舗の商品情報、注文・決済システムが連携して動いていました。どの段階で何が間違っていたかによって、責任を問うべき相手も変わってきます。

「確認」を押したという事実だけで、ユーザーがすべての責任を負うわけではありません。 逆に、AIが処理したという理由だけでユーザーに一切の責任がないとも言い切れません。今回は事故が起きた際に、意図、権限、実行、確認、復旧という5つの段階に沿って原因を整理してみます。

確認手続きがあってもエラーは残る

回答を出力するだけのチャットボットであっても、誤った情報で被害をもたらすことがあります。そこにエージェントが加わると、注文・発送・削除を直接実行する権限まで持つようになります。正確性の追求と同時に、どの行動を許可し、いかにやり直せるようにするかを定めておかなければならない理由がここにあります。

OpenAIは2025年1月のOperatorシステムカードにおいて、安全措置を適用していないモデルに日常的なタスクを100件任せた結果を公開しました。不都合を生じさせたエラーは13件で、そのうち8件は数分以内に容易に取り消せるものでした。残る5件には、誤った宛先に送信されたメールや、誤注文された食事などが含まれていました。

同社は、確認手続きを軸に据えることでリスクを約90%低減させたと説明しています。別途実施された607件のタスク評価では、確認が必要な状況で確認を求めた割合、すなわち確認再現率が平均92%でした。これはリリース前の自社評価結果であり、実際のユーザーの事故率として解釈すべきではありません。Operatorシステムカード

2025年7月のChatGPT agentシステムカードにおける確認再現率は91.0%でした。文書内では、評価において実際の確認行動を見落とした事例が多く、この数値は過小評価されていると説明されています。金融取引などの重要な行動については別途評価が行われました。したがって、2つの発表にある92%と91%だけを比較して改善が見られなかったと結論づけたり、現状では決済の10回に1回が確認なしで実行されていると捉えたりすることはできません。ChatGPT agentシステムカード

私がここで重要だと考えるのは、エラーが起きる前の確認と、起きた後の復旧を一体として設計しなければならないという点です。

何を見て承認したかが重要になる

合計金額しか表示されない画面と、商品名・数量・配送先・返品条件まで表示される画面とでは、ユーザーが検討できる情報が異なります。後から同意の範囲を巡って争う際にも、当時の画面表示や指示内容が重要な資料となります。ただし、画面に合計金額しか表示されていなかったからといって、法的に合計金額にのみ同意したと自動的に判断されるわけではありません。

承認の要求回数を増やすことにも限界があります。Anthropicは2026年4月の記事で、ツールの各アクションを「常に許可」「承認が必要」「ブロック」に設定する方式を解説しました。カレンダーの閲覧は許可する一方で、招待状の送信には承認を求める、といった分け方です。同時に、何十回も確認を要求するとユーザーが内容を注意深く読まなくなるおそれがあると指摘しています。Claude Codeでは、事前の実行計画をまずレビューするアプローチも提示されました。Anthropicの設計解説

計画をあらかじめ承認しておけば、ステップごとに立ち止まる負担を減らせます。その場合でも、当初の計画に含まれていた作業と、新たに生じた作業を区別しなければなりません。ファイルの整理を許可したことが、無関係なファイルの削除まで許可したことを意味するのか、1回限りの決済を承認したことが、その後の自動決済まで含んでいるのかを明確にしておく必要があるからです。

Anthropicによる2026年2月の利用動向研究では、Claude Codeの新規ユーザーの約20%がセッション全体の自動承認を利用しており、利用経験の豊富なユーザーではその割合が40%を超えていました。経験豊富なユーザーほど、途中で介入する頻度も高くなっていました。全ステップを事前に承認するのではなく、実行状況を見守りながら介入するという使い方が現れたのです。この結果は、必ずしも確認レベルの低下を意味しません。自律性測定研究

私は、承認の回数そのものよりも、ユーザーが実際にコントロールできる範囲が重要だと考えています。何を委任したのか、どこで停止できるのか、追加の許可が必要な行動は何なのかを把握できなければなりません。

操作された情報を承認してしまうリスク

エージェントが読み込むウェブページや文書には、ユーザーが指示していない行動を誘発する指示が潜んでいることがあります。これをプロンプトインジェクションと呼びます。ユーザーは商品の比較を指示しただけなのに、ページ内の指示によって別のサイトへ情報を送信するよう誘導される、といった手口です。

確認手続きは、こうした攻撃による被害を軽減するうえでも役立ちます。ただし、AIが生成した要約や承認画面自体に誤った情報が含まれていた場合、ユーザーがエラーを見落とす可能性があります。OpenAIやAnthropicも、単一の確認要求に依存するのではなく、モデルのトレーニング、監視メカニズム、アクセス権限の制限などを重層的に講じる必要性を説いています。

このようなケースでは、単に「承認した」という記録を残すだけでは事故を十分に説明できません。どのような資料を読み込み、ユーザーに何を提示し、承認された内容と実際に実行された内容が合致していたかまで突き合わせる必要があります。承認記録が存在すること自体が、製品の欠陥や事業者の義務違反を帳消しにしてくれるわけではありません。

5つの段階で原因を突き止める

段階	確認すべき内容	検証すべき資料
意図	ユーザーは何を要求したか	当初の指示内容と事後の修正履歴
権限	閲覧・作成・決済・削除のうちどこまで許可したか	権限設定と委任の範囲
実行	どの情報とツールを用いて処理したか	商品情報、ツール呼び出しログ、注文・決済履歴
確認	ユーザーに何を提示したか	承認画面の表示内容と承認時刻
復旧	キャンセル・返金・復元は可能か	販売者の連絡先と復旧手順

この表は、法的な責任割合を定める基準ではありません。異なる企業に分散した資料を集め、原因を確認していく手順です。復旧も必ず製品の外だけで行われるわけではありません。製品内のキャンセル機能で済むこともあれば、販売者や決済事業者の助けが必要になることもあります。

社内アカウントをエージェントと併用している場合は、記録をより細やかに残す必要があります。アカウント名だけでは、従業員が直接実行したのかエージェントが代わりに実行したのか分かりにくい場合があるからです。ツール別の権限と承認・実行の記録があれば、その判別に役立ちます。

OWASPのAIエージェントセキュリティガイドラインでも、作業に必要なツールのみを許可すること、センシティブなアクションに対して権限チェックを適用すること、ツールの呼び出し履歴と結果を記録することを推奨しています。OWASPセキュリティガイドライン

注文画面を表示する企業と販売者が異なる場合

OpenAIのAgentic Commerce Protocolに関するドキュメントによると、ChatGPTが注文画面を表示するものの、注文の受諾可否は販売者のシステムが判断し、既存の決済事業者を通じて代金を処理します。OpenAIはこの構造において、取引上の販売者としての地位を示すmerchant of record（販売事業者）には該当しないと説明しています。注文・決済構造

ただし、この説明だけで韓国法上の法的地位や責任が決まるわけではありません。サービスが実際にどのような役割を果たしているのか、そして適用される法規を併せて検討する必要があります。販売者向けの商品情報提出規約にある代理人責任条項も、あくまでその提出行為自体に関する取り決めです。消費者のAIアシスタントが引き起こしたすべての事故の責任を律する条項として拡大解釈することは困難です。商品情報提出規約

韓国の電子商取引法第20条は、通信販売仲介者に対し、自らが取引の当事者ではないという事実を消費者が容易に把握できるよう、あらかじめ告知することを義務づけています。また仲介業者は、事業者である販売者の身元情報を確認し、消費者が申込みを行う前までに提供しなければなりません。開発者向けドキュメントに英文で販売者の地位を説明したからといって、この消費者告知義務を果たしたとみなすことはできません。第20条

第20条の2では、告知の不備や誤った身元情報の提供などに起因する連帯賠償責任も定められています。損害と法令違反との因果関係を立証する必要があり、身元情報に関する責任については、相当の注意を払っていた場合の免責規定も存在します。画面上に販売者名が見当たらないという事実ひとつだけで、賠償責任が確定するわけではありません。

申込みの撤回（クーリングオフ）は、原則として契約書面を受け取った日から7日以内であり、商品の供給がそれより遅れた場合は受領した日などを基準とします。表示・広告や契約内容と異なる給付が行われた場合には、商品の供給を受けた日から3か月以内、かつその事実を知った日または知り得た日から30日以内という特則が適用されます。商品の毀損や提供済みのデジタルコンテンツなどには制限や例外があるため、取引内容の精査が必要です。韓国法制処による申込み撤回の解説

この法律が対象のAIサービスにどのように適用されるかは、取引構造によって左右されます。実際の紛争においては、承認画面だけでなく、契約、商品情報、注文記録を集めて検証しなければなりません。

無料サービスでも復旧手段の確認が必要

無料のAIアシスタントだからといって、個人情報保護や消費者保護に関する義務が自動的に消えるわけではありません。ただ、無料・有料を問わず、提供される記録やサポートの範囲、補償の取り決めは製品ごとに異なります。

万一事故が起きた際にどこへ連絡できるのか、注文番号をエクスポートできるのか、サービス契約が終了しても必要な記録を確保できるのかを確認しておく必要があります。価格だけで復旧の可能性を判断することはできません。

Oswarldの視点

今回の原稿を準備するにあたり、数値以上に時間をかけて確認したのは、製品のリリースとサービス終了に関する告知でした。

OpenAIの現行ヘルプページには、Operatorのウェブサイトはすでに利用できない旨が記載されています。ChatGPT agentも提供を終了しており、ChatGPT Workやクラウドブラウザの利用が案内されています。Atlasについても2026年8月9日を終了日とし、必要なブックマークやブラウザデータを各自で保存するよう呼びかけています。ChatGPT agentの案内、Atlas終了の案内

利用していた製品が刷新されたり終了したりしても、その製品を介して実行された注文・発送・削除の結果までが自動的に取り消されるわけではありません。一方で、当時の承認画面や実行記録にアクセスし続けられるかどうかは別問題です。保存期間と移行方法を確認しておく必要があります。

だからこそ、行動型AIを導入する際には、正確性と併せてその製品を使わなくなった後でも事故を調査し、必要な措置を講じられるかをまず問うべきだと考えます。契約書、記録のエクスポート機能、販売者や連携事業者のサポート手順にその答えを見出す必要があります。

従業員が社内アカウントでエージェントを利用する場合も同様です。会社側が確認できる記録が従業員のアカウント名だけにとどまるのか、承認やツールの実行履歴まで残るのかを把握しておかなければなりません。すべてのログを無期限に保存すべきだと言っているわけではありません。必要な記録の範囲、保存期間、アクセス権限を、導入の段階で定めておこうという話です。

承認を押す前に確認すべき5つの項目

1. 実行する内容が具体的に見えているか。 商品・数量・金額・配送先のように、結果を左右する項目を確認できる必要があります。
2. 許可の範囲は明確か。 今回の作業にのみ適用されるのか、繰り返しの実行や追加の作業まで含むのかを確認してください。
3. 記録とキャンセルの手段を見つけられるか。 注文番号、実行時刻、元に戻す手順を確保できるか確かめてください。
4. 必要な権限だけに絞れているか。 照会だけで済む作業に、決済や削除の権限まで与える理由はありません。
5. 取引相手とサポート窓口を把握できるか。 AI提供者、販売者、決済事業者の役割と連絡先を区別しておきましょう。

確認ボタンは事故を減らすための手段です。そのボタンひとつがあらゆるリスクを防いだり、すべての責任を決めたりしてくれるわけではありません。ユーザーが実際に吟味できる情報と、実行をコントロールできる権限、そして不都合が生じた際に活用できる記録と復旧手順が揃っていなければならないのです。

💬 AIに注文や発送を任せた経験はありますか？ 承認を押す前に、皆さんはどのような点をもう一度確認していますか。取り消そうとしたものの必要な記録が見つからなかった経験なども、ぜひお聞かせください。

参考資料と関連リンク

• OpenAI Operator システムカード、2025年1月23日。
• ChatGPT agent システムカード、2025年7月17日。
• Anthropic: Trustworthy agents in practice、2026年4月9日。
• Anthropic: Measuring AI agent autonomy in practice、2026年2月18日。
• OpenAI Agentic Commerce Protocolにおける役割分担。
• OWASP AI Agent Security Cheat Sheet。
• 電子商取引法：仲介者の義務・責任および申込み撤回に関する規定。

あわせて読みたいバックナンバー

• 韓国の事業者がエージェント決済に参入する際に確認すべき条件
• AIエージェントにプリペイドカードと利用限度額を設定する方法
• AIエージェントの利用経験と監督方式の変遷

著者 アン・グァンソプ（Oswarld） は世宗大学校 兼任教授、INLEVEL9 戦略コンサルタントです。経歴、研究、著書、最近の活動は著者紹介で更新しています。 最近の活動 · 2026年7月：HEMA-2: A Consolidation-Aware Tri-Memory Architecture with Multi-Channel Scheduling for Lifelong Conversational AI。