わずか9秒で起きたAI事故、問題は検知と復旧の時間です
AIエージェントによるデータ削除事故とウィーナーの1960年の論文を通じ、人間が問題を察知して復旧する時間をいかに確保すべきかを考えました。
ビジネス本番DBとバックアップが消えるまでにかかった9秒
2026年4月26日、米国の小さなSaaSスタートアップであるPocketOSで、ある事故が起きました。テスト環境を整備していたAIコーディングエージェントが、「問題を解決するため」に自ら判断してクラウドボリュームを削除したのですが、それが本番データベースと接続されていたのです。バックアップも同じボリュームにありました。かかった時間はわずか9秒でした。
ニュースの見出しはおおむね「AIが会社を吹き飛ばした」というトーンでした。しかし、私はこの事故において別の数字がずっと頭から離れませんでした。9秒という数字です。人間が画面を見て、異変に気づき、手を伸ばして止めるまでにかかる時間よりも短いのです。
この事故の原因は、AIが賢くなったことにはありません。機械は秒単位で命令を実行するのに対し、人間はその間に状況を把握して停止させることができないという速度の差こそが原因です。同様の指摘は、すでに66年前に出されていました。
1960年5月、ウィーナーの論文：人間が遅すぎて統制が無効になる
ノーバート・ウィーナーは、サイバネティクス1を創始した数学者です。彼は1959年12月にシカゴで開かれたアメリカ科学振興協会の学術大会で講演を行い、その原稿を推敲して翌年5月の『Science』誌に掲載しました。タイトルは「自動化のいくつかの道徳的・技術的帰結」です。
論文に付された副題は、このような一文です。
「機械は学習するにつれ、それをプログラミングした人間さえも当惑させるほどの速度で、予期せぬ戦略を発展させることがある」
1960年のことです。ウィーナーが根拠として挙げたのは、IBMのチェッカープログラムでした。彼の観察によれば、このプログラムは10時間から20時間ほど学習すると、自分をプログラミングした人間よりも明らかに上手く指すようになったといいます。いまの基準からすれば些細な事例です。しかし、ウィーナーがそこから導き出した結論は些細なものではありませんでした。
「私たち人間の行動が遅いというその事実ただ一つによって、機械に対する私たちの実効的な統制は無効になりうる。感覚が伝えてくれた情報に反応して運転中の車を止められるようになる頃には、車はすでに壁に正面衝突した後かもしれない」
そして続けて、このように釘を刺しています。
「機械は理論上、人間の批判を受ける。だがその批判は、有効なタイミングをとうに過ぎてからでしか行われないかもしれないのだ」
論文には「時間スケール（Time Scales）」という節がわざわざ設けられています。ウィーナーは、学習する機械が危険になる最大の理由として、たった一つの点を挙げています。人間と機械がまったく異なる時間スケールの上で作動しており、その二つが深刻な摩擦なしには噛み合わないということです。
ウィーナーはこの点を、次の文章ではっきりと述べています。
「著しく異なる時間スケールの上で2つの制御主体が協調して作動するたびに、同じ種の問題が生じる。どちらが速く、どちらが遅いかは関係がない」
つまり、ウィーナーの診断は「機械が速いから危険だ」ということではありません。速度の差そのものが統制を無効にするということです。その証拠として、彼は逆方向の例も挙げています。科学者個人と科学史の関係です。科学という長いプロセスにおいては50年が個人の1日と同じようなものであり、個々の科学者は自分が参加している過程の極めて小さな断片しか見ることができない、と。こちらは機械が遅い場合ですが、そこでも統制は同じように困難になります。
秒単位で終わってしまった最近の3つの事例
では、66年後の現在へと進んでみましょう。人間が介入する隙もなく、機械側で処理が終わってしまった事例を3つ見てみます。
1つ目、9秒。 先ほど触れたPocketOSの事故です。ここで重要なのはエージェントが悪意を持っていたかどうかではなく、破壊的な命令が確認手続きなしに実行される構造になっていたという点です。この企業は結局、3カ月前のバックアップから部分復旧し、それ以降の記録は手作業で作り直しています。
2つ目、毎秒複数件。 Anthropicが2025年9月中旬に検知し、11月にレポートを公開したサイバー諜報活動の事例です。約30の組織が標的となり、レポートの表現によれば「AIが戦術的タスク全体の約80〜90%を自律的に実行」しました。人間が介入した主な決定は、このようなものでした。偵察から実際の侵入へ移行することを承認すること、窃取したアカウントを使って横方向に移動することを承認すること、どこまで情報を持ち出すかを決定すること。残りの作業は人間の確認なしにAIが連続して処理しました。熟練した人間なら数カ月かかる作業が、数日へと圧縮されたのです。
3つ目、89%。 ゴールドマン・サックスなどを引用した今年2月の韓国国内の報道によると、グローバル金融市場の取引の約89%がアルゴリズムによって行われています。1日あたり最低3兆7,000億ドル規模です。この市場がどのように崩壊しうるかは、2010年のフラッシュ・クラッシュ2が示しました。わずか5分間でダウ平均株価が約1,000ポイント急落し、時価総額1兆ドルが蒸発したのです。5分という時間は、トレーダーに何が起きたかを把握することすら許さないほど短い時間です。
3つの事例の共通点は明確です。いずれも「AIが人間より賢いから」起きたことではありません。すべて人間が状況を察知し、判断して手を打つ前に事態が終わっていたという点で共通しています。ウィーナーの言う、壁に激突した自動車と同じ状況なのです。
停止ボタンよりも難しい問題：ウィーナーの運動失調の比喩
しかし、この論文で私が最も長く考えさせられたのは、自動車ではなく別の比喩でした。ウィーナーは神経生理学の用語を一つ持ち出します。運動失調3です。
「神経生理学の言葉で言えば、運動失調は麻痺と同じくらい大きな剥奪でありうる」
運動失調の患者は、筋肉にも運動神経にも何の異常もありません。力もあり、命令も伝達されます。しかし、自分の体が今どのような姿勢にあるのか、今受けている力が倒れそうな力なのかどうかを知らせる感覚が機能していません。 そのため、立っていることができないのです。ウィーナーは、この状態は麻痺と何ら変わりがないと述べています。
そして、すぐにこう付け加えています。
「壊滅的な結果を避けるためには、私たちの側の何らかの行動が機械の針路を変えるのに十分であるというだけでは足りない。そのような行動を検討するための根拠となる情報自体が、私たちにない可能性が十分にあるからだ」
停止ボタンがあるかどうかが問題なのではありません。押すべき理由を適切なタイミングで察知できるかどうかが問題なのです。現代の言葉に置き換えれば、可観測性（オブザーバビリティ）4の話です。
ここに、人間側の欠陥がもう一つ重なります。自動化バイアス5です。医療情報学の分野で頻繁に引用されるゴダードらの研究チームによる2012年のシステマティック・レビューでは、これを次のように整理しています。おおむね正確な自動システムと長く協働していると、人間は結果を自立して検証することをやめてしまう、と。承認要求が繰り返されれば、人間はやがて内容を読まずにボタンを押すようになります。それは怠慢だからではなく、そのように設計された環境における自然な結果なのです。
EU AI法はこの問題を条文に反映させています。第14条第4項は、高リスクAIを監督する人間が備えるべき能力を列挙する中で、「自動化バイアスに陥る可能性があることを常に認識すること」と「停止ボタンなどによってシステムを安全な状態で停止できること」を並べて記載しています。ウィーナーが1960年に書いた2つの文が、およそ60年の歳月を経て法文になったと言えます。
問題は、法文が人間に必要な時間を作り出してくれるわけではないということです。9秒で完結してしまう事故においては、停止ボタンがあっても押す時間がありません。 停止ボタンは、人間が異常を認識し、判断する時間が確保されていて初めて機能するものなのです。
では、何を設計すべきでしょうか
ウィーナーは論文の最後に、ガラス瓶工場の話をします。工場を最大生産性の基準でプログラムしておくと、経営者は6カ月前に生産を止めるべきだったと気づく頃には、売れ残った瓶の在庫のせいでとっくに破産しているかもしれない、という話です。機械は指示されたとおり完璧に働いたにもかかわらず、です。
ここから実務的に引き出せる原則が3つあると考えます。
第1に、速度を落とす代わりに、取り消し可能な構造を作ることです。 自動化のメリットはスピードであり、速度を落としてしまっては導入する理由が失われます。一方、取り消し可能な行為とそうでない行為を分離することは、速度をほとんど犠牲にしません。PocketOSの事故で本当に致命的だったのは削除そのものではなく、バックアップが同一のボリュームにあったという事実です。取り消す手段がそもそも存在しなければ、事故が急速に起きようと緩やかに起きようと、復旧が極めて困難になるという問題が残ります。
第2に、確認要求を減らしてこそ、確認が実際に行われるようになります。 確認ダイアログを大量に出すことは安全対策のように見えますが、逆効果を生みます。要求があまりに繰り返されると、やがて内容を読み飛ばして承認してしまうようになるからです。取り消しの利かない破壊的なアクション数点にのみ確認を集約し、残りは確認なしで実行させるほうが、確認の総量を増やすよりもはるかに安全です。
第3に、処理の進行中に人間が察知できるシグナルを作ることです。 これは前述の運動失調に対する処方箋です。事故が終わった後に残る監査ログは、転んだ後に自分の姿勢を知らされるようなものです。必要なのは、作業が進行している最中に現在の状態を知らせてくれるシグナルです。実務においては通常、異常検知のアラートと自動遮断の閾値という2つの組み合わせになります。
そして、ウィーナーが論文を通じて繰り返し鳴らした警告が一つあります。彼はゲーテの『魔法使いの弟子』、千夜一夜物語の「漁師と魔神」、W・W・ジェイコブズの『猿の手』を次々に引き合いに出しながら、次のように締めくくっています。
「機械に与えた目的が、本当に私たちが望む目的なのか、あるいはその目的の華麗な模造品にすぎないのではないかを、確実に見極めておくほうがよい」
AIが追求する目標を人間の意図と一致させようとする、今日の「アライメント」の議論にも直接通じる指摘です。
Oswarldの視点
GTM戦略を立てる中で、繰り返し目にしてきたパターンがあります。技術が何を変えるかという展望はおおむね当たり、いつどのような経路で変わるかという展望はほとんど外れるということです。ですから、私は古い予測文書を読むとき、結論よりもまず構造を見るようにしています。
ウィーナーはこのパターンには完全には当てはまりません。時期については大きく外しました。1960年当時、彼が見た最先端はチェッカープログラムだったのですから。しかし、構造は正確に言い当てていました。なぜだろうと考えてみましたが、答えは単純なところにあるようです。ウィーナーが予測したのは機械の能力ではなく、人間と機械の関係だったからです。 機械の能力は予測が難しくても、関係の構造は予測が可能です。私たちの反応速度は、1960年以降少しも速くなっていないのですから。
最近、AI導入のワークショップに参加すると、最も多く受ける質問が「どこまで自動化すべきか」です。私はいつからか、この問いにすぐには答えず、逆に問い返すようになりました。「これが誤作動したとき、気づくまでに何分かかりますか？ そして、元に戻すには何分かかりますか？」 と。この2つの数字を即座に答えられる組織は、思った以上に稀です。自動化の範囲は仕様書にまとめられているのに、検知時間と復旧時間はどの資料にも書かれていないのです。
ですから、私は現時点での真の危険は「AIが人間を代替すること」ではないと考えています。監督責任は人間に残されたまま、実際の判断と実行は人間が追いつけない速度で機械が処理している状態、それこそがより危険です。監督していると書類上は書かれているのに、監督することが物理的に不可能な速度で回転している構造です。
ウィーナーはこれを「主人と奴隷の逆説」としても説明しました。私たちは奴隷が賢く仕事をうまくこなしてくれることを望むと同時に、完全に服従することを望むが、完全な服従と完全な知能は両立しないのだと。いま私たちがエージェントに要求しているのは、まさにそれなのです。
おわりに
整理してみましょう。第1に、最近のAI事故は知能の問題ではなく、時間スケールの問題です。事態は人間の認知速度を上回る速さで終結します。第2に、この診断はウィーナーが1960年にすでに完成させており、彼が提示した処方箋は停止ボタンではなく「押すべき理由を適切なタイミングで知る能力」でした。第3に、したがって実務の焦点は自動化の範囲ではなく、検知時間と復旧時間という2つの数字へと移るべきです。
今週、たった一つだけでも実践してみることをお勧めします。現在稼働している自動化プロセスのうち一つを選び、その横に2つの数字を書き出してみてください。誤作動したときに気づくまでに何分、元に戻すまでに何分。この2つの合計が、事故が起きた際に異常な状態が維持されてしまう時間です。自動化の範囲を決めることよりも、この合計時間を把握することのほうがはるかに重要なのです。
皆さんの実務でも、エージェントや自動化スクリプトに権限を与えて「これは危なかった」と肝を冷やした経験はおありでしょうか。どのような権限であり、異変に気づくまでどれくらいかかったか、ぜひコメントでお聞かせください。事例が集まりましたら、次号で権限の種類ごとにどのようなリスクがあるのかを整理してみたいと思います。
💬 エージェントに権限を与えてヒヤリとした瞬間や、気づくまでにかかった時間をコメントで教えてください。次号の参考にさせていただきます。 📨 自動化パイプラインを運用している同僚が周りにいらっしゃいましたら、ぜひこの記事をシェアしてください。
参考資料と関連リンク
主要出典
- Norbert Wiener, “Some Moral and Technical Consequences of Automation”, Science, Vol. 131, No. 3410, 1960年5月6日、 pp. 1355–1358. リンク ・・・ 本稿の骨格となった論文です。1959年12月27日のAAASシカゴ大会での講演がもとになっており、4ページほどの分量ですので原典でも読みやすい内容です。「Time Scales」の節から読まれることをお勧めします。
- Anthropic, Disrupting the first reported AI-orchestrated cyber espionage campaign, 2025年11月. リンク ・・・ 「80〜90%の自律実行」と、人間が介入した3つのポイントがどこだったのかが整理されています。ただし、報告主体が該当モデルの開発元である点は考慮して読むのが賢明です。
- 「Claudeベースのコーディングエージェントの誤作動で会社のDB全体が吹き飛ぶ」、『AIタイムス』、2026年4月28日。 リンク ・・・ 9秒の事故に関する事実関係です。バックアップが同一のボリュームにあったという点が、この事故の真の原因でした。
- 「世界中の取引の89%…『アルゴリズム取引』が株・金価格急落の主犯」、『イーデイリー・マーケットイン』、2026年2月13日。 リンク ・・・ アルゴリズム取引の比率とフラッシュ・クラッシュの数値の出典です。引用されている指標は複数の機関による推計値であるため、幅を持たせて理解するのが安全です。
背景知識
- Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt, “Automation bias: a systematic review of frequency, effect mediators, and mitigators”, Journal of the American Medical Informatics Association, 19(1), 2012, pp. 121–127. リンク ・・・ 自動化バイアスの議論における標準的な参考文献です。医療現場を対象とした研究ですが、その結論はITやビジネス現場にそのまま適用できます。
- 「Article 14: Human Oversight」, EU Artificial Intelligence Act. リンク ・・・ 第4項の (b) と (e) を見るだけでも十分です。自動化バイアスと停止ボタンが、同一の条項内に並んで規定されています。
- Norbert Wiener, The Human Use of Human Beings, Houghton Mifflin, 1950. リンク ・・・ 本稿で扱った論文の主張を、一般書として展開した一冊です。論文に関心を持たれた方は、こちらへ読み進めてみてください。
📝 用語解説
각주
-
サイバネティクス（Cybernetics）：生物であれ、機械であれ、組織であれ、何らかの対象を制御し情報をやり取りする仕組みをひとつの枠組みで説明しようとする学問です。ウィーナーが1948年に命名し、現代の制御工学、AI、システム理論はすべてここから枝分かれしました。 ↩
-
フラッシュ・クラッシュ（Flash Crash）：アルゴリズム取引が相互に連鎖・誘発し合い、市場がわずか数分で暴落した後に大半を取り戻す現象のことです。2010年5月6日の米国株式市場での事例が代表的です。 ↩
-
運動失調（Ataxia）：筋肉や運動神経には異常がないにもかかわらず、自分の体の位置や加わっている力を感知する感覚が損なわれ、身体の動きを協調・制御できなくなる状態を指します。力がないからではなく、感覚がないために立つことができません。 ↩
-
可観測性（Observability）：システムの外部に出力されるシグナルを見るだけで、内部で何が起きているのかを把握できる度合いを指します。ログを大量に蓄積することとは異なります。問題を適切なタイミングで察知できるかどうかが基準になります。 ↩
-
自動化バイアス（Automation Bias）：自動化システムがおおむね正確であるために、人間がその結果を自ら検証することを次第に怠るようになってしまう傾向のことです。システムが正確であればあるほど、かえってこのバイアスが強まるという厄介な性質を持っています。 ↩