AI検出器は米独立宣言書すら「AIが書いた」と判定した
スタンフォード大の研究では非ネイティブのTOEFLエッセイ91編の61.3%がAIの文章と誤分類され、1776年の独立宣言書も95〜100%AIと判定されました。検出スコアを証拠として使ってはならない理由を整理しました。
社会志望動機書をあえて「完璧でなく」手直しした人たち
米アイダホ州立大学で化学を専攻していたローレン・ジェイガーは、博士課程への出願中、奇妙な警告を目にしました。一部の出願ポータルに「志望動機書にAIで書いた痕跡が検知された場合、出願書類全体を無効とする」と書かれていたのです。ジェイガーはAIなど使っていませんでした。しかし不安になって自分の文章をいくつかのオンライン検出ツールに入れてみたところ、どれも「ほぼ100% AI」と表示されました。
ジェイガーは結局、志望動機書を書き直しました。それも、より良い文章にするためではなく、検出器に引っかからないようにあえて「完璧でなく」したのです。そうして判定スコアを30%まで下げ、「これくらいなら大丈夫だろう」と提出したそうです。（幸い、彼女はユタ大学の博士課程に合格しました。）
同じ頃、インターネット上ではさらに呆れた出来事が話題になっていました。1776年に起草されたアメリカ独立宣言書をある検出器にかけたところ、「95〜100% AIが書いた」と判定されたのです。250年前の文書に対してです。
大学が不正行為を取り締まるために使っているこれらのツールは、実際にはどれほど正確なのでしょうか。検出器が時に間違えること自体よりも、間違える可能性のあるツールが出したスコアを確定的な証拠のように扱うことのほうが、はるかに大きな問題です。
🔍 大学が検出器にすがる理由
ChatGPTのような生成AIの登場により、文章を代筆してもらうコストは事実上ゼロに収束しました。ウェスタンシドニー大学で学術的誠実性を担当するキャス・エリスは、これを「規模の根本的変化」と呼びます。以前から代筆は存在していましたが、現在は「少なくともかなりの部分が捏造されたり飾られたりした成果物の流入量そのものが爆発した」というわけです。
問題は、従来の武器が通用しない点にあります。Turnitinのような盗用・剽窃チェックツールは、膨大な既存の出版物と文章を照合して「コピーした痕跡」を探し出します。しかし生成AIが作成した文章は、どこかから丸ごと盗用したものではなく、その都度新しく組み合わされます。照合すべき原文が存在しないため、盗用チェックには引っかかりません。AIは過去の膨大な文章を学習して文を生成しますが、その出力結果は学習元の原文と文章単位で一致するわけではありません。そのため、既存のテキストと照合する盗用チェックでは捕捉できないのです。
そこで登場したのが、「この文章は別のAIが書いたものだ」と判別できると主張する検出ツールです。Copyleaks、GPTZero、ZeroGPT、さらにはGrammarlyやQuillBot、Turnitinが開発したツールまで市場に出回っています。押し寄せる課題や出願書類を前に、大学や大学院はこれらのツールに頼り始めました。
なぜ「上手に書けた文章」がAIと判定されるのか
多くの検出器は、パープレキシティ1と呼ばれる指標に依存しています。わかりやすく言えば、「次の単語がどれくらい予測可能か」を測る指標です。AIが書いた文章は、統計的に滑らかで予測可能なパターンに従う傾向があります。そのため、パープレキシティが低い（予測しやすい）文章ほど「機械が書いた」と疑われ、突飛でユニークな表現が多いほど「人間が書いた」と判定されます。
問題点がおわかりでしょうか。この論理に従うと、文法を正確に守り、無駄なく滑らかに書く人ほどAIだと疑われることになります。ジェイガーが「私は文法書を勉強し、ルールを厳格に守って書いている。だからAIだと誤解されたのだと思う」と語ったのは、まさにこの点です。上手く書けているという理由で引っかかってしまうのです。
さらに深刻な問題は、英語が母国語でない人々に現れます。2023年にスタンフォード大学の研究チームは、7つの検出器に、ChatGPTが登場する前（2020年以前）に書かれたTOEFLのエッセイ91編を投入してみました。
この91編のうち、平均61.3%が「AIが書いた」と誤って分類されました。 一方で、米国の8年生（13〜14歳）の生徒が書いた英語の文章は、ほぼ正確に「人間の文章」と分類されました。
非ネイティブの文章は表現の多様性が相対的に低いためパープレキシティが低く算出され、検出器がそれを「AIらしい」と誤解したのです。誤検知率2 61%とは、人間が自力で書いたこのエッセイサンプルの半数以上がAIの文章だと誤判定されたことを意味します。この数値は、TOEFLエッセイ91編という限られたサンプルから得られた結果です。
独立宣言書が引っかかったのも同じ原理です。250年間にわたって無数に引用され、推敲されてきた文章は、統計的に極めて「予測可能」だからです。Nature誌が実際に1776年の原文の一部をZeroGPTに何度も投入してみたところ、毎回95〜100% AIと判定されたといいます。
このような誤審は例外的な事故ではありません。2025年のある研究では、最も広く利用されているとされるGPTZeroの精度を検証しましたが、完成したAIの文章は高い確信度で捕捉できたものの、人間が書いた文章をAIと誤認する割合は約16%に上りました。 研究陣の結論は、「人間が書いた文章を識別する信頼性は限定的」というものでした。
⚡ より正確な検出器が登場しても残る問題
もちろん、すべての検出器がこの程度というわけではありません。ニューヨークのPangram Labsは、自社の誤検知率が「ほぼゼロ」であると主張しています。アプローチが根本から異なります。人間が書いた文章と、それをAIにリライトさせた文章を大量に学習させ、新しいチャットボットが登場するたびにその文体を把握させる方式です。パープレキシティだけに頼ることはありません。シカゴ大学ブース・ビジネススクールとメリーランド大学による独立した評価でも、精度が99.8%を下回ったことはないとされています。
しかし、検出器が高精度になったからといって、問題が解決するわけではありません。
第一に、ハイブリッドテキストの存在です。 AIが学界に与える影響を研究しているマイク・パーキンス（ブリティッシュ・ユニバーシティ・ベトナム）は、「純粋なAIの文章なら検出器はかなり正確に捉えるが、その文章にあれこれ手を加え始めると検出は破綻する」と指摘します。人間が直接手直しする必要すらありません。別のAIに「書き直して」と頼むか、検出スコアを下げるよう設計された「ヒューマナイザー3」ツールを通せば済むからです。検出企業がこうした回避ツールを取り締まろうとすれば、また新たな回避ツールが現れます。パーキンスの言葉を借りれば、「誰の得にもならない巨大な軍拡競争」です。
第二に、さらに根本的な問題があります。 今年、マルゼナ・カルピンスカらの研究チームはPangramを利用して、2025年夏の米国の新聞1,500紙の記事18万6,000件を分析しました。その結果、約9%が部分的あるいは全体的にAIによって書かれたものと検知されました。しかし、カルピンスカ自身は、この結果について「大規模な傾向」を把握するためには使えても、個々の著者の不正を断定する根拠として使うべきではないと明確に述べています。
「それを根拠に人々をまとめて不合格にすることはできません。」
同じツールであっても、全体の傾向を把握するために使うことはできますが、個人の不正行為を判定する根拠としては不適切になり得ます。集団単位で計算された比率は、特定の誰かの文章がAIによって書かれたものかを証明してはくれません。
Oswarldの視点
率直に申し上げますと、私はこの話を単なる「検出ツールの性能」論争とは捉えていません。データを扱ってきた人間として、私の目に真っ先に飛び込んでくるのは「閾値（threshold）」と「基準率（base rate）」です。
データ分析の現場で頻繁に遭遇した罠があります。精度99.9%のモデルであっても、対象集団が十分に大きく「真の陽性」が稀である場合、無実の被害者をかなりの数生み出してしまうということです。
たとえば、誤検知率0.1%という極めて優秀な検出器があると仮定してみましょう。正直に自分の手で執筆した1万人の学生に適用した場合、そのうち約10人は何の落ち度もないのに「AI不正行為者」の烙印を押されます。その10人にとって、精度99.9%という数字は何の慰めにもなりません。
パーキンスが指摘した点も同じ文脈です。人間はスコアを目にすると、無条件に信じ込んでしまいがちです。盗用チェックの時代には、「ここのこの文章が、あの論文と完全に一致している」という目に見える証拠がありました。しかし、AI検出スコアにはそうした証拠がありません。「87% AI」という数字がいったい何を根拠に算出されたのか、学生にも教授にも確かめる術がないのです。GTM戦略を策定する中で、私は「数字で包装された確信」がいかに容易に組織をミスリードするかを何度も目撃してきました。スコアは判断を支援すべきものなのに、しばしば判断そのものに取って代わってしまうのです。
ですから、私の結論はこうです。検出器は「捜査の端緒」としては使えます。しかし「有罪の証拠」として扱った瞬間、ジェイガーのように文法を正確に守って書く人や非ネイティブが真っ先に誤検知の犠牲になります。ツールを使うなということではなく、検出器が弾き出したスコアを確定的な結論ではなく、あくまで参考資料としてのみ扱おうということです。
おわりに
第一に、多くのAI検出器は、文法を正確に守った文章や非ネイティブの文章をAIだと誤認します。スタンフォード大学の研究では、TOEFLエッセイ91編のうち平均61.3%がAIの文章と誤分類されました。 第二に、より正確な検出器が登場したとしても、人間が手を加えたハイブリッドテキストやヒューマナイザーを通した文章を捕捉するのは困難です。また、集団全体の傾向を把握することと、個人の不正行為を判定することは次元の異なる問題です。 第三に、危険なのはツールが間違えることよりも、間違える可能性のあるスコアを絶対的な証拠のように盲信する姿勢です。
もし文章を評価したり提出したりする立場にいらっしゃるなら、どうか一つだけ覚えておいてください。AI検出スコアは「さらに確認してみるきっかけ」にはなっても、それ単体で結論を下す根拠にはなりません。
ジェイガーは合格のために、自分の文章をあえて「完璧でなく」書き直しました。検出器に引っかからないよう自らの文章をわざと崩さざるを得ないこの状況、皆さんはご自身の文章や学生・同僚の文章が不当にAI扱いされた経験はありませんか。どのような状況だったか、ぜひコメントでお聞かせください。次号のテーマの参考にさせていただきます。
💬 不当にAI扱いされた経験など、ぜひコメントでお聞かせください。次号の参考にさせていただきます。
📨 文章を書く同僚の方に役立ちそうでしたら、ぜひこの記事をシェアしてください。
参考資料と関連リンク
主要出典
- Weixin Liang et al., “GPT detectors are biased against non-native English writers”, Patterns (Cell Press), 2023. : 誤検知率61.3%の出典です。非ネイティブ差別の問題を初めてデータで示した論文ですので、結果（Results）セクションから読まれることをおすすめします。
- “Assessing GPTZero’s Accuracy in Identifying AI vs. Human-Written Essays”, arXiv preprint, 2025. : GPTZeroの誤検知率16%はこちらが出典です。
- Jenna Russell, Marzena Karpinska et al., “AI use in American newspapers is widespread, uneven, and rarely disclosed”, arXiv preprint, 2025. : 新聞記事における9%のAI検知研究。「傾向の把握には使えるが個人の審判には使えない」とする著者らの節制が印象的です。
- W. H. Walters, “The Effectiveness of Software Designed to Detect AI-Generated Writing: A Comparison of 16 AI Text Detectors”, 2023. : 16のツールのうち3つ（Copyleaks、Turnitin、Originality.ai）のみが高性能だったという研究です。
- M. Suvanto et al., preprint, arXiv, 2026. : 記事内の「検出の兆候（telltale signs）」グラフィックの出典です。パープレキシティが単語単位でどのように機能するかが可視化されています。
背景知識
- Pangram Labs 第三者評価まとめ、 「Pangram評価」, “Chicago Booth Review”. : 「ほぼゼロの誤検知率」がどのように検証されたかに関心がある方はこちらをご覧ください。
原文
- “Universities are relying on AI-detection software to catch cheating. How well do the programs work?”, Nature (2026). : 本日のニュースレターの発端となった記事です。
