学生100人の実験に見るAI利用頻度と成果物の品質

コードが1行も見えない画面の前に100人が座りました

チューリッヒのある実験室で、学生100人がコードがまったく見えない画面の前に座りました。左側にはチャット画面、右側には生成されるアプリのプレビュー、そして15分のタイマーが置かれていました。

課題は三つありました。すでに動いているアプリを実際に使ってみたうえで同じものを作ること、そこに機能をもう一つ追加すること、そして何の用途かわからないようラベルを消したアプリを複製することです。参加者にできるのはプロンプトを書くことだけでした。モデルがコードを出力する画面は、進行中であることだけがわかるよう、意図的にぼかし処理が施されていたからです。

参加者は55スイスフランを受け取り、1時間45分のセッションに参加しました。コンピューターサイエンスの入門科目を履修し、LLMでプログラミングをした経験がある人のみを選抜しました。完全な初心者でも現役の開発者でもない層です。

ETHチューリッヒの研究チームがこの実験を事前登録¹したうえで実施した理由は単純です。コードに一切触れずにソフトウェアを作る手法が急速に広がっているものの（いわゆるバイブコーディングです）、その手法において誰が優れているのかは誰も測定したことがなかったからです。

結果は3月に公開され、最近LinkedInで要約が出回り始めました。その要約は、論文にない一文を結論に仕立て上げていました。そして、論文の中に実際に存在する一つの数字が丸ごと抜け落ちていたのです。

---

LinkedInが「開発者100人」と呼んだ人々

出回っている要約の骨子はこうです。ETHが開発者100人を商用レベルの環境でテストし、結果は残酷で、コンピューターサイエンスの知識が圧倒的な予測変数であり、結局のところバイブコーディングとはコードを書くことではなくロジックをデバッグすることだ、というものです。

原文と突き合わせてみると、次のように食い違っています。

要約	論文
開発者100人	ETH・チューリッヒ大学の学生100人。平均25歳、工学・技術51人、自然科学20人、人文社会11人
商用レベルの環境	商用ツールを参考にして研究チームが自作した実験用プラットフォーム。コードを一切見せないという点で商用ツールとは異なる
圧倒的な予測変数	CSの習熟度2と成果の相関は0.39。文章力まで加えたモデルの説明力は20.8%
残酷な結果	バイブコーディングの平均スコアは1点満点中0.45。全員が苦戦
コードを見てロジックをデバッグする作業	参加者はコードを見ることができなかった。著者らは因果関係の主張を明示的に否定し、問題分解能力を仮説として提示するにとどめた

一つだけ合っている点があります。コンピューターサイエンスの習熟度が文章力よりも固有の説明力を約2倍持っていたのは事実です。文章力を先に投入したうえでCSを加えると説明力が12.5%ポイント上がり、順序を逆にすると5.9%ポイント上がります。

ただし、文章力と成果の関係は、他の条件を併せて考慮すると異なってきます。一般認知能力³を統制すると、文章力と成果の関係は統計的有意性を失いました。偏相関⁴は0.186、p値は0.066です。同じ条件下で、CSの習熟度と成果の関係は統計的に有意でした。

そして、論文の本文ではなく探索的分析の中に埋もれていた数字が一つあります。

参加者が自己申告したLLMの利用頻度は、バイブコーディングの成果と負の相関を示しました。相関係数は−0.258、p値は0.010です。これが何を意味するのか。頻繁に使っていると答えた人ほど、うまく作れなかったという意味です。文章力スコアとも−0.282の負の相関があり、CSの習熟度とは0.001で事実上の無相関でした。

どのような指標が課題成績と関連していたのか

まず、−0.258をどう読み解くべきか整理しましょう。著者らもこの結果には驚いたと記しており、三つの説明を並べています。LLMが表現力を低下させた可能性があること、もともと文章を書くのが苦手な人ほどLLMに依存しやすいこと、そしてその両方である可能性があることです。自己申告による尺度であり、標本は学生100人であり、事前登録された検証仮説ではなく事後的な探索です。したがって、この数字をもって「AIをたくさん使うと頭が悪くなる」といった文を仕立ててはなりません。要約が犯した過ちを反対方向から繰り返すことになるからです。

研究チームが慎重に設計したという根拠もいくつかあります。半数にはアンケートを先に、残りの半数には課題を先に解かせるよう順序を入れ替えたところ、両グループの成果の平均値は0.446と0.448で事実上同一でした。エッセイを先に書いたことがプロンプト作成を上達させたわけではないということです。事前に登録していた仮説の一つは完全に棄却されました。文脈が排除された課題ほど文章力がより重要になると予想していましたが、実際には機能追加課題と差がありませんでした。ちなみに三つの課題の中で最も成績が低かったのが、その文脈排除課題でした。1点満点中0.34だったのです。

もう一つ補足すべき点があります。実験に使われたモデルは2025年5月バージョンのClaude Sonnet 4でした。モデルが一世代変われば、プロンプトの不備を自律的に補ってくれる度合いも変わり、そうなれば文章力と成果の関係も揺らぎます。この研究の数値は、特定の一時点のモデルを使用した実験結果です。

この結果を見ると、利用頻度だけでAI活用能力を判断するのは困難です。少なくとも今回の学生標本においては、利用頻度が高い人がより良い成果物を作ったとは言えませんでした。

今回の研究で課題成績と最も高い相関を示した指標は、参加者が作成したプロンプトの品質でした。

参加者が実際に作成したプロンプトの品質が、成果と0.479の相関を示しました。この論文全体の中で最も大きな係数です。エッセイの採点ルーブリックを作成した語学センターの講師陣がプロンプト用のルーブリックを別途設計し、他のデータを一切見ていない専門家1名がブラインド状態で採点しました。一貫性、課題に応じた複雑さ、指示の明確さを評価しました。

媒介分析⁵の結果はより明確です。文章力から成果へと至る経路の約52%をプロンプト品質が媒介しており、プロンプト品質をモデルに投入すると、文章力の直接効果は有意性を失いました。この分析では、文章力と成果の関係をプロンプト品質がかなりの部分説明していました。ただし、横断研究の媒介分析だけで因果関係や唯一の作用経路が証明されるわけではありません。「コーディングが得意＝AIの使い方がうまい」でもなければ、「AIの使い方がうまい＝文章がうまい」でもないのです。

機械的にもクロスチェックを行いました。プロンプトの語彙の多様性を自動測定する指標を二つ算出したところ、多様な語彙のプロンプトを書いた人ほどエッセイのスコアも高く、課題の成績も高くなっていました。人の目で採点した結果と機械がカウントした結果が、同じ方向を指し示していたということです。

もう一つあります。CSの習熟度と文章力には相互の相関が見られませんでした。0.126、p値は0.213です。今回の標本では、二つのスコアの間に統計的に有意な相関は確認されませんでした。一人の人間が両方の能力を兼ね備えたり伸ばしたりできないという意味ではありません。

それなのに組織はなぜ利用量を数えているのか

ここで原文が終わり、私の解釈が始まります。

現在、大半の組織がAI導入を報告する際に使っている数字は三つあります。アカウント数、週間アクティブユーザー数、トークン消費量です。三つの共通点は、すべて利用頻度のバリエーションにすぎないという点です。数えやすく、管理コンソールからすぐに出力でき、数字が伸びていれば導入が順調に進んでいるように見えるからです。

この実験が突きつける不都合な真実は、その指標が今回の標本において符号すら逆だったという点です。もちろん、学生100人による15分の実験室課題を、企業の実務現場へそのまま当てはめることはできません。しかし、方向性が逆に出ている指標を根拠に予算や人員配置を決めているのであれば、少なくとも自組織において利用量と成果物の品質がどのような関係にあるのかを確認してみる必要があります。

利用量という指標が使われ続ける理由の一つは、管理が容易だからだと私は見ています。アカウント数は契約を増やせばすぐに変わりますが、成果物の品質は別途評価しなければなりません。だからこそ、導入状況を報告するための数字と、実際の成果を評価するための数字を併せて見る必要があるのです。

利用状況と成果物の品質を分けて測定してみることができます。以下の組織への適用案は、論文の直接的な検証結果とは区別して捉える必要があります。

現在数えているもの	この研究が示唆するもの
アカウント数、アクティブユーザー数	組織の導入状況指標。研究が直接測定したのは個人の自己申告によるLLM利用頻度であり、成果との相関は−0.258
トークン消費量	この研究では直接検証せず。組織の成果物品質と別途比較すべき項目
利用時間	この研究の自己申告による利用頻度とは区別する必要あり
プロンプト品質	成果との相関0.479、本研究における最大の係数
成果物の採点	著者らが実際に用いた方式。4段階評価のルーブリック

プロンプト品質を測定することが非現実的に聞こえるかもしれませんが、この論文はそのルーブリックを補足資料として公開しています。一貫性、課題の複雑さに対する適切さ、指示の明確さという3つの軸です。チームがすでに実践しているコードレビューや企画書レビューにそのまま組み込める水準です。

韓国の組織にとって、この対比はより重く響きます。第206号で取り上げたように、韓国はAIに向き合っている時間そのものがすでに他国より長いのです。 その時間の長さがそのまま能力であると仮定してきたわけですが、本研究はその前提に少なくとも一つの疑問符を突きつけます。利用時間だけでなく、実際に作成したプロンプトや成果物の品質にも目を向けようという意味です。

今すぐ実践できる取り組みは大がかりなものではありません。前四半期にチームがAIを使って作成した成果物を10個選び、その際に使用したプロンプトを取り出して3つの軸で採点してみればよいのです。プロンプトのスコア、成果物のスコア、利用量がどのような関係にあるかを比較する出発点になります。10件の事例だけで組織全体の相関関係を断定するのではなく、評価基準を擦り合わせながらサンプル数を増やして確認していくのが望ましいでしょう。

Oswarldの視点

私は、この論文の真の発見は相関係数ではなく実験の設計にあると見ています。

研究チームは、プロンプトを単なる結果ではなくデータとして扱いました。100人が残したプロンプト全体を一つの分析対象として捉え、ルーブリックを作成し、ブラインド採点を実施しました。大半の組織はプロンプトをそのまま流してしまっています。ログには残るものの誰も読まず、誰も採点しません。私たちがAI活用能力を測定できない理由は、測るツールがないからではなく、測定すべき対象をデータとして見ていないからです。

万能プロンプトなど実際には存在しないという結論に行き着きます。

2点目に目が留まったのは、CSの習熟度と文章力スコアの間に有意な相関が確認されなかったという点です。これを見て、私は二つの能力を別々に評価してみる必要があると考えました。チーム内では、構造を分解できる人と、意図を文章でうまく説明できる人が協業することもできるでしょう。ただし、チームの構成が成果に与える影響は、この研究が直接検証した内容ではありません。

最後に、私がこの記事を書く契機となったのは、−0.258という数値そのものよりも、その数字が要約から抜け落ちていたという事実です。残されたのは「だからCSを学べ」という主張だけでした。もともと主張したかった都合の良い数字だけが生き残ったのです。1本の論文がLinkedInのカード画像1枚へと縮約される過程で、説明力20.8%は「残酷な結果」へとすり替わり、コードを見ることができなかった実験は「ロジックのデバッグ」へと書き換えられました。実のところ、これは従来のCS専攻者や現場のエンジニアにとっては耳触りの良い話です。LinkedInではよくウケるコンテンツなのです。

おわりに

読者さんが今どのような立場にあるかによって、この研究から持ち帰るべきポイントは異なります。

AI導入を報告しなければならない立場であれば、次回の報告書で利用量指標を一つ減らし、成果物の採点を一つ追加してみることが出発点になります。アカウント数は予算の根拠にはなっても、能力の根拠にはなりません。

採用や人員配置を担当する立場であれば、CSの知識と文章力を個別に評価してみることができます。今回の標本において二つのスコアの相関が有意でなかったという結果を、すべての人に一般化してはなりません。

現場で直接ものづくりを行う立場であれば、最も実践的なアドバイスは自分のプロンプトを読み返してみることです。この研究において成果を最も的確に予測したのは、ツールをどれだけ長く使ったかではなく、何をどう書いたかだったのですから。

---

💬 チームでAI導入の成果を報告する際、現在どのような数字を使っているでしょうか。その数字が実際の成果物の品質を的確に説明できていると感じられるか、ぜひご意見をお聞かせください。

📨 今四半期のAI導入指標を定めている同僚がいらっしゃれば、ぜひこの記事を共有してみてください。アカウント数を数え始める前に、一度目を通しておきたい内容です。

---

参考資料と関連リンク

主要出典

• Sverrir Thorgeirsson, Theo B. Weidmann, Zhendong Su, “Computer Science Achievement and Writing Skills Predict Vibe Coding Proficiency”, arXiv, 2026年3月14日。CHI 2026採択論文。本稿のすべての数値はここから引用しています。特に第9節の探索的分析は要約ではほとんど引用されないため、直接目を通すことをお勧めします
• 事前登録文書、AsPredicted。どの仮説が事前に登録され、どの結果が事後的な探索であるかを区別するには、まずこの文書を見る必要があります

背景知識

• 論文で使用されたCS習熟度の測定ツールは、Parkerらが開発したSCS1の12問短縮版です。特定のプログラミング言語を前提とせず、擬似コードで出題されるテストです
• バイブコーディングという言葉自体は2025年2月、アンドレイ・カルパシーが命名しました。コードの存在を忘れるという本来の定義を本論文がそのまま採用している点が、結果の解釈において重要です

関連する過去記事

• 第206号「米国の2倍、韓国がAIに向き合った時間」
• 第223号「生産性92%は成果か、それともパフォーマンスか」
• 第99号「誰もが開発できる時代が来るということ」

著者 アン・グァンソプ（Oswarld） は世宗大学校 兼任教授、INLEVEL9 戦略コンサルタントです。経歴、研究、著書、最近の活動は著者紹介で更新しています。 最近の活動 · 2026年7月：HEMA-2: A Consolidation-Aware Tri-Memory Architecture with Multi-Channel Scheduling for Lifelong Conversational AI。

📝 用語解説

각주

1. 事前登録：実験を開始する前に、仮説、サンプルサイズ、分析方法を公開リポジトリに登録しておく手続きです。結果を見てから仮説を変更するのを防ぐ仕組みであるため、登録された検証的分析と事後的な探索的分析を区別して読む必要があります。 ↩

2. CSの習熟度：本研究では、SCS1というテストの12問短縮版のスコアを指します。定義の知識、コードの追跡、コードの完成という3つの類型を各4問ずつ扱います。 ↩

3. 一般認知能力：ICAR16という公開テストで測定しました。言語推論、行列推論、文字列規則、3次元回転の4類型16問で構成されます。 ↩

4. 偏相関：第3の変数の影響を取り除いた後に残る2変数間の相関です。ここでは一般認知能力の影響を除外した後の値です。 ↩

5. 媒介分析：AがBに影響を与える際、その間に介在する変数がどれだけ経路としての役割を果たしているかを推定する手法です。ここでは文章力と成果の間にプロンプト品質が置かれています。 ↩