100名学生实验中所见：AI使用频率与产出品质
在苏黎世一项针对100名学生的实验中，自述LLM使用频率较高的参与者任务成绩往往偏低。但这并不意味着已查明因果关系。
商业100人坐在了一行代码也看不见的屏幕前
在苏黎世的一个实验室里，100名学生坐在了完全看不到代码的屏幕前。左边是聊天窗口，右边是正在生成的应用程序预览，旁边还放着一个15分钟的计时器。
任务共有三个：亲自试用一个已经在运行的应用程序后原样复刻；在此基础上再添加一个功能；以及复刻一个去掉了所有标签、让人无法直接看出用途的应用程序。参与者唯一能做的就是写提示词。模型输出代码的界面被特意做了模糊处理，只能让人看出正在生成中。
参与者领取了55 瑞士法郎报酬，参加了一场时长1小时45分钟的实验环节。入选者必须修过计算机科学入门课程，并且有使用LLM进行编程的经验。他们既不是完全的门外汉，也不是一线的在职开发者。
苏黎世联邦理工学院的研究团队之所以将这项实验进行预注册1并开展研究，原因很简单。完全不触碰代码来构建软件的方式正在迅速普及（也就是人们常说的 Vibe Coding），但在此类方式下究竟谁能做得更好，此前从未有人测算过。
实验结果于3月公布，最近领英（LinkedIn）上开始流传一份总结版本。那份总结把论文中根本没有的语句当成了结论，而论文中实际存在的一个数字却被彻底遗漏了。
领英口中所谓的“100名开发者”
流传的那份总结大意如下：苏黎世联邦理工学院在商业级环境中测试了100名开发者，结果极其残酷，计算机科学知识是压倒性的预测变量，最终证明 Vibe Coding 并不是写代码，而是在调试逻辑。
但若与论文原文对照，差异显而易见：
| 摘要版本 | 论文原文 |
|---|---|
| 100名开发者 | 苏黎世联邦理工学院与苏黎世大学的100名学生。平均年龄25岁，工程与技术类专业51人，自然科学类20人，人文社科类11人 |
| 商业级环境 | 参考商业工具由研究团队自行搭建的实验平台。完全不展示代码这一点与商业工具有所不同 |
| 压倒性预测变量 | CS掌握度2与成绩的相关系数为0.39。将写作能力一并纳入的模型解释力为20.8% |
| 残酷的结果 | Vibe Coding 的平均得分在满分1分中仅为0.45分。所有人均表现挣扎 |
| 看着代码调试逻辑的过程 | 参与者根本看不到代码。作者明确拒绝对因果关系下定论，仅将问题拆解能力作为假设提出 |
有一点确实没错。计算机科学掌握度的独立解释力确实大约是写作能力的两倍。先纳入写作能力再加入CS，解释力上升了12.5个百分点；如果颠倒顺序，则上升5.9个百分点。
不过，一旦把其他条件一并考虑在内，写作能力与成绩的关系就发生了变化。在控制一般认知能力3后，写作能力与成绩之间的关系失去了统计学显著性，偏相关系数4为0.186，p值为0.066。而在相同条件下，CS掌握度与成绩的关系依然具有统计学显著性。
而且，论文正文之外、埋在探索性分析中的一个数字值得注意。
参与者自述的LLM使用频率，与 Vibe Coding 的成绩呈现出负相关。相关系数为−0.258，p值为0.010。这意味着什么？意味着回答使用越频繁的人，做出来的东西反而越差。该指标与写作能力得分也呈−0.282的负相关，而与CS掌握度之间的相关系数为0.001，实际上毫无关联。
哪些指标与任务成绩相关
首先来理清应该如何解读 −0.258 这个数字。作者们也表示对这一结果感到意外，并并列给出了三种解释：可能是 LLM 削弱了表达能力，也可能是原本就不擅长写作的人更依赖 LLM，或者两者兼有。这是自陈量表，样本只有 100 名学生，且属于事后探索性分析，而非预先注册的验证性假设。因此，绝不能根据这个数字得出“AI 用得越多就越笨”的结论。否则就是走向另一个极端，重蹈那篇总结的覆辙。
也有几项证据表明研究团队的设计十分严谨。他们打乱了顺序，让一半人先做问卷、一半人先做任务，两组的平均成绩分别为 0.446 和 0.448，实质上完全一致。这意味着先写文章并不会让人更擅长写提示词。他们预先注册的一个假设甚至被直接否定了：原以为在脱离上下文的任务中写作能力会更重要，但实际上它与功能追加任务并无差异。顺便提一句，三项任务中得分最低的正是那项去语境化任务，满分 1 分仅得 0.34 分。
还需要加上一个前提条件。实验中使用的模型是 2025 年 5 月版的 Claude Sonnet 4。一旦模型迭代一代，其自动填补提示词漏洞的能力就会发生变化，写作与成果之间的关系也会随之动摇。这项研究中的数字只是使用特定时间点模型所得的实验结果。
从这一结果来看，单凭使用频率很难判断 AI 应用能力。至少在这批学生样本中，并不能认为使用频率高的人做出了更好的成果。
在这项研究中，与任务成绩相关性最高的指标是参与者编写的提示词质量。
参与者实际编写的提示词质量与最终成果的相关系数达 0.479。这是整篇论文中最大的系数。制定文章评分标准的语言中心教师团队专门设计了一套针对提示词的评分标准，并由一位完全看不到其他数据的专家在盲审状态下打分。考察维度包括一致性、符合任务的复杂度以及指示的清晰度。
研究还进行了基于机器指标的交叉验证。他们计算了两个自动测量提示词词汇多样性的指标，结果显示，使用词汇更丰富的提示词的人，文章得分和任务成绩都更高。这意味着人工打分的结果与机器统计的结果指向了同一个方向。
还有一点。计算机科学学业成绩与写作能力之间并不相关。相关系数为 0.126，p 值为 0.213。在本次样本中，两项得分之间未发现具有统计学意义的相关性。当然，这并不意味着一个人不能同时具备或培养这两种能力。
然而，组织为什么偏偏在统计使用量？
原文到这里告一段落，接下来是我的解读。
目前大多数组织在汇报引入 AI 的进展时，使用的数字基本有三个：账号数、周活跃用户数、Token 消耗量。这三者的共同点在于，它们全都是使用频率的变体。因为容易统计，从后台控制台直接就能调出数据，只要数字往上涨，看起来引入工作就推进得很顺利。
这项实验之所以让人坐立难安，是因为该指标在本次样本中的相关符号甚至完全相反。当然，我们不能把 100 名学生耗时 15 分钟的实验室任务直接套用到企业一线。但如果组织正依据一个方向截然相反的指标来决定预算和人员配置，至少需要确认一下，在自己的组织内部，使用量与产出质量之间究竟存在怎样的关系。
我认为，使用量指标之所以一直被沿用，原因之一就在于它便于管理。账号数只要增加采购合同就能立即改变，而产出质量则必须单独进行评估。因此，汇报引入现状的数字与评估实际成果的数字，必须结合起来一同审视。
我们可以将使用现状与最终成果的质量分开进行衡量。下方列出的组织应用思路，需要与论文的直接验证结果区分开来。
| 目前统计的指标 | 本项研究带来的启示 |
|---|---|
| 账号数、活跃用户数 | 组织层面的引入现状指标。研究直接衡量的是个人自述的 LLM 使用频率，其与绩效的相关系数为 −0.258 |
| Token 消耗量 | 本项研究未作直接验证。属于需要与组织的产出质量单独进行对比的项目 |
| 使用时长 | 需要与本项研究中的自述使用频率区分开来 |
| 提示词质量 | 与绩效的相关系数为 0.479，为本项研究中的最高系数 |
| 产出评分 | 作者实际采用的方法。采用 4 分制量规 |
衡量提示词质量听起来可能有些不切实际，但这篇论文在补充材料中公开了具体的评价量规。包括一致性、针对任务复杂度的恰当性、指令的明确性这三个维度。这一标准完全可以融入团队现有的代码审查或策划案评审流程中。
对韩国的组织而言，这种对比带来的痛感更为强烈。正如我们在上一期（第 206 期）中所探讨的，韩国在 AI 上投入的时长本身就已经超过了其他国家。我们一直默认这段时长就代表了能力水平，但这项研究至少给这个假设打上了一个问号。这意味着，除了使用时长之外，我们还必须审视实际编写的提示词以及产出成果的质量。
眼下能够尝试的行动其实并不复杂。从上个季度团队借助 AI 完成的产出中挑选十份，调出当时使用的提示词，按照上述三个维度进行打分即可。这可以作为比较提示词得分、成果得分与使用量之间关系的起点。与其仅凭十个案例就断定整个组织内的对应关系，倒不如借此统一评估标准，并逐步扩大样本量来加以验证。
Oswarld视角
我认为这篇论文真正的发现不在于相关系数，而在于实验设计。
研究团队没有把提示词当成产出结果，而是将其视作数据。100 人留下的全部提示词被作为一个单元，制定了评分准则，并进行了盲审打分。大多数组织只是任由提示词流失。它们虽留存在日志中，却无人阅读，也无人评分。我们之所以无法衡量 AI 能力，并非缺乏衡量工具，而是没有将应当衡量的对象视为数据。
万能提示词这一结论。
其次让我关注的，是计算机成绩与写作得分之间未发现显著相关这一细节。看到这里，我认为有必要将这两种能力分开评估。在团队中，擅长拆解架构的人与擅长用语句精准表达意图的人完全可以进行协作。不过，团队构成对绩效的影响并非本项研究所直接验证的内容。
最后，促使我写下这篇文章的，不是 −0.258 这个数值本身，而是这个数字在各种摘要版本中消失了这一事实。剩下的只有“所以去学计算机吧”。只有符合原先预设立场的数字被保留了下来。一篇学术论文在被浓缩成一张领英图文卡片的过程中，20.8% 的解释力变成了“残酷的现实”，看不见代码的实验变成了“逻辑调试”。事实上，这种说法对既有的计算机专业学生和从业者来说极具吸引力，在领英上也确实是很有市场的爆款内容。
结语
取决于读者目前身处什么职位，能从这项研究中带走的启发也各不相同。
如果您身处需要汇报 AI 引入成效的岗位，那么在下一份报告中，将一项使用量指标替换为一项产出评分，就是一个很好的起点。账号数量可以作为预算的依据，但无法作为能力的证明。
如果您身处招聘或人员调配的岗位，可以分别评估候选人的计算机科学（CS）知识与写作能力。切记不要将本次样本中两项得分相关性不显著的结果，一概推广到所有人身上。
如果您身处一线实际开发的岗位，最实用的建议莫过于重新读一读自己的提示词。因为在这项研究中，对成果预测性最强的因素，绝非使用工具的时间长短，而是究竟写了什么、又是如何写下的。
💬 在团队汇报 AI 引入成效时，您目前正在使用什么数字指标？您是否觉得这些数字能够充分说明实际产出的质量呢？欢迎分享您的看法。
📨 如果身边有同事正在制定本季度的 AI 引入指标，请把这篇文章转发给他们。在清点账号数量之前，这篇内容非常值得一读。
参考资料与延伸阅读
核心来源
- Sverrir Thorgeirsson, Theo B. Weidmann, Zhendong Su, “Computer Science Achievement and Writing Skills Predict Vibe Coding Proficiency”, arXiv, 2026 年 3 月 14 日。CHI 2026 录用论文。本文引用的所有数据均来自此处。尤其是第 9 节的探索性分析在各种总结中极少被提及，建议直接阅读原文。
- 预注册文件，AsPredicted。若想区分哪些假设是事前注册的、哪些结果是事后探索的，需要先参阅该文件。
背景知识
- 论文中用于测量计算机科学素养（CS 成就）的工具是 Parker 等人开发的 SCS1 的 12 道题目简略版。该测试不预设特定编程语言，而是以伪代码形式出题。
- “Vibe Coding”这一说法本身是由 Andrej Karpathy 于 2025 年 2 月提出的。本篇论文直接沿用了“忘记代码的存在”这一最初定义，这一点对于解读研究结果至关重要。
相关往期
- 第 206 期《美国的两倍：韩国沉浸在 AI 中的时间》
- 第 223 期《92% 的生产力是成果，还是一场表演？》
- 第 99 期《人人都能开发的时代来临意味着什么》
📝 术语说明
注释
-
预注册：在实验开始前，将假设、样本量、分析方法登记在公开存储库中的流程。它是防止在看到实验结果后再修改假设的机制，因此阅读时需要区分已注册的证实性分析与事后的探索性分析。 ↩
-
CS 成就：在本研究中，指 SCS1 测试 12 道题目简略版的得分。涵盖定义理解、代码追踪、代码补全三种题型，各 4 道题。 ↩
-
一般认知能力：通过名为 ICAR16 的公开测试进行测量。由语言推理、矩阵推理、字符序列规律、三维旋转四种类型共 16 道题组成。 ↩
-
偏相关：排除第三个变量的影响后，剩余两个变量之间的相关性。在这里指剔除了一般认知能力影响后的数值。 ↩
-
中介分析：当 A 影响 B 时，用来评估夹在两者之间的变量在多大程度上起到了传导通道作用的统计方法。在这里，提示词质量处于写作能力与任务表现之间。 ↩