我是这项研究的 16 名开发人员之一。我想谈谈我对开发速度减慢的原因和缓解策略的看法。 我会说,作为“为什么要听你的?我认为透明度有助于社区。
METR
METR2025年7月11日
我们进行了一项随机对照试验,以了解 AI 编码工具在多大程度上加快了经验丰富的开源开发人员的速度。 结果让我们感到惊讶:开发人员认为他们使用 AI 工具的速度提高了 20%,但实际上,当他们能够访问 AI 时,他们比没有使用时慢 19%。
首先,我认为人工智能加速与任何人作为开发人员的能力的相关性非常弱。这项研究中的所有开发人员都非常优秀。我认为这更多地与陷入失败模式有关,无论是在 LLM 的能力还是人类的工作流程中。我与大量出色的预训练开发人员一起工作,我认为人们面临着许多相同的问题。 我们喜欢说 LLM 是工具,但将它们更像是灵丹妙药。 从字面上看,任何开发人员都可以证明最终调试一个棘手问题的满足感。LLM 是一个很大的多巴胺快捷键,可以一次性解决您的问题。您是否一直按下有 1% 几率解决所有问题的按钮?这比艰苦的替代方案更令人愉快,至少对我来说是这样。
我认为 LLM 过度使用的情况可能会发生,因为它很容易针对感知乐趣进行优化,而不是在工作时缩短解决时间。 我在光标中按 Tab 键 5 小时而不是调试 1 小时:
第三,在 LLM 生成过程中,在停机期间很容易分心。社交媒体的注意力经济是残酷的,我认为人们在“等待”他们的 30 秒一代时会花 30 分钟滚动。 关于这一点,我只能说,我们应该知道自己的陷阱,并尝试有效地填补这段 LLM 一代的时间: - 如果任务需要高度专注,请花这段时间处理子任务或思考后续问题。即使模特一拍即合你的问题,我还有什么不明白的? - 如果任务需要低焦点,在此期间执行另一项小任务(回复电子邮件/Slack、阅读或编辑另一个段落等)。 与往常一样,小的数字卫生步骤有助于解决这个问题(网站拦截器、dnd 上的电话等)。很抱歉,我是一个 grampy,但它对我有用:)
Some final statements: - METR is a wonderful organization to work with, and they are strong scientists. I've loved both participating in this study and reading their results. - I am not some LLM guru trying to preach. Think of this as me publishing a personal diary entry, and hoping that others can benefit from my introspection.
1.96M