我是這項研究的 16 名開發人員之一。我想談談我對開發速度減慢的原因和緩解策略的看法。 我會說,作為“為什麼要聽你說?我認為透明度有助於社區。
METR
METR2025年7月11日
我們進行了一項隨機對照試驗,以了解人工智慧編碼工具在多大程度上加快了經驗豐富的開源開發人員的速度。 結果讓我們感到驚訝:開發人員認為他們使用 AI 工具的速度快了 20%,但實際上,當他們能夠使用 AI 時,他們比沒有使用時慢 19%。
首先,我認為人工智慧加速與任何人作為開發人員的能力的相關性非常弱。這項研究中的所有開發人員都非常優秀。我認為這更多地與陷入失敗模式有關,無論是在 LLM 的能力還是人類的工作流程中。我與大量出色的預訓練開發人員一起工作,我認為人們面臨許多相同的問題。 我們喜歡說 LLM 是工具,但將它們更像是靈丹妙藥。 從字面上看,任何開發人員都可以證明最終調試棘手問題的滿意度。LLM 是一個很大的多巴胺快捷鍵按鈕,可以一次性解決您的問題。您是否一直按下有 1% 機會解決所有問題的按鈕?這比艱苦的替代方案更令人愉快,至少對我來說是這樣。
我認為 LLM 過度使用的情況可能會發生,因為它很容易優化以獲得感知的樂趣,而不是在工作時縮短解決問題的時間。 我在光標中按 Tab 鍵 5 小時,而不是調試 1 小時:
第三,在 LLM 生成時,在停機期間很容易分心。社交媒體的注意力經濟是殘酷的,我認為人們花 30 分鐘滾動,同時“等待”他們的 30 秒一代。 關於這一點,我只能說,我們應該知道自己的陷阱,並嘗試有效地填補這 LLM 世代的時間: - 如果任務需要高度專注,請花這段時間處理子任務或思考後續問題。即使模特一拍即合你的問題,我還有什麼不明白的? - 如果任務需要低焦點,請同時執行另一項小任務(回覆電子郵件/閒置、閱讀或編輯另一個段落等)。 與往常一樣,小的數字衛生步驟有助於解決這個問題(網站攔截器、dnd 上的電話等)。很抱歉,我是一個 grampy,但它對我有用:)
一些最後的陳述: - METR 是一個很棒的合作組織,他們是強大的科學家。我喜歡參與這項研究並閱讀他們的結果。 - 我不是什麼試圖說教的法學碩士大師。把這想像成我發表了一篇個人日記,並希望其他人能從我的內省中受益。
1.96M