2026.09.07· 5 段
他們以為快了 20%,其實慢了 19%
所有人都說 AI 讓寫程式變快,但幾乎所有證據都來自體感。
背景
2025 年,一個幾乎沒人做過的實驗
有人真的去量了「AI 到底讓工程師快多少」
所有人都說 AI 讓寫程式變快,但幾乎所有證據都來自體感,或是新手做玩具專案的測試。
研究機構 METR 決定認真量一次,找來 16 位資深開源開發者,在他們自己維護多年的真實專案上完成 246 項真實任務。
一半的任務允許用 AI 輔助,一半不准,用的是當時最強的工具組合。
開始之前還先請他們預估,AI 會讓你快多少。
後來發生的事
同一批人,三個數字
他們預估、他們感覺、儀器測量
任務開始前,這些開發者平均預估 AI 會讓自己快 24%。
全部做完之後,研究團隊請他們回想剛才的體感,得到的答案是平均快了 20%。
然後研究團隊拿出實際計時的資料,結果和前面兩個數字都不一樣,而且方向是相反的。
三方背離
同一件事,三種說法
- +24%
- 事前預估:他們以為 AI 會讓自己快這麼多
- +20%
- 事後體感:做完之後,他們仍然覺得快了這麼多
- -19%
- 客觀測量:實際上他們變慢了
- 16 人 · 246 項
- 樣本:資深開源開發者,在自己維護多年的專案上作業
帶走這句
最危險的不是 AI 沒用,是你以為它有用。
時間花去哪了?審核 AI 寫的程式碼、修它犯的錯、來回跟它解釋需求。
這些成本是隱形的,它們分散在每一次「看起來差不多對」的輸出裡,而正因為體感是快的,沒有人會回頭去量自己的效率。
必須補一句,這是 2025 年初的模型,不能直接套到今天,但它示範了一件事,體感不能當證據。
出處
這個實驗可以自己查
原始研究報告
METR ·「Measuring the Impact of Early-2025 AI on Developer Productivity」
論文與完整方法
arXiv:2507.09089 · 2025 年 7 月發布
後續發展
METR 於 2026 年 2 月宣布調整實驗設計,結論仍在演進中