ai4biz.tw
← 全部專題
2026.09.07· 5 段

他們以為快了 20%,其實慢了 19%

所有人都說 AI 讓寫程式變快,但幾乎所有證據都來自體感。

背景

2025 年,一個幾乎沒人做過的實驗

有人真的去量了「AI 到底讓工程師快多少」

所有人都說 AI 讓寫程式變快,但幾乎所有證據都來自體感,或是新手做玩具專案的測試。

研究機構 METR 決定認真量一次,找來 16 位資深開源開發者,在他們自己維護多年的真實專案上完成 246 項真實任務。

一半的任務允許用 AI 輔助,一半不准,用的是當時最強的工具組合。

開始之前還先請他們預估,AI 會讓你快多少。

後來發生的事

同一批人,三個數字

他們預估、他們感覺、儀器測量

任務開始前,這些開發者平均預估 AI 會讓自己快 24%。

全部做完之後,研究團隊請他們回想剛才的體感,得到的答案是平均快了 20%。

然後研究團隊拿出實際計時的資料,結果和前面兩個數字都不一樣,而且方向是相反的。

三方背離

同一件事,三種說法

+24%
事前預估:他們以為 AI 會讓自己快這麼多
+20%
事後體感:做完之後,他們仍然覺得快了這麼多
-19%
客觀測量:實際上他們變慢了
16 人 · 246 項
樣本:資深開源開發者,在自己維護多年的專案上作業

帶走這句

最危險的不是 AI 沒用,是你以為它有用。

時間花去哪了?審核 AI 寫的程式碼、修它犯的錯、來回跟它解釋需求。

這些成本是隱形的,它們分散在每一次「看起來差不多對」的輸出裡,而正因為體感是快的,沒有人會回頭去量自己的效率。

必須補一句,這是 2025 年初的模型,不能直接套到今天,但它示範了一件事,體感不能當證據。

出處

這個實驗可以自己查

  • 原始研究報告

    METR ·「Measuring the Impact of Early-2025 AI on Developer Productivity」

  • 論文與完整方法

    arXiv:2507.09089 · 2025 年 7 月發布

  • 後續發展

    METR 於 2026 年 2 月宣布調整實驗設計,結論仍在演進中