AI 코딩 도구는 정말 개발 시간을 줄여줄까
숙련 개발자 16명을 무작위 배정한 실험에서 AI를 쓴 쪽이 19% 더 느렸습니다. 더 흥미로운 건 그들이 끝나고도 20% 빨라졌다고 믿었다는 점입니다.
실험 하나
METR가 2025년에 발표한 무작위 대조 시험(RCT)입니다. 설계는 이렇습니다.
- 주요 오픈소스 저장소의 숙련 개발자 16명
- 각자 자기 저장소의 실제 이슈 246건 (평균 2시간짜리)
- 이슈마다 AI 사용을 허용/금지로 무작위 배정
- 도구는 Cursor Pro 위의 프런티어 모델
결과는 이렇습니다.
AI 도구 사용이 허용됐을 때, 개발자들은 이슈를 완료하는 데 19% 더 오래 걸렸습니다.
진짜 중요한 부분은 그 다음입니다
숫자 하나만 보면 "AI는 별로다"로 읽히지만, 이 연구가 오래 인용되는 이유는 다른 데 있습니다.
| 값 | |
|---|---|
| 실험 전 개발자들의 예상 | 24% 빨라질 것 |
| 실제 측정 결과 | 19% 느려짐 |
| 실험 후에도 개발자들의 믿음 | 20% 빨라졌다 |
세 번째 줄을 다시 읽어볼 만합니다. 직접 겪고 나서도 인식이 바뀌지 않았습니다. 43%p 차이가 나는 상황에서, 당사자가 그 차이를 감지하지 못했습니다.
왜 느려졌는데 빨라졌다고 느낄까
정확한 원인은 이 실험이 답하지 않지만, 구조적으로 짐작 가능한 지점들이 있습니다.
체감은 '타이핑'을 기준으로 형성됩니다. 100줄이 한 번에 생성되는 순간은 강렬하게 기억에 남습니다. 반면 그 100줄을 읽고, 틀린 곳을 찾고, 고치고, 다시 돌려보는 시간은 '원래 하던 일'로 뭉개져 기억됩니다.
대기 시간은 노동으로 느껴지지 않습니다. 모델이 생각하는 30초 동안 개발자는 쉬고 있습니다. 시계는 가는데 피로는 안 쌓이니 짧게 느껴집니다.
실패한 시도는 회고에서 지워집니다. 세 번 시도해 세 번째에 됐다면, 기억에 남는 건 "됐다"입니다.
이 결과를 어디까지 믿어야 하나
과잉 해석을 경계할 지점이 분명히 있습니다.
- 표본이 16명입니다. 그리고 자기가 몇 년씩 유지해 온 대형 오픈소스 저장소에서 일했습니다. 코드베이스를 이미 손바닥처럼 아는 사람에게 AI의 탐색 능력은 가치가 작습니다.
- 반대로 처음 보는 코드베이스, 낯선 언어, 보일러플레이트에서는 결과가 다를 가능성이 큽니다.
- 2025년 초 시점의 모델과 도구입니다.
그래서 이 실험의 교훈은 "AI 쓰지 마라"가 아닙니다. "당신의 체감은 증거가 아니다" 쪽에 훨씬 가깝습니다.
그럼 뭘 해야 하나
체감이 못 미덥다면 측정해야 하는데, 개인이 RCT를 할 수는 없습니다. 대신 할 수 있는 것들:
1. 시작과 끝을 기록하세요. 이슈 단위로 착수·완료 시각만 남겨도 몇 주가 지나면 패턴이 보입니다. 도구가 아니라 작업 종류별로 갈린다는 걸 알게 될 가능성이 높습니다.
2. 완료 기준을 고정하세요. "동작한다"가 아니라 "테스트 통과 + 리뷰 승인 + 머지"까지가 완료입니다. AI가 가장 크게 왜곡하는 구간이 정확히 이 뒤쪽입니다.
3. 재작업률을 보세요. 머지 후 2주 안에 같은 곳을 다시 고쳤는가. 속도보다 이 지표가 정직합니다.
정리
- 숙련 개발자·익숙한 코드베이스라는 조건에서, AI 허용군이 19% 느렸습니다.
- 당사자들은 24% 빨라질 것으로 예상했고, 겪고 나서도 20% 빨라졌다고 믿었습니다.
- 이건 도구에 대한 판결이라기보다, 자기 생산성 인식이 얼마나 부정확한지에 대한 증거입니다.
- 도구를 고르는 것보다 완료 기준과 재작업률을 정하는 게 먼저입니다.
여러분의 체감은 몇 %인가요? 그리고 그걸 측정해 본 적은 있으신가요?
출처
- METR, Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity — 이 글이 다룬 무작위 대조 시험의 발표문.
- METR RCT 논문 (arXiv:2507.09089) — 같은 연구의 논문판. 실험 설계와 한계가 자세히 적혀 있습니다.
- Stack Overflow Developer Survey 2025 — AI 섹션 — 개발자들이 스스로 보고한 AI 사용률과 신뢰도. 자기보고라는 점을 감안해서 보세요.
- DORA, 2024 Accelerate State of DevOps Report — 조직 단위 지표에서 AI 도입이 어디에 영향을 줬는지 본 보고서.