Что это
На фоне хайпа агентов возник важный контртренд — трезвая проверка продуктивности. Рандомизированное контролируемое исследование (RCT) METR показало: опытные open-source разработчики на хорошо знакомых им зрелых проектах работали с ИИ-инструментами на 19% медленнее, чем без них — при том что сами были уверены, что ИИ их ускорил.
Откуда пошло
- 10 июля 2025 — METR публикует «Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity» (RCT — «золотой стандарт» доказательности).
- 16 опытных разработчиков, 246 задач из их собственных репозиториев, случайное разрешение/запрет ИИ (Cursor Pro + Claude 3.5/3.7 Sonnet).
- Результат разошёлся с интуицией и вызвал волну обсуждений «а правда ли ИИ ускоряет?».
Почему важно
- Разрыв восприятия: разработчики ждали +24% ускорения и постфактум оценивали +20% — а на деле было −19%. Субъективное «быстрее» ≠ объективное быстрее.
- Контекст имеет значение: эффект мерили на зрелых проектах с высокими стандартами, где автор уже глубоко в теме — там ИИ помогает меньше всего.
- Это здоровый противовес маркетингу: «10x-инженер за счёт ИИ» — не универсальная истина.
Как применить сейчас
- Меряй свою продуктивность фактами (время, throughput), а не ощущением «вроде быстрее».
- Применяй ИИ там, где выигрыш реален: незнакомый код/стек, бойлерплейт, прототипы — а не на коде, который знаешь наизусть.
- Учись пользоваться инструментом: METR назвал слабые промты и непривычку к интерфейсу среди причин замедления.
На что обратить внимание
- Это срез начала 2025 на узкой группе (опытные OSS-мейнтейнеры) — не отменяет выигрыша новичков и не приговор агентам; не обобщай слепо.
- Инструменты с тех пор сильно выросли — повторяй замер на актуальных моделях.
- Вывод не «ИИ бесполезен», а «эффект контекстно-зависим и легко переоценивается» — держи это в голове, оценивая ROI.