Что это
Это семейство бенчмарков, которые проверяют агентов на реальной инженерной работе, а не на викторине. SWE-bench Verified — 500 отобранных людьми GitHub-issue из популярных репо: агент должен сгенерить патч, который реально закрывает баг и проходит тесты. Terminal-Bench — ~100 ручных задач в терминале (собрать код, поднять сервер, решить инфра-проблему).
Откуда пошло
- 2023 — выходит SWE-bench (Принстон). 2024 — OpenAI/Anthropic делают SWE-bench Verified, отфильтровав некорректные задачи.
- 2025 — Terminal-Bench (Stanford + Laude Institute) добавляет «работу в терминале» как отдельную ось; появляются SWE-bench Pro, SWE-rebench и др.
- Лидерборды стали публичной ареной, где лаборатории меряются на каждом релизе.
Почему взлетело
- Старые бенчмарки (multiple-choice) насыщались и не отражали, умеет ли модель чинить реальный код.
- «Закрыл issue / прошли тесты» — честная, проверяемая метрика, близкая к работе инженера.
- Цифры стали маркетинговым языком индустрии: «X% на SWE-bench Verified» — первое, что показывают на анонсе модели.
Как применить сейчас
- Сравнивая модели/агентов, смотри на SWE-bench Verified и Terminal-Bench, а не на абстрактные «IQ-тесты».
- Помни про скаффолд: один и тот же LLM с разной обвязкой даёт разный результат — сравнивай связки, а не голые модели.
- Свою задачу проверяй на своём коде: публичный бенчмарк — ориентир, а не гарантия для твоего репо.
На что обратить внимание
- Контаминация: задачи из открытых репо могли попасть в обучение — отсюда работы про «надувание» метрик (SWE-ABS и подобные).
- Высокий процент ≠ «справится с твоим легаси»: бенчмарк ≠ твой контекст.
- Числа быстро устаревают — сверяй дату лидерборда.