qvib.pro
EN

Computer-use и браузерные агенты

Для чего: понять прорыв — ИИ смотрит на экран, двигает курсор и кликает, как человек, выполняя задачи в любом интерфейсе.

Anthropic Computer Use — публичная бета, октябрь 2024 (первая фронтир-модель с этой способностью) проверено 2026-06-01

Что это

Computer-use — способность агента управлять компьютером как человек: смотреть на скриншот экрана, двигать курсор, кликать кнопки, печатать текст. Браузерные агенты — частный случай: агент сам ходит по сайтам, заполняет формы, кликает. Это снимает требование «у всего должен быть API»: агент работает там, где есть только GUI.

Откуда пошло

  • Октябрь 2024 — Anthropic выпустила Computer Use в публичной бете (Claude 3.5 Sonnet) — первая фронтир-модель с этой возможностью; первые партнёры Asana, Canva, DoorDash, Replit.
  • 2025 — браузерные агенты массово: OpenAI Operator, Claude в Chrome (август 2025), Project Mariner у Google, Manus.
  • К 2026 — десктоп-агенты выходят на личные устройства.

Почему взлетело

  • Огромный пласт работы живёт в интерфейсах без API (легаси-CRM, админки, веб-формы) — computer-use открывает их для автоматизации.
  • Vision-модели стали достаточно точными, чтобы понимать скриншот и попадать в элементы.
  • Это «последняя миля» агентности: агент перестаёт зависеть от наличия интеграции.

Как применить сейчас

  1. Для веб-рутины используй браузерных агентов (заполнить, собрать, проверить флоу).
  2. В разработке — гоняй e2e-проверку UI агентом (Playwright-стиль): открой флоу, кликни, убедись, что соседнее не сломалось.
  3. Давай узкую задачу и наблюдаемый результат — длинные цепочки кликов всё ещё хрупкие.

На что обратить внимание

  • Агент с доступом к браузеру + к данным + к внешней связи = летальная трифекта (легко выманить данные через инъекцию на странице).
  • Точность падает на сложных/динамичных интерфейсах — закладывай повторы и проверки.
  • Никогда не давай computer-use-агенту необратимые действия (платежи, удаление) без подтверждения человека.