GitHub Copilot представил новую функцию «Computer use», которая позволяет ИИ-агенту взаимодействовать с десктопными приложениями. Эта функция доступна в публичной предварительной версии для GitHub Copilot CLI и приложения GitHub Copilot на macOS и Windows. Теперь Copilot может выполнять действия в графических интерфейсах, такие как чтение содержимого приложений, клики по элементам управления, ввод и редактирование текста, нажатие клавиш, прокрутка и навигация по рабочим процессам.
Это значительно расширяет спектр задач, которые Copilot может автоматизировать, включая работу с устаревшим или исключительно графическим программным обеспечением, не имеющим API или командной строки. Пользователь сохраняет полный контроль: Copilot запрашивает разрешение перед каждым действием в приложении, и есть возможность просматривать или сбрасывать разрешения для приложений. На macOS функция также требует предоставления разрешений на доступность и запись экрана.
Значение новой функции
Эта функция представляет собой значительный шаг к созданию более автономных и универсальных ИИ-агентов. Возможность взаимодействовать с любым десктопным приложением, независимо от наличия API, открывает двери для автоматизации сложных и многоступенчатых рабочих процессов, которые ранее требовали ручного вмешательства. Это особенно актуально для корпоративных сред, где часто используются специализированные или устаревшие приложения.
Для разработчиков это означает, что Copilot может взять на себя ещё больше рутинных задач, освобождая время для более творческой и сложной работы. Это также снижает барьер для автоматизации в тех случаях, когда создание собственных интеграций было бы слишком затратным или невозможным.
На практике это означает:
- Автоматизация рутинных задач: Copilot может теперь выполнять действия в любых десктопных приложениях, например, суммировать уведомления в браузере, обновлять презентации или переносить информацию между различными программами.
- Работа с legacy-софтом: Возможность взаимодействия с приложениями без API позволяет автоматизировать процессы в устаревших или специализированных программах, где раньше это было невозможно.
- Повышение продуктивности: Разработчики могут делегировать Copilot выполнение повторяющихся действий, освобождая время для более важных задач.
- Контроль пользователя: Несмотря на расширенные возможности, пользователь всегда остаётся в курсе действий Copilot и может одобрять или отклонять их, а также управлять разрешениями для приложений.
- Новые сценарии использования: Функция открывает новые горизонты для создания пользовательских автоматизаций, объединяющих различные десктопные приложения в единый рабочий процесс.