В сфере ИИ-агентов, способных взаимодействовать с пользовательскими интерфейсами, появился новый лидер. Команда Tongyi-MAI из Alibaba представила Qwen-UI-Agent, демонстрирующий выдающиеся результаты в автоматизации графических интерфейсов. Он превосходит даже флагманские модели, такие как GPT-5.6 Sol, что открывает новые возможности для автоматизации рутинных задач в различных приложениях на мобильных устройствах, ПК и в вебе.
Что произошло
20 августа 2026 года команда Tongyi-MAI из Alibaba выпустила Qwen-UI-Agent, базовый GUI-агент, который набрал 92,2% на бенчмарке MobileWorld-Real. Он превзошел GPT-5.6 Sol на 12,0 процентных пунктов и Claude Opus 4.8 на 14,6 процентных пунктов на MobileWorld. Модель управляет телефонами, ПК и веб-приложениями, считывая элементы на экране, а не вызывая API witho2.com.
Qwen-UI-Agent показал передовые результаты на всех 5 протестированных бенчмарках: 97,5% на AndroidDaily, 92,2% на MobileWorld-Real, 82,1% на MobileWorld, 81,5% на ScreenSpot-Pro для GUI-основания и 73,6% на WebArena для веб-браузинга и глубокого поиска. Результат MobileWorld-Real, измеренный на физических устройствах, превзошел Gemini 3.1 Pro, Claude Opus 4.8 и GPT-5.6 Sol. Alibaba опубликовала код на github.com/Tongyi-MAI/MAI-UI и технический отчет на arXiv witho2.com.
Почему это важно
GUI-агенты представляют собой мощный инструмент для автоматизации, поскольку они могут взаимодействовать с любым программным обеспечением, имеющим графический интерфейс, независимо от наличия API. Это открывает огромные возможности для автоматизации задач в устаревших системах, проприетарном ПО или там, где нет документированных API. Превосходство Qwen-UI-Agent над такими гигантами, как GPT-5.6 Sol, подчеркивает значительный прогресс в этой области и потенциал для создания более универсальных и эффективных решений для автоматизации.
Для предпринимателей это означает возможность автоматизировать бизнес-процессы, которые ранее требовали ручного вмешательства или сложной интеграции через API. Для разработчиков это открывает новые горизонты в создании инструментов для тестирования, роботизированной автоматизации процессов (RPA) и интеллектуальных ассистентов, способных работать с любым приложением. Это также указывает на то, что конкуренция в области ИИ-агентов становится все более острой, и китайские компании активно участвуют в этой гонке, предлагая инновационные решения.
Что это значит на практике
- Универсальная автоматизация: Qwen-UI-Agent может управлять любым приложением, имеющим графический интерфейс, будь то на телефоне, ПК или в браузере. Это позволяет автоматизировать задачи, которые ранее были недоступны для API-ориентированных агентов.
- Повышение эффективности RPA: Для компаний, использующих роботизированную автоматизацию процессов (RPA), Qwen-UI-Agent предлагает более мощный и гибкий инструмент, способный работать со сложными и нестандартными интерфейсами.
- Тестирование пользовательских интерфейсов: Разработчики могут использовать Qwen-UI-Agent для автоматизированного тестирования пользовательских интерфейсов, имитируя действия реального пользователя и проверяя корректность работы приложений.
- Снижение зависимости от API: Возможность работы без API значительно упрощает интеграцию и автоматизацию, особенно в случаях, когда API отсутствуют, плохо документированы или требуют сложных настроек.
- Открытый код для экспериментов: Публикация кода на GitHub (github.com/Tongyi-MAI/MAI-UI) позволяет разработчикам изучать, модифицировать и адаптировать Qwen-UI-Agent под свои нужды, способствуя развитию сообщества и созданию новых решений.