Недавнее исследование Manifold Security выявило критическую уязвимость в Microsoft Azure DevOps, которая может быть использована злоумышленниками для компрометации систем через ИИ-помощников. Проблема заключается в том, что официальный сервер MCP для Azure DevOps возвращает описания запросов на слияние (pull request) дословно, включая скрытые HTML-комментарии. Это открывает путь для выполнения несанкционированных действий.
Что произошло
Около 22 июля исследователи из Manifold Security продемонстрировали, что сервер MCP для Microsoft Azure DevOps не фильтрует скрытые HTML-комментарии в описаниях pull request. Злоумышленник может встроить инструкции в такие комментарии, которые не будут видны человеческому рецензенту. Когда разработчик использует своего ИИ-помощника для проверки pull request, помощник считывает эти скрытые инструкции и выполняет их, используя учётные данные разработчика. Это позволяет получить доступ к проектам, к которым злоумышленник иначе не смог бы подобраться напрямую. В данном случае, ИИ-агент Microsoft не совершал ничего непредвиденного — он просто читал документ и выполнял написанное, но отсутствие защитного механизма создало серьёзную брешь в безопасности.
Почему это важно
Эта уязвимость подчёркивает растущие риски, связанные с интеграцией ИИ-помощников в процессы разработки. Если ИИ-агенты слепо доверяют входным данным, не проверяя их на наличие скрытых инструкций, это создаёт новый вектор атак. Проблема не в самом ИИ, а в отсутствии адекватных механизмов безопасности в инструментах, с которыми он взаимодействует. Это напоминает о необходимости комплексного подхода к безопасности, где каждый компонент системы, включая ИИ-агентов, должен быть защищён от потенциальных манипуляций.
Инцидент также демонстрирует, что даже крупные платформы, такие как Microsoft Azure DevOps, могут иметь неочевидные уязвимости, которые становятся критическими в контексте использования ИИ. Для компаний, активно внедряющих ИИ-помощников в свои CI/CD пайплайны, это сигнал к немедленной проверке всех входных данных и механизмов взаимодействия ИИ с кодом и инфраструктурой.
Что это значит на практике
Для разработчиков и предпринимателей, использующих ИИ в своих рабочих процессах, стоит учесть следующее:
- Аудит входных данных для ИИ: Всегда проверяйте, какие данные получает ваш ИИ-помощник и как он их интерпретирует. Убедитесь, что нет скрытых или неочевидных инструкций, которые могут быть выполнены.
- Принцип наименьших привилегий: Ограничьте права доступа ИИ-помощников только теми ресурсами, которые абсолютно необходимы для выполнения их задач. Это минимизирует ущерб в случае компрометации.
- Использование проверенных инструментов: Отдавайте предпочтение инструментам, которые имеют встроенные механизмы безопасности для работы с ИИ и активно устраняют подобные уязвимости.
- Обучение ИИ-агентов безопасности: Если возможно, обучайте своих ИИ-агентов распознавать и игнорировать потенциально вредоносные или скрытые инструкции.
- Мониторинг активности ИИ: Внедрите системы мониторинга, которые отслеживают действия ИИ-помощников и оповещают о любой подозрительной активности, особенно связанной с доступом к конфиденциальным данным или изменением кода.