Google Cloud анонсировал Data Agent Kit — открытый набор инструментов для инженерии данных и науки о данных. Он интегрируется непосредственно в IDE или CLI, такие как VS Code или Cloud Code. Этот набор является частью новой структуры Orchestration Pipelines, представленной на Google Cloud NEXT ’24. Data Agent Kit призван демократизировать доступ к созданию конвейеров данных, позволяя специалистам всех уровней, от аналитиков до ML-инженеров, использовать естественный язык для разработки, развёртывания и устранения неполадок в DAG-графах Apache Airflow.
Что это такое
Data Agent Kit, выпущенный Google Cloud, является частью новой структуры Orchestration Pipelines. Этот набор инструментов, доступный бесплатно и с открытым исходным кодом, предназначен для интеграции в популярные среды разработки, такие как VS Code и Cloud Code. Он предлагает два основных способа взаимодействия:
- Выделенная вкладка Data Engineering: для управления конвейерами.
- Специализированный агентный навык: позволяет создавать, развёртывать и отлаживать DAG-графы Apache Airflow с использованием естественного языка. Это позволяет пользователям обходить сложный Python-код Airflow, используя декларативный YAML DSL для описания высокоуровневой логики оркестровки.
Почему это важно
Data Agent Kit существенно снижает барьер входа для создания и управления конвейерами данных, которые являются основой современной корпоративной инфраструктуры. Возможность использовать естественный язык для работы с Apache Airflow делает мощные MLOps-возможности доступными для более широкого круга специалистов, включая тех, кто не имеет глубоких знаний в программировании Python. Кроме того, автоматическая генерация рабочих процессов CI/CD (например, GitHub Actions) для развёртывания конвейеров значительно упрощает и ускоряет процесс, устраняя необходимость в ручном написании скриптов и конфигурации сред. Это не только экономит время, но и повышает надёжность и воспроизводимость развёртываний.
Что это значит на практике
Для команд, работающих с данными и машинным обучением, Data Agent Kit от Google Cloud предлагает ряд преимуществ:
- Ускоренная разработка пайплайнов: Создавайте и развёртывайте сложные конвейеры данных за считанные минуты, используя естественный язык и декларативный YAML, вместо написания объёмного Python-кода.
- Демократизация MLOps: Аналитики, инженеры данных и ML-инженеры теперь могут более эффективно сотрудничать и самостоятельно управлять конвейерами, независимо от их уровня владения Python.
- Упрощённое развёртывание: Автоматическая генерация CI/CD-пайплайнов (например, для GitHub Actions) значительно упрощает и стандартизирует процесс развёртывания, сокращая количество ошибок.
- Снижение операционных затрат: Меньше ручного труда и более быстрые циклы разработки приводят к снижению затрат на создание и поддержку инфраструктуры данных.
- Интеграция с существующими инструментами: Kit легко интегрируется с популярными IDE, такими как VS Code и Cloud Code, что позволяет разработчикам работать в привычной среде.