Google запустил агентное видеопонимание для своих новейших моделей Gemini: 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite. Эта новая возможность значительно повышает точность анализа видео, одновременно резко сокращая потребление токенов и, как следствие, затраты. Подобно агентному зрению, которое сочетает выполнение кода с нативным пониманием изображений моделями Gemini, агентное видеопонимание использует встроенные видеоинструменты Gemini для улучшения производительности и открытия новых возможностей, таких как поиск моментов с точностью до доли секунды, более точное обнаружение аномалий и точный подсчет объектов.
Функция доступна через Gemini API в Google AI Studio и Gemini Enterprise Agent Platform для загрузки видео и видео с YouTube. В отличие от текущей «статической» обработки, где модель обрабатывает видео с фиксированной частотой кадров (по умолчанию 1 FPS), агентное видеопонимание сочетает основное рассуждение модели с нативными видеоинструментами для динамического поиска, сканирования и проверки целевых сегментов видео по визуальным кадрам, аудио и транскриптам. По данным Google, модели Gemini с агентным видеопониманием сокращают затраты на анализ до 66% и потребление токенов до 88%, при этом повышая точность до 7% по стандартным бенчмаркам видеоанализа.
Почему это важно
Агентное видеопонимание от Google Gemini — это не просто очередное улучшение, а фундаментальный сдвиг в том, как ИИ взаимодействует с видеоконтентом. Снижение затрат на 66% и потребления токенов на 88% при одновременном повышении точности открывает двери для массового внедрения видеоанализа в самых разных отраслях. Это делает ранее дорогостоящие и ресурсоемкие задачи, такие как мониторинг безопасности, анализ спортивных событий, контроль качества на производстве или создание автоматизированных видеоредакторов, гораздо более доступными и экономически выгодными. Для разработчиков это означает новые возможности для создания продуктов, которые ранее были невозможны из-за технических или финансовых ограничений.
Что это значит на практике
- Экономия ресурсов: Если ваш продукт или сервис активно работает с видео, вы можете значительно сократить расходы на обработку, используя агентное видеопонимание Gemini. Пересмотрите свои текущие пайплайны и оцените потенциальную экономию.
- Новые возможности для продуктов: Используйте новые возможности, такие как поиск моментов с точностью до доли секунды или точное отслеживание объектов, для создания инновационных функций. Например, для автоматического создания клипов из длинных записей, детального анализа поведения клиентов или обнаружения мельчайших дефектов на производстве.
- Улучшенная точность: Повышение точности анализа видео до 7% означает, что вы можете полагаться на результаты ИИ в более критически важных сценариях, где ошибки недопустимы.
- Интеграция через API: Функция доступна через Gemini API, что упрощает ее внедрение в существующие приложения и платформы. Начните экспериментировать с Google AI Studio или Gemini Enterprise Agent Platform.
- Расширение сферы применения: Рассмотрите применение видеоанализа там, где раньше это было нецелесообразно из-за высокой стоимости или низкой точности. Это может быть мониторинг больших территорий, анализ поведения животных или детальный разбор спортивных матчей.