Google представила EmbeddingGemma 2 — новую открытую модель, которая расширяет возможности эмбеддингов за пределы текста, объединяя код, изображения, видео и аудио в едином пространстве. Эта модель, построенная на архитектуре Gemma 4 и выпущенная под лицензией Apache 2.0, имеет 740 миллионов параметров, что делает её оптимальной для инференса на устройстве. Она позволяет выполнять такие задачи, как поиск видеоклипа по голосовой заметке или аудиозаписей по текстовому запросу, обрабатывая всё это одной мультимодальной моделью.
Что произошло
Google выпустила EmbeddingGemma 2 — модель для нативных мультимодальных эмбеддингов, унифицирующую текст, код, изображения, видео и аудио в одном пространстве. Модель с 740 миллионами параметров идеально подходит для работы на устройствах. EmbeddingGemma 2 демонстрирует значительное улучшение производительности в работе с кодом (на 9.92 балла в MTEB Code) по сравнению с предыдущей версией. Она также устанавливает новый стандарт качества для моделей до 1 миллиарда параметров в обработке изображений, видео, документов и аудио. Модель доступна под коммерчески разрешительной лицензией Apache 2.0.
Почему это важно
Выпуск EmbeddingGemma 2 — важный шаг к созданию по-настоящему мультимодальных ИИ-систем, способных понимать и связывать информацию из различных источников. Для разработчиков и предпринимателей это открывает двери для создания инновационных продуктов, которые могут обрабатывать и искать данные в различных форматах, сохраняя при этом конфиденциальность и снижая задержки благодаря локальному инференсу. Возможность объединять различные типы данных в одном пространстве эмбеддингов упрощает разработку сложных систем поиска и извлечения информации, а также позволяет создавать более интеллектуальные и контекстно-зависимые RAG-пайплайны, особенно в сочетании с генеративными моделями, такими как Gemma 4.
Что это значит на практике
- Локальный инференс и конфиденциальность: Генерация эмбеддингов на устройстве обеспечивает конфиденциальность данных, снижает задержки и позволяет разработчикам создавать кросс-модальный поиск и извлечение информации, работающие полностью офлайн.
- Улучшенный поиск по коду: Значительное улучшение производительности в работе с кодом делает EmbeddingGemma 2 идеальной для локального индексирования кодовых баз, семантического поиска кода и извлечения информации для кодирующих агентов.
- Мультимодальный поиск и RAG: Модель позволяет искать видеоклипы по голосовым заметкам или аудиозаписи по текстовым запросам. В паре с генеративными моделями, такими как Gemma 4, она обеспечивает RAG-пайплайны, способные понимать сложные мультимодальные данные.
- Эффективность на edge-устройствах: Благодаря небольшому размеру (740 млн параметров) и высокой производительности, EmbeddingGemma 2 может работать на edge-устройствах, что расширяет возможности для создания ИИ-приложений в условиях ограниченных ресурсов.
- Открытая лицензия для коммерческого использования: Лицензия Apache 2.0 позволяет свободно использовать модель в коммерческих проектах, что стимулирует инновации и разработку новых продуктов на её основе.