На рынке AI появилась новая модель Jev от стартапа TypeSafe AI, основанного бывшим сотрудником OpenAI. Это не очередная большая языковая модель, а принципиально иной подход, способный изменить автоматизацию и мониторинг AI-систем. Jev фокусируется на «калиброванных решениях» вместо генерации текста, предлагая скорость, экономичность и отсутствие галлюцинаций.
Что это за модель?
На этой неделе TypeSafe AI, стартап, основанный бывшим сотрудником OpenAI Алмейдой, выпустил новую трансформер-модель под названием Jev. Её ключевое отличие от больших языковых моделей (LLM) в том, что она не генерирует текст, а выдает вероятности, или так называемые «калиброванные решения». Отказ от языка делает модель чрезвычайно дешевой и быстрой. Поскольку пользователи заранее определяют выходные данные, Jev не может галлюцинировать. Выходные токены бесплатны, а входные тарифицируются миллиардами, а не миллионами.
Разработчики проявили огромный интерес к продукту; компания даже временно потеряла возможность обслуживать пользователей через свой API из-за высокого спроса. Jev оказалась наиболее полезной для автоматизации программного обеспечения. Например, Pranit Sharma, инженер-программист из Vercel, сообщил, что его компания использовала ChatGPT Luna 5.6 для классификации команд на предмет безопасности. Заменив Luna на Jev, Vercel получила результаты в 5-18 раз быстрее и с большей точностью. Nikhil Mudholkar, CTO Bryo AI, тестировал Jev против Gemini для классификации деловых писем. Gemini показала чуть большую точность, но была в 10-20 раз дороже. Mudholkar особо отметил «оценки уверенности» Jev, назвав их «единственными, кто возвращает реальную вероятность, что делает ее идеальной для автоматизации рабочих процессов».
Почему это важно?
Jev представляет собой новый класс AI-моделей, который может заполнить нишу, где традиционные LLM избыточны, дороги или слишком медленны. Её способность выдавать точные вероятности вместо текста делает её идеальной для задач, требующих бинарных или многоклассовых решений, таких как классификация, маршрутизация или мониторинг. Это открывает путь к более эффективной и экономичной интеграции интеллекта в код, особенно в сценариях, где критически важны скорость и предсказуемость.
Модель Jev может не только заменять LLM в определенных случаях использования, но и дополнять их, выступая в качестве «умной проверки» для предотвращения нежелательного поведения. Использование агентов для мониторинга других агентов может быстро стать дорогим, но применение Jev для этой цели, как утверждает Алмейда, имеет смысл. Он видит, как пользователи развертывают Jev для отслеживания трассировок LLM-агентов и предотвращения «джейлбрейков». Это может значительно повысить надежность и безопасность систем, использующих AI-агентов.
Что это значит на практике?
Для разработчиков и предпринимателей, работающих с AI, Jev открывает несколько интересных направлений:
- Оптимизация затрат на классификацию: Если вы используете LLM для задач классификации (например, спам-фильтры, маршрутизация запросов, категоризация контента), рассмотрите Jev. Её низкая стоимость и высокая скорость могут значительно сократить операционные расходы.
- Улучшение надежности автоматизации: Для критически важных автоматизированных рабочих процессов, где галлюцинации недопустимы, Jev может стать надежным инструментом. Её предсказуемые выходы и отсутствие генерации текста исключают многие риски, присущие LLM.
- Мониторинг и безопасность AI-агентов: Используйте Jev для создания систем мониторинга, которые отслеживают поведение ваших LLM-агентов. Это может помочь предотвратить нежелательные действия, «джейлбрейки» и обеспечить соответствие заданным параметрам, не увеличивая при этом расходы на мониторинг.
- Интеллектуальная маршрутизация: Jev может быть использована для динамического выбора наиболее подходящей модели для конкретной рабочей нагрузки. Её скорость и низкая стоимость делают возможной маршрутизацию в реальном времени, что позволяет использовать более дорогие и мощные LLM только тогда, когда это действительно необходимо.
- Эксперименты с «калиброванными решениями»: Подумайте, какие части ваших систем могут быть улучшены за счет получения не текстовых ответов, а точных вероятностей. Это может быть полезно для систем принятия решений, где требуется высокая степень уверенности в результате.