Thinking Machines Lab, стартап бывшего технического директора OpenAI Миры Мурати, представил свою первую модель Inkling. Это событие важно не только из-за фигуры основательницы, но и потому, что Inkling — мультимодальная модель с архитектурой «смесь экспертов» (MoE) на 975 миллиардов параметров. Для тех, кто следит за развитием передовых ИИ-моделей, это сигнал о появлении нового сильного игрока на рынке, способного конкурировать с лидерами.
Что произошло
Стартап Thinking Machines Lab, основанный бывшим техническим директором OpenAI Мирой Мурати, представил свою первую модель под названием Inkling. Это мультимодальная модель, построенная на архитектуре «смесь экспертов» (MoE) и насчитывающая 975 миллиардов параметров. На каждый токен активна лишь часть этих параметров, что является характерной особенностью MoE-архитектур, позволяющей достигать высокой эффективности при большом общем количестве параметров. Компания шла к этому релизу почти полтора года.
Почему это важно
Появление Inkling от стартапа Миры Мурати — значимое событие для ИИ-индустрии. Мультимодальные MoE-модели представляют собой одно из наиболее перспективных направлений в развитии больших языковых моделей, предлагая баланс между производительностью и вычислительными затратами. Учитывая опыт Мурати в OpenAI, можно ожидать, что Inkling будет обладать передовыми возможностями и станет серьезным конкурентом для существующих флагманских моделей. Это также подтверждает тренд на децентрализацию разработки передовых ИИ, где новые игроки с сильной командой могут быстро выйти на лидирующие позиции.
Что это значит на практике
- Новый мощный инструмент: Inkling, как мультимодальная MoE-модель, вероятно, предложит уникальные возможности для работы с различными типами данных (текст, изображение, аудио) и сможет эффективно решать сложные задачи, требующие интеграции информации из разных модальностей.
- Оптимизация затрат: Архитектура MoE позволяет достигать высокой производительности при меньших вычислительных затратах на инференс по сравнению с плотными моделями аналогичного размера, что может сделать Inkling более доступной для разработчиков и компаний.
- Усиление конкуренции: Появление Inkling усилит конкуренцию среди разработчиков базовых моделей, что в конечном итоге приведет к улучшению качества, снижению цен и появлению новых инновационных решений.
- Возможности для исследований: Для исследователей и разработчиков, работающих с передовыми ИИ, Inkling станет новой платформой для экспериментов и создания продуктов, особенно в областях, где мультимодальность играет ключевую роль.
- Следить за бенчмарками: Важно внимательно отслеживать публичные бенчмарки и сравнения Inkling с другими топовыми моделями, чтобы понять ее реальные преимущества и области применения.