Для чего: сверхбыстрый инференс открытых моделей на LPU — минимальная задержка ответа для real-time.

Что это и кому

Groq — облачный инференс открытых моделей на собственном железе LPU, дающий рекордную скорость и минимальную задержку. Для инженеров, строящих real-time-сценарии: голосовые агенты, стриминговые ответы, «мгновенные» помощники, где важны не интеллект-рекорды, а отзывчивость. Выделяется тем, что выдаёт сотни токенов в секунду — ответ «печатается» практически мгновенно.

Ключевые возможности

Сверхнизкая задержка и высокий throughput на LPU (десятки→сотни токенов/с).
OpenAI-совместимый API — миграция сменой base URL и ключа.
Каталог открытых моделей (Llama, Qwen, Mixtral, Whisper для STT и др.).
Стриминг токенов для «живого» UX в чатах и голосе.
Бесплатный tier для разработки и щедрые лимиты на старте.
Function calling / tools на поддерживаемых моделях.

Как начать за 5 минут

Зарегистрируйся на console.groq.com, получи API-ключ.
Используй OpenAI-совместимый endpoint:

curl https://api.groq.com/openai/v1/chat/completions \
  -H "Authorization: Bearer $GROQ_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"llama-3.3-70b-versatile","messages":[{"role":"user","content":"Привет"}]}'

Включи "stream": true, чтобы увидеть мгновенную «печать» ответа.

Когда брать, а когда нет

✅ Бери, если: строишь голосового агента или чат, где задержка убивает UX, и хватает открытых моделей.
✅ Бери, если: нужен дешёвый и очень быстрый STT (Whisper) или быстрая суммаризация потоком.
❌ Не бери → лучше «OpenRouter», если нужны проприетарные топ-модели (Claude/GPT) или максимально широкий выбор.
❌ Не бери → лучше «Together AI», если нужен fine-tuning и serverless-дообучение открытых моделей.

Цена по-честному

Есть бесплатный tier с лимитами; платно — по токенам, и цены на открытые модели обычно конкурентные. Топовый throughput может тарифицироваться отдельно. Точные суммы — у провайдера, меняются.

Подводные камни

Каталог — это в основном открытые модели; «самого умного» проприетарного фронтира тут нет.
На бесплатном tier — rate-limits; продовый трафик требует платного плана и контроля квот.
Доступность конкретной модели и контекст-окно меняются — фиксируй в конфиге и следи за депрекейтами.
Скорость впечатляет, но качество ответа ограничено выбранной open-моделью.

🤖 Промт-ускоритель

«Я делаю <голосового агента / стриминговый чат> и беру Groq ради низкой задержки. Подбери открытую модель из их каталога под мою задачу <ОПИШИ> и язык <RU/EN>, дай пример запроса со стримингом на <Python/Node>, посоветуй параметры (temperature, max_tokens) и как замерить time-to-first-token. Если нужен STT — предложи модель Whisper и пример.»