Для чего: единый OpenAI-совместимый прокси к 100+ LLM-провайдерам — self-host, лимиты, учёт затрат.

Что это и кому

LiteLLM — open-source библиотека и прокси-сервер, приводящий 100+ LLM-провайдеров к единому OpenAI-формату. Для платформенных и backend-инженеров, которым нужен self-hosted шлюз с ключами, бюджетами, лимитами и учётом затрат на команду. Выделяется тем, что это инфраструктура под твоим контролем (а не SaaS), с админкой, виртуальными ключами и логированием в твою БД.

Ключевые возможности

Единый вызов completion() к OpenAI, Anthropic, Bedrock, Vertex, Azure, Ollama и сотням других.
LiteLLM Proxy (LLM Gateway): виртуальные ключи, бюджеты, rate-limits, команды и теги.
Учёт расходов по ключу/пользователю/проекту, логирование в Postgres, Langfuse, Datadog.
Фолбэки, ретраи, балансировка и кэширование ответов.
Self-host через Docker/Helm — данные и ключи остаются у тебя.
Совместимость с OpenAI SDK: клиенты переключаются сменой base URL.

Как начать за 5 минут

Как библиотека — поставь и вызывай любого провайдера единым интерфейсом:

pip install litellm

from litellm import completion
r = completion(model="anthropic/claude-3-5-sonnet-20240620", messages=[{"role":"user","content":"Привет"}])

Как прокси — подними gateway с конфигом моделей:

litellm --model gpt-4o --port 4000

Направь клиентов на http://localhost:4000 как на обычный OpenAI endpoint.

Когда брать, а когда нет

✅ Бери, если: нужен self-hosted шлюз с биллингом по командам, виртуальными ключами и логами в свою БД.
✅ Бери, если: строишь внутреннюю LLM-платформу для нескольких команд с квотами и аудитом.
❌ Не бери → лучше «OpenRouter», если не хочешь поднимать и обслуживать инфраструктуру — нужен готовый управляемый шлюз.
❌ Не бери → лучше «Vercel AI Gateway», если ты на Vercel и хочешь managed-решение без DevOps.

Цена по-честному

Open-source ядро и прокси — бесплатно (платишь токены провайдерам + хостинг прокси). Есть LiteLLM Enterprise (SSO, SLA, премиум-фичи) по подписке. Точные суммы — у провайдера, меняются.

Подводные камни

Это инфраструктура: нужен DevOps, чтобы поднять, обновлять и мониторить прокси и его Postgres.
Широкая совместимость означает «общий знаменатель» — экзотические фичи провайдера могут требовать ручной настройки.
Виртуальные ключи и бюджеты надо корректно сконфигурировать, иначе учёт затрат будет неточным.
При высокой нагрузке прокси сам становится узким местом — закладывай масштабирование.

🤖 Промт-ускоритель

«Я разворачиваю LiteLLM Proxy на <Docker/Kubernetes> для команды из человек. Помоги составить config.yaml: список моделей <ПЕРЕЧИСЛИ ПРОВАЙДЕРОВ>, виртуальные ключи с бюджетами по командам, фолбэки и логирование расходов в Postgres. Дай команды запуска и пример, как клиент на OpenAI SDK переключается на мой прокси.»