Для чего: запустить открытую модель локально одной командой — приватно, бесплатно, без интернета.

Что это и кому

Ollama — самый простой способ запустить открытые LLM (Llama, Qwen, Mistral, DeepSeek, Gemma и др.) прямо на своём компьютере одной командой. Для разработчика и приватного пользователя, которым нужен ИИ без облака: данные не покидают машину, нет счетов за токены, работает оффлайн. Выделяется тем, что прячет всю возню с весами и квантизацией за ollama run и поднимает локальный OpenAI-совместимый сервер.

Ключевые возможности

Запуск моделей одной командой; авто-загрузка и кэш весов.
Локальный REST API на localhost:11434, OpenAI-совместимый endpoint для интеграций.
Modelfile — свои системные промпты, параметры и сборки моделей (как Dockerfile для LLM).
Поддержка GPU (NVIDIA/AMD) и Apple Silicon из коробки; CPU-фолбэк.
Готовые квантизованные сборки (Q4/Q8) — баланс качества и памяти.
Мультимодальные и embedding-модели в том же каталоге.

Как начать за 5 минут

Установи (macOS/Windows — установщик с ollama.com; Linux — скрипт):

curl -fsSL https://ollama.com/install.sh | sh

Запусти модель и общайся прямо в терминале:

ollama run llama3.2

Дёрни API из кода:

curl http://localhost:11434/api/generate -d '{"model":"llama3.2","prompt":"Привет"}'

Когда брать, а когда нет

✅ Бери, если: нужна приватность/оффлайн, локальный прототип, бесплатные эксперименты, обработка чувствительных данных.
✅ Бери, если: хочешь подключить локальную модель к Cline/Continue/Goose без облачных ключей.
❌ Не бери → лучше «LM Studio», если хочется кликабельный GUI вместо терминала и удобный подбор моделей под железо.
❌ Не бери → лучше «OpenRouter» или «Groq», если нужны топ-модели уровня Claude/GPT или скорость, которую локальное железо не вытянет.

Цена по-честному

Полностью бесплатно и open-source. «Платишь» только железом: VRAM/RAM и электричеством. 7–8B модели идут на 16 ГБ RAM, 70B требуют десятки ГБ VRAM. Точные требования зависят от модели и квантизации.

Подводные камни

Качество локальной модели заметно ниже фронтир-облака — не жди уровня GPT/Claude от 8B.
Большие модели упираются в VRAM: без хорошей видеокарты всё медленно или не влезает.
По умолчанию API слушает локально; при выставлении наружу (OLLAMA_HOST) обязательно прикрывай файрволлом — аутентификации нет.
Контекст по умолчанию ограничен — длинные документы требуют ручной настройки num_ctx и памяти.

🤖 Промт-ускоритель

«У меня <ОС: macOS/Windows/Linux>, <ГБ RAM> RAM и видеокарта <МОДЕЛЬ GPU или “нет”>. Я поставил Ollama. Подбери оптимальную открытую модель под задачу <ОПИШИ: код / чат на русском / суммаризация> с учётом моей памяти, дай точную команду ollama run, посоветуй квантизацию (Q4/Q8) и параметры num_ctx, и покажи, как дёрнуть её из <Python/Node> через локальный API.»