Запуск локальной модели (Ollama)

Ollama запускает открытые модели (Llama, Gemma, Qwen, DeepSeek, Phi…) локально, одной командой. Платить не нужно, интернет после скачивания модели не нужен, данные остаются у тебя. Команды сверены с офиц. docs.ollama.com.

🧭 Картина целиком

Зачем тебе локальная модель? Три причины: бесплатно (нет оплаты за токены), приватно (твой текст не уходит на чужие серверы — критично для рабочих документов, кода, личного), офлайн (работает без интернета, в самолёте/поезде). На выходе: свой ИИ-чат в терминале и локальный API на http://localhost:11434, к которому можно подключить редактор кода, графический чат или свой скрипт.

Честно про «железо». Модель целиком грузится в память. Прикидка: размер модели в гигабайтах ≈ столько RAM (или видеопамяти) ей нужно сверху ОС.

• ~1–3 млрд параметров (:1b, :3b) — пойдёт на ноуте с 8 ГБ RAM, но «попроще».
• ~7–8 млрд (gemma3, llama3.2, дефолтные) — комфортно от 16 ГБ RAM, заметно быстрее с видеокартой (GPU).
• 30B+ — нужны 32–64 ГБ и/или сильный GPU.

  💡 Не хватает памяти — модель будет жутко тормозить или не запустится. Бери вариант поменьше (gemma3:1b, llama3.2:1b) — это нормально для старта.

Шаг 1. Установить Ollama

Что делаем: ставим программу, которая умеет качать и запускать модели.

• macOS / Windows: скачай установщик с https://ollama.com/download → запусти → готово (в трее появится значок Ollama — фоновый сервер уже работает).
• Linux (одна команда, официальный установщик):

curl -fsSL https://ollama.com/install.sh | sh

Как понять, что ОК: в терминале выполни

ollama --version

видишь версию (напр. ollama version is 0.x.x) — установка прошла.

Частые ошибки:

• command not found: ollama сразу после установки на Linux — перезапусти терминал (обновится PATH) или проверь, что сервис запущен: ollama serve в отдельном окне.
• На Windows значка нет/команда не находится — перезайди в систему или запусти Ollama из меню «Пуск» один раз.

Шаг 2. Запустить модель (скачается сама при первом запуске)

Что делаем: запускаем чат. При первом вызове модель автоматически скачивается, потом запускается мгновенно из кэша.

ollama run gemma3        # лёгкая и сильная модель от Google — хороший старт
# другие хорошие варианты:
ollama run llama3.2      # компактная Llama от Meta
ollama run qwen3         # сильная многоязычная (хорошо знает русский)
ollama run deepseek-r1   # «рассуждающая» модель (показывает ход мысли)
ollama run gemma3:1b     # самая маленькая — если мало памяти

Как понять, что ОК: сначала идёт прогресс-бар скачивания (один раз), потом появляется приглашение >>>. Пиши прямо в терминал — модель отвечает. Выйти из чата: команда /bye (или Ctrl+D).

Частые ошибки:

• Скачивание висит/медленное — модели весят гигабайты, первый раз это долго (зависит от интернета). Дальше мгновенно.
• Компьютер «задыхается», ответ ползёт по букве — модель слишком тяжёлая для твоей RAM. Выйди (/bye) и возьми меньше: ollama run gemma3:1b.
• Error: model requires more system memory — прямо говорит «не хватает памяти», бери модель поменьше.

Шаг 3. Управлять моделями (диск/память)

Что делаем: качаем, смотрим список, удаляем — чтобы не забить диск.

ollama pull qwen3        # просто скачать (без запуска)
ollama ls                # какие модели уже скачаны и сколько весят (синоним: ollama list)
ollama ps                # что СЕЙЧАС загружено в память (работает прямо сейчас)
ollama stop gemma3       # выгрузить модель из памяти
ollama rm gemma3         # удалить модель с диска (освободить место)

Как понять, что ОК: ollama ls показывает таблицу с именами и размерами. После ollama rm модель пропадает из списка, место на диске освобождается.

Частые ошибки:

• Удивляешься, куда делось место на диске — модели большие. Регулярно чисти неиспользуемые: ollama rm <имя>.
• ollama rm не той модели — имя должно совпадать точно с тем, что в ollama ls (включая тег после двоеточия, напр. gemma3:1b).

Шаг 4. Использовать из своего кода (локальный API)

Что делаем: дёргаем модель программно — Ollama держит локальный сервер на http://localhost:11434.

# простой запрос (генерация):
curl http://localhost:11434/api/generate -d '{"model":"gemma3","prompt":"Привет!","stream":false}'

Есть и чат-эндпоинт /api/chat, и OpenAI-совместимый /v1/chat/completions — многие инструменты (редакторы, библиотеки) можно нацелить на Ollama, просто подменив base-URL на http://localhost:11434/v1 и указав любой «ключ»:

curl http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{
  "model": "gemma3",
  "messages": [{"role":"user","content":"Привет!"}]
}'

Как понять, что ОК: в ответ приходит JSON с полем response (для /api/generate) или choices (для /v1/...). Если приходит текст ответа модели — API работает.

Частые ошибки:

• connection refused на 11434 — сервер Ollama не запущен. На Linux подними ollama serve; на macOS/Windows проверь, что приложение Ollama открыто (значок в трее).
• Инструмент не видит модель — он шлёт имя, которого нет. Сначала скачай: ollama pull <имя>, имя должно совпадать с ollama ls.

💡 Хочешь графический чат вместо терминала — подними Open WebUI (или любой клиент с поддержкой Ollama) и нацель его на тот же http://localhost:11434. Получишь привычный интерфейс «как у ChatGPT», но локально.

🧠 Для сеньора

• GPU/ускорение: Ollama сам задействует Metal (Apple Silicon) или CUDA (NVIDIA). Контролируй число слоёв на GPU и контекст через переменные окружения и Modelfile (PARAMETER num_ctx, num_gpu).
• Квантизация: теги вида :q4_K_M, :q8_0 — баланс «качество ↔ память». Для слабого железа бери более агрессивную квантизацию; для качества — q8/fp16, если памяти хватает.
• Свои модели: ollama create -f Modelfile — задаёшь системный промпт, параметры, базовую модель; импорт GGUF-весов из Hugging Face.
• Сервер на проде: OLLAMA_HOST=0.0.0.0 открывает API наружу — только за reverse-proxy + авторизацией (по умолчанию API без аутентификации!). Держи в Docker, ограничивай ресурсы, не свети 11434 в интернет.
• Эмбеддинги/RAG: ollama pull nomic-embed-text (или mxbai-embed-large) + векторный индекс — локальный поиск по своим данным (см. гайд про Obsidian).

⚠️ Предупреждения

• API по умолчанию без пароля. Локально на localhost это нормально, но не открывай порт 11434 в интернет без reverse-proxy и авторизации — иначе твоей моделью (и железом) сможет пользоваться кто угодно.
• Открытые модели != «безопасные». Качай модели из официальной библиотеки Ollama / проверенных аккаунтов. Кастомный Modelfile или сторонний GGUF может содержать вредный системный промпт.
• Диск. Несколько крупных моделей легко съедают десятки гигабайт. Следи через ollama ls, чисти ollama rm.

🆘 Промт-спасалка

Помоги с локальным ИИ через Ollama, объясняй по шагам.
МОЁ ЖЕЛЕЗО: <ОС: macOS/Windows/Linux>, <сколько RAM>, <есть ли видеокарта и какая>.
МОЯ ЗАДАЧА: <чат на русском / помощь с кодом / приватная работа с документами / эмбеддинги для поиска>.
Я ЗАСТРЯЛ: <что не работает / текст ошибки>.

Что делать:
1) Какую модель в Ollama взять под мою задачу и моё железо, чтобы хватило памяти (с тегом размера)?
2) Дай точные команды установки и запуска по шагам.
3) После каждой — что должно появиться и как понять, что всё ок.
4) Если упирается в память — предложи модель полегче.

💎 Глубина и ценность

• Приватность как суперсила. Рабочие переписки, код под NDA, медицинские/юридические тексты — всё это нельзя лить в облачный ИИ. Локальная модель снимает запрет: данные физически не покидают твой компьютер.
• Ноль затрат на эксперименты. Можно гонять тысячи запросов, обкатывать промты, строить RAG по своим заметкам — без счётчика токенов и подписки.
• Фундамент автономности. Локальный OpenAI-совместимый API превращает Ollama в «движок» для вайб-кодинга (см. соответствующий гайд), для агентов и для своих скриптов — без зависимости от чужого облака и его лимитов.