Готовое решение: вся работа с ИИ на своём железе. Ни один байт не покидает машину — код, данные клиента и материалы под НДА остаются у тебя. Без подписок, можно вообще без интернета.
Что получишь на выходе
- Локальный «ИИ-стек»: языковые модели, кодинг-агент, генерация картинок и видеомонтаж — всё офлайн.
- Полную приватность: чувствительные данные не уходят в чужое облако.
- Независимость от подписок и лимитов: модель крутится на твоём железе сколько угодно.
- (Опц.) единый OpenAI-совместимый эндпоинт, к которому подключаются любые инструменты.
Что понадобится
Инструменты из базы (по названию): Ollama (модели), Aider или Cline (кодинг-агент), LiteLLM (единый прокси, опц.), ComfyUI + FLUX/SDXL (картинки), DaVinci Resolve или OpenCut (видео), MCP Context7 (доки). Аккаунты/деньги/железо:
- Денег: $0 на ПО (всё open-source). Главная цена — железо.
- Железо (важно): GPU с 8–24 ГБ VRAM (NVIDIA) или Apple Silicon (M-серия) с 16–32+ ГБ RAM. Чем больше памяти — тем крупнее модель влезает. Диск: 20–100+ ГБ под веса моделей.
Пошагово
- Языковые модели. Инструмент: Ollama. Действие: установи и подними модель одной командой:
ollama run llama3.2 # или qwen2.5 / mistral / deepseek — локально
ollama pull qwen2.5-coder # отдельная модель под код
Как понять, что ок: модель отвечает в терминале, интернет можно отключить — работает.
2. Кодинг-агент. Инструмент: Aider (CLI) или Cline (в VS Code). Действие: подключи агента к локальному Ollama-эндпоинту (http://localhost:11434) вместо облака. Для Aider:
aider --model ollama/qwen2.5-coder # агент правит файлы через локальную модель
Как понять, что ок: агент читает/правит файлы репозитория, запросы идут на localhost, а не в сеть.
3. Единый прокси (опционально). Инструмент: LiteLLM. Действие: подними LiteLLM как OpenAI-совместимый шлюз к локальным моделям — нужен, если инструмент умеет только в OpenAI-API. Бонус — учёт затрат/логи. Как понять, что ок: инструмент, ожидающий OpenAI, работает через http://localhost:4000, отвечает локальная модель.
4. Изображения. Инструмент: ComfyUI + локальные веса (FLUX/SDXL). Действие: запусти ComfyUI, загрузи веса, генерируй офлайн. Готовый промт:
<что нужно нарисовать>, high detail, clean composition, soft lighting,
no text, no watermark
Как понять, что ок: картинка генерируется без обращения в облако (можно проверить, отключив сеть). 5. Видеомонтаж. Инструмент: DaVinci Resolve (десктоп, профверсия) или OpenCut. Действие: монтируй и рендери локально, не загружая исходники в сервис. Как понять, что ок: финальный файл экспортируется с твоего диска, исходники никуда не уходят. 6. Доки для ИИ. Инструмент: MCP Context7 (онлайн-доки по запросу) или заранее скачанная документация для полного офлайна. Как понять, что ок: агент ссылается на актуальные API; в офлайне используешь локально сохранённые доки.
Бесплатный путь vs быстрый (платный)
Этот сценарий по определению бесплатен по ПО — платишь не подпиской, а железом и временем настройки.
| Аспект | «Бюджетно» (минимум железа) | «Быстро» (вложиться в железо) |
|---|---|---|
| Модель | 7B-модели, квантованные (Q4) | 30–70B на мощном GPU/много RAM |
| Картинки | SDXL на 8 ГБ VRAM | FLUX на 16–24 ГБ VRAM |
| Скорость | медленнее, но работает | близко к облачной |
Если приватность не критична для конкретной задачи — быстрее и «умнее» будет облако (см. «Вайб-кодинг бесплатно»). Локальный стек берут именно ради того, что данные не уходят с машины.
Частые проблемы и решения
- Не хватает VRAM / «out of memory». Возьми модель поменьше или квантованную (Q4_K_M); закрой лишние приложения; для картинок — SDXL вместо FLUX.
- Модель отвечает медленно. Это норма для локального железа; уменьшай размер модели или контекст, бери Apple Silicon/мощный GPU для скорости.
- Инструмент «умеет только OpenAI-API». Поставь LiteLLM-прокси (шаг 3) — он притворится OpenAI поверх локальной модели.
- Качество ниже облака на сложной задаче. Это ожидаемо: локальные модели слабее топовых. Дроби задачу, давай больше контекста, или вынеси именно этот кусок в облако.
- Нужен полный офлайн, а Context7 онлайн. Скачай документацию заранее и подключи как локальный источник.
Сколько времени и денег займёт
- Время на настройку: 30–90 минут (Ollama + агент + по желанию ComfyUI/LiteLLM); скачивание весов — отдельно по интернету.
- Деньги: $0 на ПО. Реальная стоимость — железо: от «уже есть подходящий ПК/Mac» (бесплатно) до покупки GPU (десятки–сотни $$ и выше).
- Честно: цена приватности — нужно железо и терпение, а локальные модели слабее топовых облачных. Зато данные гарантированно не утекают.