Готовое решение: личный ИИ, который знает твои файлы и отвечает офлайн. Складываешь PDF/заметки/договоры/базу знаний — спрашиваешь обычным языком — получаешь ответ с цитатой и ссылкой на конкретный документ. Ни один байт не уходит в облако.
Что получишь на выходе
- Локальный «второй мозг»: задаёшь вопрос — ИИ ищет ответ в ТВОИХ файлах, а не в интернете.
- Ответы с источником: видно, из какого документа и места взято (а не «галлюцинация»).
- Полную приватность: договоры, заметки, данные клиентов остаются на твоей машине.
- Работу без интернета и без подписок — модель и индекс крутятся локально.
Что понадобится
Инструменты из базы (по названию): Ollama (локальная LLM + модель эмбеддингов), связка «Локально / приватно» (как поднять офлайн-стек), MCP Filesystem MCP (дать ассистенту доступ к папке с файлами), MCP Context7 (свежие доки по библиотекам, опц.). Готовый каркас RAG поднимается через AnythingLLM/Open WebUI/LM Studio (десктоп-обёртки над Ollama с «чатом по документам»). Аккаунты/деньги/железо:
- Денег: $0 на ПО (всё open-source/free). Цена — железо.
- Железо: GPU 8–16+ ГБ VRAM (NVIDIA) или Apple Silicon 16–32+ ГБ RAM. Диск: 10–50 ГБ под модели + индекс. Чем больше памяти — тем длиннее контекст и крупнее модель.
Пошагово
- Локальная модель. Инструмент: Ollama. Действие: подними LLM и модель эмбеддингов (эмбеддинги нужны, чтобы искать по смыслу):
ollama pull qwen2.5 # языковая модель (отвечает)
ollama pull nomic-embed-text # эмбеддинги (ищут по смыслу в твоих файлах)
Как понять, что ок: обе модели скачались (ollama list), LLM отвечает в терминале офлайн.
2. Оболочка с «чатом по файлам». Инструмент: AnythingLLM или Open WebUI или LM Studio. Действие: установи десктоп-приложение, в настройках выбери провайдера Ollama (эндпоинт http://localhost:11434) — для ответов и для эмбеддингов. Как понять, что ок: приложение видит твои локальные модели, тестовый вопрос получает ответ от локальной LLM.
3. Загрузка файлов (индексация). Действие: создай «рабочее пространство» и закинь туда свои документы (PDF/DOCX/MD/TXT). Приложение само разобьёт их на куски и построит векторный индекс. Как понять, что ок: файлы отобразились как обработанные/проиндексированные, без ошибок парсинга.
4. Доступ к живой папке (опц.). Инструмент: MCP Filesystem MCP. Действие: если хочешь, чтобы ассистент читал папку напрямую (а не только загруженное), подключи Filesystem MCP к каталогу с файлами. Как понять, что ок: ассистент перечисляет реальные файлы из папки по запросу.
5. Вопросы со ссылкой на источник. Действие: спрашивай обычным языком и требуй цитату. Готовый промт:
Ответь на вопрос ТОЛЬКО на основе моих документов. Вопрос: «<вопрос>».
Если ответа в документах нет — так и скажи, не выдумывай.
В конце укажи источник: название файла и короткую цитату, откуда взят ответ.
Как понять, что ок: ответ опирается на твои файлы и приводит файл-источник; на «не знаю» отвечает честно, а не фантазирует. 6. Проверка приватности. Действие: отключи интернет и задай вопрос. Как понять, что ок: всё работает офлайн — значит, данные гарантированно никуда не уходят.
Бесплатный путь vs быстрый (платный)
Сценарий бесплатен по ПО — платишь железом и временем. Если приватность для задачи не критична, облачный RAG (ChatGPT с файлами / NotebookLM) будет быстрее и «умнее» из коробки.
| Аспект | Локально (приватно) | Облако (быстрее, НЕ приватно) |
|---|---|---|
| Модель | Ollama (qwen2.5 / llama3.2) | топовая облачная LLM |
| Эмбеддинги | nomic-embed-text локально | облачные эмбеддинги |
| Качество на сложном | ниже, но приватно | выше, но данные уходят |
| Цена | $0 ПО + железо | подписка/токены, без своего железа |
Локальный RAG берут именно ради приватности (договоры, НДА, личное). Для несекретных материалов облако удобнее. Гибрид: секретное — локально, остальное — в облако.
Частые проблемы и решения
- ИИ выдумывает / отвечает не из файлов. Жёстко требуй «только на основе документов, иначе скажи, что не нашёл» (шаг 5); проверь, что файлы реально проиндексировались.
- Плохо находит нужное. Используй отдельную модель эмбеддингов (nomic-embed-text), а не «голую» LLM; режь документы на меньшие куски; задавай вопрос конкретнее.
- Не хватает VRAM / «out of memory». Возьми модель поменьше или квантованную (Q4); уменьши размер контекста; закрой лишние приложения.
- PDF-скан не читается. Прогони скан через OCR перед загрузкой — иначе в индекс попадёт «картинка без текста».
- Медленные ответы. Норма для локального железа; меньшая модель/контекст или более мощный GPU/Apple Silicon ускорят.
Сколько времени и денег займёт
- Время на настройку: 30–60 минут (Ollama + 2 модели + оболочка + первая индексация); скачивание моделей — отдельно по интернету.
- Деньги: $0 на ПО. Реальная стоимость — железо: от «уже есть подходящий ПК/Mac» (бесплатно) до покупки GPU.
- Честно: цена приватности — нужно железо и терпение, локальные модели слабее топовых облачных. Зато твои документы физически не покидают машину.