Когда работаешь с несколькими LLM-провайдерами или строишь агентную систему, инфраструктурные задачи — маршрутизация запросов, работа с заметками, визуальный конструктор пайплайнов — обычно решаются платными сервисами. Ниже пять open-source проектов, которые закрывают эти задачи в открытом коде: разворачиваются один раз и дальше работают без подписки.
1. Portkey AI Gateway — один API на 1600+ моделей
github.com/Portkey-AI/gateway — прослойка между твоим кодом и множеством LLM-провайдеров с единым API. Гейтвей маршрутизирует запросы, делает автоматические фолбэки при отказе провайдера, кеширует повторяющиеся запросы и умеет управлять MCP-серверами.
Как использовать: разворачивается как self-hosted сервис или используется как облачный вариант (Hosted Gateway). В коде вызов провайдера заменяется на вызов гейтвея — если основной провайдер недоступен, запрос автоматически уходит к резервному без изменений в логике приложения.
2. open-notebook — своя NotebookLM с локальными моделями
github.com/lfnovo/open-notebook — self-hosted альтернатива Google NotebookLM с поддержкой 18+ ИИ-провайдеров, включая локальные модели. Загружаешь PDF, видео, аудио или сайты — система отвечает на вопросы по материалам, генерирует подкасты и делает заметки с ИИ-помощью.
Как поставить: проект разворачивается через Docker Compose, конфигурация провайдера (облачный API или локальная модель) задаётся в настройках после первого запуска. Не привязан к одному облачному сервису — можно держать все данные и модели на своей инфраструктуре.
3. T3MP3ST — команда ИИ-агентов для пентеста
github.com/elder-plinius/T3MP3ST — фреймворк автоматизированного пентестинга с несколькими ИИ-агентами: агенты сами распределяют роли — разведка, сканирование целей, поиск уязвимостей, документирование результатов — от начала до финального отчёта.
Как использовать как референс: даже вне контекста безопасности T3MP3ST — рабочий пример многоагентной архитектуры, где задача делится на роли и агенты координируются между собой. Тот же паттерн распределения ролей применим к любому многошаговому агентному пайплайну.
4. xyflow — конструктор нод под свой воркфлоу-редактор
github.com/xyflow/xyflow — библиотека для создания визуальных редакторов с нодами и соединениями, доступна для React и Svelte. На этом же фундаменте построены известные воркфлоу-редакторы вроде n8n и LangFlow.
Как использовать: подключается как обычная библиотека компонентов — задаёшь набор типов нод, логику соединений между ними и рендеринг. Подходит, если нужен собственный конструктор пайплайнов (агентных цепочек, воркфлоу автоматизации) внутри своего продукта, а не готовое внешнее решение.
5. superfile — быстрый файловый менеджер для терминала
github.com/yorukot/superfile даёт современный TUI-интерфейс для терминала: вкладки, превью файлов, горячие клавиши и темы. Написан на Go — заметно быстрее классических mc и ranger в повседневной работе с файлами.
Как поставить: устанавливается через менеджер пакетов (Homebrew, Go install или готовый бинарник
из релизов на GitHub) — без сборки из исходников. После установки запускается командой spf
прямо в терминале.
Как это соединяется в один стек
Типичная связка: Portkey — единая точка входа ко всем LLM-провайдерам в проекте, xyflow — визуальный слой для агентных пайплайнов поверх этого гейтвея, open-notebook — рабочая база знаний для проекта. T3MP3ST и superfile — скорее независимые инструменты: один для безопасности, второй для повседневной работы в терминале.
Как это делаем мы
В базе знаний qvib.pro карточки по LLM-гейтвеям и self-hosted альтернативам разбирают, куда именно вставить каждый инструмент в связке с Claude — например, как настроить Portkey фолбэком между несколькими провайдерами внутри одного агентного проекта. Движок qvib — живой пример продукта, который использует похожие принципы маршрутизации и агентной архитектуры внутри себя.
Ссылки по теме
- Обзор LLM-гейтвеев и роутинга: qvib.pro/arsenal/obzor-llm-geytveev-i-routing/
- Self-hosted альтернативы ИИ-сервисам: qvib.pro/arsenal/self-hosted-alternativy-ai-servisam/
- Раздел «AI-агенты»: qvib.pro/arsenal/ai-agenty/