Суверенная ИИ-инфраструктура — демонстрация с открытым кодом

Высокопроизводительная платформа
локального ИИ (On-Premise)

Проектирование, развёртывание и эксплуатация локальной и суверенной ИИ-инфраструктуры — от низкоуровневого оборудования до LLM и RAG-конвейеров. Реализация с открытым кодом, документированная и воспроизводимая: показанное здесь работает и демонстрирует, что организация может размещать собственный ИИ, сохраняя контроль над своими данными, без зависимости от облака.

Proxmox VE 9.2 RTX 5090 VFIO Passthrough Ollama + LLM RAG Vectoriel Docker ZFS 192 Go DDR5

Подход и философия

📖
Общая памятка
Это портфолио — мой технический журнал. Каждая страница документирует, что я узнал, как решил задачу и какие ресурсы помогли. В свободном доступе.
🌿
Open Source в первую очередь
У каждого инструмента в этом портфолио есть свободная и открытая альтернатива. Git, Proxmox, Ollama, Python, nginx — прозрачность и сообщество в основе каждого технического решения.
🔧
От практики к продакшену
26 лет опыта — 7 лет в системной безопасности, 19 лет руководителем проектов в аналитической лаборатории. Показанное здесь спроектировано, развёрнуто и поддерживалось в реальных условиях.

Области компетенций

Архитектура — обзор
Обзор
Платформа по слоям · от оборудования до прикладного ИИ
Обзор→
Аппаратная инфраструктура
Инфраструктура
AMD Ryzen 9 9950X3D · RTX 5090 · 192 Go DDR5
Продвинутый→
OSS
Гипервизор Proxmox VE
Виртуализация
Proxmox 9.2.2 · KVM · QEMU · Templates
Продвинутый→
OSS
Reverse Proxy
Инфраструктура
VM200 · Nginx · TLS · Certbot · Fail2ban · публикация по HTTPS
Продвинутый→
GPU Passthrough VFIO
Виртуализация
VFIO · IOMMU · PCIe Passthrough RTX 5090
Продвинутый→
OSS
Хранилище ZFS
Хранилище
ИИ-датасеты · снимки · архитектура хранения
Средний+→
OSS
Операционные системы
ОС
Debian · Ubuntu · Alpine · Windows 11
Средний+→
OSS
Локальный ИИ и LLM
ИИ / ML
Ollama · Open WebUI · Llama · Mistral · Gemma
Средний+→
OSS
RAG и векторные базы данных
ИИ / ML
PostgreSQL · pgvector · bge-m3 · HNSW
Базовый+→
OSS
Генеративный ИИ для изображений
ИИ / ML
ComfyUI · Flux · GPU Computing
Базовый+→
OSS
Speech AI — Whisper
ИИ / ML
Речь в текст · мультимодальный ИИ · обработка звука
Базовый+→
OSS
ИИ-агенты — Hermes и OpenCode
ИИ / Агенты
VM301 · агентная станция на Linux · OpenCode · Hermes · удалённый вывод на GPU
Продвинутый→
Станция ИИ-разработки — DeepSeek Harness
Разработка / ИИ
VM302 · Windows 11 · VSCodium · Python · Node.js · DeepSeek Harness (предварительно)
Продвинутый→
MIT
Второй мозг OpenCode
ИИ / Агенты
Markdown-набор · долговременная память · OpenCode · проверка человеком · лицензия MIT (прототип)
Средний→
OSS
Docker и контейнеризация
DevOps
Docker Compose · изоляция · ИИ-сервисы
Средний→
OSS
Nextcloud
Сервисы
Самостоятельно размещённые файлы · Docker · MariaDB
Средний→
FAIR-CODE
n8n — автоматизация
Сервисы
Рабочие процессы · Docker · внешний PostgreSQL · API Ollama
Средний→
Сеть
Сеть
Bridge Proxmox · SSH · Firewall · NAT
Средний→
OSS
Python
Разработка
venv · pip · requirements.txt · Scripts IA
Базовый+→
OSS
Git
DevOps
GitHub против GitLab · собственный GitLab · гигиена репозиториев
Средний→

Уровни владения

Виртуализация / ProxmoxПродвинутый
Проброс GPU VFIOПродвинутый
ИИ-инфраструктураПродвинутый
Системная безопасность (антивирус, брандмауэр)Продвинутый
Управление ИТ-проектамиЭксперт
Linux (Debian/Ubuntu)Средний+
Windows Server/DesktopСредний+
Локальный ИИ (LLM / Ollama)Средний+
Docker / контейнеризацияСредний
Nextcloud / самостоятельное размещениеСредний
DevOps (IaC, шаблоны)Средний
ZFS / хранениеСредний
CUDA / NVIDIAСредний
Git / GitLab / GitHubСредний
RAG / pgvector / эмбеддингиБазовый+
Python / venv / pipБазовый+

Презентация проекта

Контекст: Проектирование высокопроизводительной локальной ИИ-платформы на базе Proxmox VE, GPU NVIDIA RTX 5090 в пробросе VFIO, виртуализация Windows/Linux, хранилище ZFS, инфраструктура Docker, размещение локальных LLM (Ollama), векторный RAG (PostgreSQL/pgvector), автоматизация n8n и мультимодальные инструменты (Whisper, ComfyUI).

Назначение: показать, что организация — муниципалитет (мэрия) или МСП — может размещать собственные сервисы ИИ и автоматизации, сохраняя суверенитет над инфраструктурой и данными. Некоторые компоненты в продакшене, другие проверены на платформе разработки или находятся в развёртывании.

инфраструктура → виртуализация → развёртывание → эксплуатация ИИ, полностью построено на инструментах с открытым кодом.