Synthèse stratégique. Le nœud IA Linux (VM210) exécute désormais ComfyUI 0.36.0 aux côtés d'Ollama, sur la même RTX 5090 (32 Go), pour la génération d'images photoréalistes en local. Le modèle retenu est RealVisXL V5.0 FP16 (dérivé de SDXL orienté photoréalisme), qui a produit des portraits en 512×512 et 1 024×1 024. Le compromis central est le partage d'un GPU unique et exclusif entre génération d'image et inférence LLM : la coexistence a été observée et le déchargement de modèles sans arrêt des serveurs a été vérifié, mais le partage automatique des requêtes reste à construire (bascule manuelle pour l'instant). Maturité : actif sur la cible (VM210, Linux), distinct du POC Windows antérieur (VM260) qui avait éprouvé des workflows SDXL/Flux.
🏗️ Architecture et décisions

ComfyUI 0.36.0 s'exécute dans une image Docker construite localement sur VM210 : base Python figée par digest, sources figées par commit, dépendances verrouillées avec leurs empreintes (wheels téléchargées puis installées hors ligne). Environnement validé : Python 3.12.14, PyTorch 2.11.0, CUDA 13.0. Détails du conteneur et du correctif de cache sur la page Docker.

Alternative effectivement étudiée : un POC Windows antérieur (VM260) avait éprouvé ComfyUI via Docker Desktop avec des workflows SDXL / Flux. Ce déploiement Linux (VM210) en est distinct et n'a pas encore confirmé l'usage de Flux ; seul RealVisXL a été utilisé et mesuré ici. La RTX 5090 étant exclusive, VM210 et VM260 ne l'utilisent pas simultanément.

Choix de durcissement retenus : exécution sans privilèges, système de fichiers racine en lecture seule, modèles montés en lecture seule, nœuds personnalisés et API désactivés (sans bloquer le réseau sortant en général), interface publiée uniquement en boucle locale (accès par tunnel SSH, sans publication Internet).

⚙️ Commandes et contrôles

Noms de comptes, hôtes et chemins remplacés par des exemples. Aucun secret n'est requis. Vérification du conteneur et de l'API (docker inspect/logs, ollama ps, curl) détaillée sur la page Docker ; télémétrie GPU et vérification SHA-256 du checkpoint sur la page IA & LLM.

Contrôle reproductible — accès à l'interface par tunnel SSH (depuis PowerShell, poste client)
$SshTarget = '<compte>@<hote-gpu>'
ssh -N -o ExitOnForwardFailure=yes -L 127.0.0.1:8188:127.0.0.1:8188 $SshTarget

Ouvrir ensuite http://127.0.0.1:8188/ sur ce poste. Le silence du terminal après authentification est normal : -N ouvre le tunnel sans session distante. Ctrl+C ferme le tunnel, mais ne coupe pas ComfyUI ; une interface inaccessible après fermeture du terminal n'est donc pas nécessairement une panne serveur.

🛠️ Difficultés et solutions

Symptôme : un graphe mélangeant le checkpoint RealVisXL avec des nœuds SD3/AuraFlow a été construit puis écarté (incompatibilité de graphe). Une annulation de génération est ensuite restée bloquée, sans qu'une cause exacte ait pu être établie ; un redémarrage ciblé du conteneur a été nécessaire pour revenir à un état sain. Solution adoptée : retour à un graphe SDXL adapté (cohérent avec RealVisXL), qui a ensuite fonctionné normalement.

Un second incident, décrit sur la page Docker, a touché le démarrage du conteneur (getpass.getuser() en échec faute d'UID connu) ; il a été résolu par variables d'environnement sans reconstruire l'image.

📊 Preuves et résultats
observations de session — génération RealVisXL (pas un benchmark)
EssaiObservationPortée
Portrait 512×512, 8 étapes8,03 s (chargement initial compris)Validation fonctionnelle, pas un test de qualité
Portrait 1 024×1 024, 30 étapesImage obtenue (DPM++ SDE Karras)Durée non attribuée avec certitude dans l'historique
Ce sont des observations de session, sans protocole statistique ni garantie de latence ou de qualité. Le réalisme anatomique, les poses et la qualité à grande échelle restent à évaluer — un portrait réussi ne suffit pas à valider ces critères. Mesures de coexistence GPU (VRAM partagée avec Ollama, déchargement mémoire) sur la page IA & LLM.
🎯 Compétences mises en œuvre
  • Durcissement d'un conteneur ComfyUI (sans privilèges, FS racine en lecture seule)
  • Vérification d'intégrité de checkpoint par empreinte SHA-256
  • Partage d'un GPU exclusif entre inférence LLM et génération d'image
  • Diagnostic d'incompatibilité de graphe ComfyUI et récupération après blocage
  • Accès distant sécurisé par tunnel SSH, sans publication Internet

Limites et travaux ouverts

  • Le partage automatique des requêtes entre ComfyUI et Ollama reste à construire (bascule manuelle pour l'instant)
  • Le réalisme anatomique, les poses et la qualité à grande échelle restent à évaluer
  • L'usage de Flux sur cette cible Linux n'est pas confirmé — seul RealVisXL a été mesuré ici
  • Intégrations agentiques/n8n, admission commune des requêtes et politique de redémarrage après reboot restent des travaux ouverts
  • RealVisXL V5.0 est diffusé sous licence Open RAIL++ : des poids disponibles ne signifient pas l'absence de restrictions de licence

Pages liées

Références & Sources

CatégorieRessourceURL
Documentation officielleComfyUI — implémentation de l'API utiliséegithub.com/Comfy-Org/ComfyUI — server.py
Modèle de diffusionRealVisXL V5.0 — dépôt de l'auteur (SG161222)huggingface.co — RealVisXL_V5.0
Modèle de diffusionStable Diffusion XL (SDXL) — Stability AI, base de RealVisXLhuggingface.co — sdxl-base-1.0
LicenceComfyUI — GPLv3 · RealVisXL V5.0 — Open RAIL++ (poids disponibles ≠ absence de restrictions)—
Vérification des faitsEssais du 27–28 septembre 2026 · fiche source vérifiée le 28/09/2026—
Contenu de cette pagePartagé sous CC BY-SA 4.0creativecommons.org/licenses/by-sa/4.0