IA Locale & LLM

Architecture :


      [RTX 5090] → [Ollama] → [Open WebUI / API] → [Utilisateur / n8n / LangChain]

🤖 Modèles LLM déployés

Famille	Modèles	Usage
Meta	Llama 3.x	LLM généraliste haute qualité
Mistral AI	Mistral 7B/22B	LLM efficace, bon rapport perf/taille
Google	Gemma 2	LLM compact et rapide
Microsoft	Phi-3	LLM petit format
NousResearch	Hermes	Agent IA avancé

🖥️ Interfaces & Outils

Outil	Rôle	Port
Open WebUI	Interface chat (type ChatGPT)	3000
Ollama API	API REST pour intégrations	11434
n8n	Orchestration workflows IA	5678

💻 Commandes Ollama

bash

# Lister les modèles installés
ollama list

# Télécharger un modèle
ollama pull mistral
ollama pull llama3

# Inférence directe
ollama run mistral

# API REST
curl http://localhost:11434/api/generate \\
  -d '{"model": "mistral", "prompt": "Résume en 3 points :", "stream": false}'

🎯 Compétences acquises

Hébergement local de LLM (infrastructure IA privée, sans cloud)
Comparaison et sélection de modèles LLM selon les besoins
Configuration Ollama (modèles, API, paramètres d'inférence)
Déploiement Open WebUI comme interface utilisateur
Intégration LLM dans des pipelines via API REST
Architecture agents IA avec Hermes + n8n

Pages liées