LLM local
Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.
Aussi appelé : run locally, on-device model, Edge AI, on-device AI
Par Divya Sharma · V érifié le 16 nov. 2026 · Notre méthode
Faire tourner un modèle en local est devenu réaliste dès la publication de modèles open-weight performants et d'outils qui rendent faciles à lancer leurs versions quantifiées. Une configuration typique télécharge un modèle au format GGUF et l'exécute avec llama.cpp, dont l'objectif affiché est l'inférence avec un minimum de configuration sur un large éventail de matériel, ou avec une surcouche plus conviviale comme Ollama ou LM Studio. La plupart exposent une API compatible OpenAI, si bien que du code existant peut pointer vers le modèle local.
Pourquoi on le fait
La confidentialité et le contrôle sont les principales raisons : rien ne quitte la machine, ce qui compte pour les documents sensibles et l'usage hors ligne. Il n'y a pas de facture au token, et le modèle ne changera pas et ne sera pas retiré sans vous. C'est aussi une façon peu coûteuse d'expérimenter.
Compromis
Le modèle doit tenir dans la VRAM ou la mémoire unifiée, ce qui limite sa taille ; le calculateur de GPU aide à vérifier. Les modèles locaux sont généralement plus petits et moins performants que les plus grands modèles de pointe hébergés, et la vitesse dépend de votre matériel. Les mises à jour et la vérification de la licence du modèle sont à votre charge.
Edge AI
L'Edge AI, ou IA embarquée, est l'idée plus large de faire tourner les modèles sur l'appareil où les données sont produites, comme les téléphones, les caméras, les voitures et les capteurs, plutôt que dans un centre de données. Elle couvre de petits modèles de vision et de parole ainsi que des petits modèles de langage, et tourne souvent sur un NPU. Google AI Edge est un exemple de boîte à outils pour déployer des modèles sur des appareils.
Termes liés
- GGUF
- GGUF est un format de fichier binaire qui stocke les poids, le tokenizer et les métadonnées d'un modèle dans un seul fichier, conçu pour un chargement rapide et l'inférence locale avec des outils basés sur GGML comme llama.cpp, souvent sous forme quantifiée.
- Quantification
- La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
- VRAM
- La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
- Auto-hébergement (modèles d'IA)
- Auto-héberger un modèle d'IA (self-hosting) signifie le faire tourner sur du matériel que vous contrôlez, comme vos propres serveurs, des GPU loués ou un ordinateur portable, au lieu d'appeler l'API d'un fournisseur. Vous choisissez le modèle et gardez les données, mais vous gérez l'infrastructure.
- Petit modèle de langage
- Un petit modèle de langage (small language model, SLM) est un modèle de langage doté de relativement peu de paramètres, généralement quelques milliards ou moins, conçu pour tourner sur un ordinateur portable, un téléphone ou un seul GPU à un coût inférieur à celui d'un grand modèle.
- NPU
- Un NPU (neural processing unit, processeur neuronal) est une puce, ou un bloc dans une puce plus grande, conçu pour exécuter les calculs des réseaux de neurones rapidement et en consommant peu d'énergie. Les téléphones et les ordinateurs portables utilisent des NPU pour faire tourner de petits modèles d'IA sur l'appareil.