Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

LLM local

Un LLM local est un modèle de langage qui tourne sur votre propre ordinateur, téléphone ou serveur plutôt que via l'API cloud d'un fournisseur, de sorte que les prompts et les données restent sur votre matériel et qu'il fonctionne sans connexion internet.

Aussi appelé : run locally, on-device model, Edge AI, on-device AI

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Faire tourner un modèle en local est devenu réaliste dès la publication de modèles open-weight performants et d'outils qui rendent faciles à lancer leurs versions quantifiées. Une configuration typique télécharge un modèle au format GGUF et l'exécute avec llama.cpp, dont l'objectif affiché est l'inférence avec un minimum de configuration sur un large éventail de matériel, ou avec une surcouche plus conviviale comme Ollama ou LM Studio. La plupart exposent une API compatible OpenAI, si bien que du code existant peut pointer vers le modèle local.

Pourquoi on le fait

La confidentialité et le contrôle sont les principales raisons : rien ne quitte la machine, ce qui compte pour les documents sensibles et l'usage hors ligne. Il n'y a pas de facture au token, et le modèle ne changera pas et ne sera pas retiré sans vous. C'est aussi une façon peu coûteuse d'expérimenter.

Compromis

Le modèle doit tenir dans la VRAM ou la mémoire unifiée, ce qui limite sa taille ; le calculateur de GPU aide à vérifier. Les modèles locaux sont généralement plus petits et moins performants que les plus grands modèles de pointe hébergés, et la vitesse dépend de votre matériel. Les mises à jour et la vérification de la licence du modèle sont à votre charge.

Edge AI

L'Edge AI, ou IA embarquée, est l'idée plus large de faire tourner les modèles sur l'appareil où les données sont produites, comme les téléphones, les caméras, les voitures et les capteurs, plutôt que dans un centre de données. Elle couvre de petits modèles de vision et de parole ainsi que des petits modèles de langage, et tourne souvent sur un NPU. Google AI Edge est un exemple de boîte à outils pour déployer des modèles sur des appareils.

Termes liés

GGUF
GGUF est un format de fichier binaire qui stocke les poids, le tokenizer et les métadonnées d'un modèle dans un seul fichier, conçu pour un chargement rapide et l'inférence locale avec des outils basés sur GGML comme llama.cpp, souvent sous forme quantifiée.
Quantification
La quantification (quantization) est une technique qui stocke les poids d'un modèle, et parfois ses activations, avec moins de bits, par exemple 8 ou 4 au lieu de 16, pour que le modèle demande moins de mémoire et tourne souvent plus vite, au prix d'une certaine perte de précision.
VRAM
La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
Auto-hébergement (modèles d'IA)
Auto-héberger un modèle d'IA (self-hosting) signifie le faire tourner sur du matériel que vous contrôlez, comme vos propres serveurs, des GPU loués ou un ordinateur portable, au lieu d'appeler l'API d'un fournisseur. Vous choisissez le modèle et gardez les données, mais vous gérez l'infrastructure.
Petit modèle de langage
Un petit modèle de langage (small language model, SLM) est un modèle de langage doté de relativement peu de paramètres, généralement quelques milliards ou moins, conçu pour tourner sur un ordinateur portable, un téléphone ou un seul GPU à un coût inférieur à celui d'un grand modèle.
NPU
Un NPU (neural processing unit, processeur neuronal) est une puce, ou un bloc dans une puce plus grande, conçu pour exécuter les calculs des réseaux de neurones rapidement et en consommant peu d'énergie. Les téléphones et les ordinateurs portables utilisent des NPU pour faire tourner de petits modèles d'IA sur l'appareil.

Sources