Prompts et contexte
Comment donner des instructions à un modèle et contrôler ce qu’il voit et ce qu’il renvoie.
- Chain-of-thought
- Le chain-of-thought (CoT, chaîne de pensée) est une méthode de prompting dans laquelle un modèle de langage écrit des étapes de raisonnement intermédiaires avant sa réponse finale, ce qui tend à améliorer les résultats en mathématiques, en logique et sur d'autres problèmes en plusieurs étapes.
- Context engineering
- Le context engineering (ingénierie du contexte) consiste à choisir et entretenir tout ce qui entre dans la fenêtre de contexte d'un modèle de langage au cours d'une tâche : instructions, documents récupérés, définitions d'outils, résultats d'outils et historique de la conversation.
- Échantillonnage top-p
- L'échantillonnage top-p (top-p sampling), ou nucleus sampling, choisit chaque token suivant uniquement dans le plus petit ensemble de candidats dont la probabilité cumulée atteint un seuil p, en coupant la longue queue des tokens improbables.
- Few-shot prompting
- Le few-shot prompting (prompting par quelques exemples) consiste à donner à un modèle de langage une poignée d'exemples résolus d'une tâche dans le prompt, pour qu'il reproduise le schéma sur une nouvelle entrée sans aucun réentraînement.
- Grounding
- Le grounding (ancrage) consiste à rattacher la réponse d'un modèle de langage à des sources précises et vérifiables, comme des résultats de recherche, des documents ou une base de données, afin que ses affirmations reposent sur des éléments fournis plutôt que sur ses seules données d'entraînement.
- Prompt engineering
- Le prompt engineering (ingénierie de prompts) consiste à rédiger, structurer et tester les instructions et les exemples donnés à un modèle de langage pour qu'il produise la sortie dont une application a besoin, sans modifier les poids du modèle.
- Prompt système
- Un prompt système (system prompt) est le bloc d'instructions qu'une application envoie à un modèle de langage avant les messages de l'utilisateur. Il fixe le rôle, les règles, le ton et le format de sortie du modèle pour toute la conversation.
- Sortie structurée
- La sortie structurée (structured output) est une fonctionnalité d'API qui oblige la réponse d'un modèle de langage à suivre un format que vous définissez, généralement un JSON Schema, pour que du code puisse l'analyser de façon fiable au lieu d'extraire des informations d'un texte libre.
- Température (échantillonnage)
- La température (temperature) est un réglage d'échantillonnage qui contrôle le caractère aléatoire des choix de mots d'un modèle de langage. Des valeurs basses lui font privilégier les tokens les plus probables ; des valeurs plus élevées répartissent les choix sur des tokens moins probables.
- Tokens de sortie
- Les tokens de sortie (output tokens) sont les tokens qu'un modèle de langage génère dans sa réponse. Ils sont comptés et facturés séparément des tokens d'entrée, et un réglage max_tokens plafonne le nombre qu'une réponse peut contenir.
- Zero-shot
- Le zero-shot consiste à demander à un modèle d'effectuer une tâche à partir d'une simple instruction, sans exemple travaillé dans le prompt ni entraînement propre à la tâche. Le modèle ne s'appuie que sur ce qu'il a déjà appris.