Prompts e contexto
Como você instrui um modelo e controla o que ele vê e o que devolve.
- Chain-of-thought
- Chain-of-thought (CoT, cadeia de raciocínio) é um método de prompting em que um modelo de linguagem escreve passos intermediários de raciocínio antes da resposta final, o que tende a melhorar os resultados em matemática, lógica e outros problemas de vários passos.
- Context engineering
- Context engineering (engenharia de contexto) é a prática de escolher e manter tudo o que entra na janela de contexto de um modelo de linguagem durante uma tarefa: instruções, documentos recuperados, definições de ferramentas, resultados de ferramentas e histórico da conversa.
- Few-shot prompting
- Few-shot prompting (prompting com poucos exemplos) é dar a um modelo de linguagem um punhado de exemplos resolvidos de uma tarefa dentro do prompt, para que ele copie o padrão em uma nova entrada sem nenhum retreinamento.
- Grounding
- Grounding (ancoragem) é ligar a resposta de um modelo de linguagem a fontes específicas e verificáveis, como resultados de busca, documentos ou um banco de dados, para que suas afirmações se apoiem em evidências fornecidas, e não apenas nos dados de treinamento.
- Prompt engineering
- Prompt engineering (engenharia de prompt) é a prática de escrever, estruturar e testar as instruções e exemplos dados a um modelo de linguagem para que ele produza a saída de que uma aplicação precisa, sem mudar os pesos do modelo.
- Structured output
- Structured output (saída estruturada) é um recurso de API que faz a resposta de um modelo de linguagem seguir um formato que você define, geralmente um JSON schema, para que o código possa processá-la com confiabilidade em vez de garimpar texto livre.
- System prompt
- Um system prompt (prompt de sistema) é o bloco de instruções que uma aplicação envia a um modelo de linguagem antes das mensagens do usuário. Ele define o papel, as regras, o tom e o formato de saída do modelo para a conversa inteira.
- Temperature (amostragem)
- A temperature (temperatura) é uma configuração de amostragem que controla quão aleatórias são as escolhas de palavras de um modelo de linguagem. Valores baixos o fazem favorecer os tokens mais prováveis; valores mais altos espalham as escolhas entre os menos prováveis.
- Tokens de saída
- Tokens de saída (output tokens) são os tokens que um modelo de linguagem gera na resposta. Eles são contados e cobrados separadamente dos tokens de entrada, e uma configuração max_tokens limita quantos uma resposta pode conter.
- Top-p sampling
- O top-p sampling, ou nucleus sampling (amostragem por núcleo), escolhe cada próximo token só entre o menor conjunto de candidatos cuja probabilidade somada atinge um limite p, cortando a longa cauda de tokens improváveis.
- Zero-shot
- Zero-shot significa pedir a um modelo que faça uma tarefa só a partir de uma instrução, sem exemplos resolvidos no prompt e sem treinamento específico para a tarefa. O modelo depende apenas do que já aprendeu.