Modelos e como funcionam
O que são modelos de linguagem e outros modelos de IA, como são construídos e dimensionados, e as palavras que os descrevem.
- Alucinação (IA)
- Uma alucinação (hallucination) é uma saída de um modelo de IA que soa fluente e confiante, mas é falsa, não tem apoio nas fontes ou foi inventada, como uma citação, uma frase, uma estatística ou uma função de API que não existem.
- Destilação de conhecimento
- A destilação de conhecimento (knowledge distillation) é um método de treinamento em que um modelo aluno menor aprende a imitar as saídas de um modelo professor maior, produzindo um modelo destilado que mantém boa parte da habilidade do professor a um custo menor.
- GGUF
- GGUF é um formato de arquivo binário para guardar os pesos, o tokenizer e os metadados de um modelo em um único arquivo, feito para carregamento rápido e inferência local com ferramentas baseadas em GGML, como o llama.cpp, muitas vezes em forma quantizada.
- Grande modelo de linguagem
- Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
- IA open source
- IA open source (open source AI) é um sistema de IA lançado sob termos que permitem a qualquer pessoa usá-lo, estudá-lo, modificá-lo e compartilhá-lo, com acesso às partes necessárias para alterá-lo: informações dos dados de treinamento, código completo e parâmetros do modelo.
- Janela de contexto
- Uma janela de contexto (context window) é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue considerar de uma vez, incluindo o prompt de sistema, a conversa, os documentos, os resultados de ferramentas e a resposta que ele escreve.
- Knowledge cutoff
- O knowledge cutoff (data de corte do conhecimento) é a data depois da qual um modelo tem pouca ou nenhuma informação, porque seus dados de treinamento foram coletados até mais ou menos esse ponto. Eventos posteriores são desconhecidos, a menos que sejam fornecidos no prompt.
- Licença de modelo
- Uma licença de modelo (model license) são os termos legais sob os quais os pesos de um modelo, e às vezes seu código e dados, podem ser usados, modificados e compartilhados. Os termos vão de licenças abertas permissivas a licenças não comerciais ou restritas personalizadas.
- Mecanismo de atenção
- Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.
- Mixture of experts
- Mixture of experts (MoE, mistura de especialistas) é um design de modelo em que cada camada tem várias sub-redes especialistas e um roteador envia cada token a apenas algumas delas, então só parte do modelo roda por token.
- Modelo autorregressivo
- Um modelo autorregressivo gera uma sequência um pedaço por vez, prevendo cada próximo token a partir de todos os tokens anteriores e realimentando essa saída como entrada. A maioria dos grandes modelos de linguagem funciona assim.
- Modelo base
- Um modelo base (base model) é um modelo de linguagem recém-saído do pré-treinamento, antes do ajuste por instruções ou do treinamento com feedback humano. Ele continua qualquer texto que receba, em vez de seguir instruções ou manter uma conversa.
- Modelo de fronteira
- Um modelo de fronteira (frontier model) é um dos modelos de IA de uso geral mais capazes disponíveis em um dado momento, geralmente de um laboratório com muitos recursos. O termo é relativo e também aparece em políticas de segurança de IA.
- Modelo de fundação
- Um modelo de fundação (foundation model) é um modelo grande treinado com dados amplos em escala, que pode ser adaptado a muitas tarefas diferentes, por prompting ou fine-tuning, em vez de ser construído para uma única tarefa.
- Modelo de linguagem de difusão
- Um modelo de linguagem de difusão (dLLM) gera texto partindo de uma sequência totalmente mascarada ou ruidosa e refinando muitas posições de token em paralelo ao longo de vários passos, em vez de escrever um token por vez.
- Modelo de linguagem pequeno
- Um modelo de linguagem pequeno (small language model, SLM) é um modelo de linguagem com relativamente poucos parâmetros, geralmente alguns bilhões ou menos, feito para rodar em um notebook, celular ou uma única GPU a um custo menor que um modelo grande.
- Modelo de raciocínio
- Um modelo de raciocínio (reasoning model) é um modelo de linguagem treinado para trabalhar um problema em um fluxo de tokens de pensamento intermediários antes de dar a resposta final, o que tende a ajudar em matemática, código e tarefas com várias etapas.
- Modelo instruct
- Um modelo instruct (modelo ajustado por instruções) é um modelo de linguagem base que passou por treinamento adicional com instruções associadas a boas respostas, e muitas vezes com feedback humano, para que siga pedidos em vez de apenas continuar texto.
- Modelo multimodal
- Um modelo multimodal (multimodal model) é um modelo de IA que consegue receber, e às vezes produzir, mais de um tipo de dado, como texto, imagens, áudio ou vídeo, dentro de um único modelo em vez de sistemas separados.
- Modelo open-weight
- Um modelo open-weight (modelo de pesos abertos) é um modelo cujos pesos treinados são publicados para qualquer pessoa baixar e rodar, muitas vezes sem o código de treinamento ou os dados completos, então ele não é necessariamente open source.
- ONNX
- O ONNX (Open Neural Network Exchange) é um formato de arquivo aberto para modelos de machine learning. Ele descreve um modelo como um grafo de operadores padrão, para que possa ser treinado em um framework e rodado em outro.
- Parâmetros do modelo
- Os parâmetros do modelo (model parameters) são os números que uma rede neural aprende no treinamento, principalmente pesos. A contagem de parâmetros, escrita como 7B para sete bilhões, é a forma usual de indicar o tamanho de um modelo.
- Pesos do modelo
- Os pesos do modelo (model weights) são os números aprendidos dentro de uma rede neural, definidos durante o treinamento, que decidem como ela transforma a entrada em saída. Um checkpoint é um arquivo salvo, ou conjunto de arquivos, contendo esses pesos.
- Pré-treinamento
- O pré-treinamento (pretraining) é a primeira e maior etapa do treinamento de um modelo, em que ele aprende padrões gerais a partir de um dataset enorme sem rótulos, geralmente prevendo o próximo token, antes de qualquer ajuste para uma tarefa específica.
- Quantização
- A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
- Safetensors
- Safetensors é um formato de arquivo do Hugging Face para armazenar pesos de modelos. Ao contrário dos arquivos pickle do Python, carregá-lo não pode executar código oculto, e ele permite carregar tensores individuais de forma rápida, com mapeamento em memória.
- State space model
- Um state space model (SSM, modelo de espaço de estados) é um modelo de sequência que leva adiante um estado oculto de tamanho fixo enquanto lê cada token, então seu custo cresce de forma linear com o tamanho da entrada. O Mamba é o exemplo mais conhecido.
- Test-time compute
- Test-time compute (processamento em tempo de teste) é a quantidade de computação que um modelo gasta ao responder a uma requisição, e não durante o treinamento. Deixar um modelo pensar por mais tempo ou tentar várias respostas pode melhorar os resultados em problemas difíceis.
- Token (LLM)
- Um token (LLM) é a unidade básica de texto que um modelo de linguagem lê e escreve, muitas vezes uma palavra, parte de uma palavra, um sinal de pontuação ou um byte. Preços, velocidade e limites de contexto são todos contados em tokens.
- Tokenizer
- Um tokenizer (tokenizador) é o componente que divide o texto em tokens e os transforma em IDs numéricos que um modelo de linguagem pode processar, e depois transforma os IDs de saída do modelo de volta em texto.
- Transformer (arquitetura)
- O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
- Vision-language model
- Um vision-language model (VLM, modelo de visão e linguagem) é um modelo que recebe imagens e texto como entrada e produz texto, então consegue descrever imagens, responder perguntas sobre elas, ler documentos e extrair dados de capturas de tela.
- Weight-space programming
- A weight-space programming (programação no espaço de pesos) é uma capacidade proposta em que um modelo de linguagem lê os pesos de uma rede neural para entender o que ela calcula e depois escreve ou edita esses pesos diretamente, sem treinamento por gradiente, como um programador edita código.
- World model
- Um world model (modelo de mundo) é um modelo de IA que aprende como um ambiente funciona bem o bastante para prever o que acontece em seguida, muitas vezes a partir de vídeo ou dados de sensores, para que um agente possa planejar ou treinar dentro da simulação.