Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Modelos e como funcionam

O que são modelos de linguagem e outros modelos de IA, como são construídos e dimensionados, e as palavras que os descrevem.

Alucinação (IA)
Uma alucinação (hallucination) é uma saída de um modelo de IA que soa fluente e confiante, mas é falsa, não tem apoio nas fontes ou foi inventada, como uma citação, uma frase, uma estatística ou uma função de API que não existem.
Destilação de conhecimento
A destilação de conhecimento (knowledge distillation) é um método de treinamento em que um modelo aluno menor aprende a imitar as saídas de um modelo professor maior, produzindo um modelo destilado que mantém boa parte da habilidade do professor a um custo menor.
GGUF
GGUF é um formato de arquivo binário para guardar os pesos, o tokenizer e os metadados de um modelo em um único arquivo, feito para carregamento rápido e inferência local com ferramentas baseadas em GGML, como o llama.cpp, muitas vezes em forma quantizada.
Grande modelo de linguagem
Um grande modelo de linguagem (large language model, LLM) é uma rede neural com bilhões de parâmetros, treinada com grandes quantidades de texto para prever o próximo token, o que permite a ele escrever, responder a perguntas, resumir e seguir instruções.
IA open source
IA open source (open source AI) é um sistema de IA lançado sob termos que permitem a qualquer pessoa usá-lo, estudá-lo, modificá-lo e compartilhá-lo, com acesso às partes necessárias para alterá-lo: informações dos dados de treinamento, código completo e parâmetros do modelo.
Janela de contexto
Uma janela de contexto (context window) é a quantidade máxima de texto, contada em tokens, que um modelo de linguagem consegue considerar de uma vez, incluindo o prompt de sistema, a conversa, os documentos, os resultados de ferramentas e a resposta que ele escreve.
Knowledge cutoff
O knowledge cutoff (data de corte do conhecimento) é a data depois da qual um modelo tem pouca ou nenhuma informação, porque seus dados de treinamento foram coletados até mais ou menos esse ponto. Eventos posteriores são desconhecidos, a menos que sejam fornecidos no prompt.
Licença de modelo
Uma licença de modelo (model license) são os termos legais sob os quais os pesos de um modelo, e às vezes seu código e dados, podem ser usados, modificados e compartilhados. Os termos vão de licenças abertas permissivas a licenças não comerciais ou restritas personalizadas.
Mecanismo de atenção
Um mecanismo de atenção (attention) permite que uma rede neural decida, para cada token que processa, quanto peso dar a cada um dos outros tokens da entrada. A self-attention (autoatenção) é a operação central dentro de um transformer.
Mixture of experts
Mixture of experts (MoE, mistura de especialistas) é um design de modelo em que cada camada tem várias sub-redes especialistas e um roteador envia cada token a apenas algumas delas, então só parte do modelo roda por token.
Modelo autorregressivo
Um modelo autorregressivo gera uma sequência um pedaço por vez, prevendo cada próximo token a partir de todos os tokens anteriores e realimentando essa saída como entrada. A maioria dos grandes modelos de linguagem funciona assim.
Modelo base
Um modelo base (base model) é um modelo de linguagem recém-saído do pré-treinamento, antes do ajuste por instruções ou do treinamento com feedback humano. Ele continua qualquer texto que receba, em vez de seguir instruções ou manter uma conversa.
Modelo de fronteira
Um modelo de fronteira (frontier model) é um dos modelos de IA de uso geral mais capazes disponíveis em um dado momento, geralmente de um laboratório com muitos recursos. O termo é relativo e também aparece em políticas de segurança de IA.
Modelo de fundação
Um modelo de fundação (foundation model) é um modelo grande treinado com dados amplos em escala, que pode ser adaptado a muitas tarefas diferentes, por prompting ou fine-tuning, em vez de ser construído para uma única tarefa.
Modelo de linguagem de difusão
Um modelo de linguagem de difusão (dLLM) gera texto partindo de uma sequência totalmente mascarada ou ruidosa e refinando muitas posições de token em paralelo ao longo de vários passos, em vez de escrever um token por vez.
Modelo de linguagem pequeno
Um modelo de linguagem pequeno (small language model, SLM) é um modelo de linguagem com relativamente poucos parâmetros, geralmente alguns bilhões ou menos, feito para rodar em um notebook, celular ou uma única GPU a um custo menor que um modelo grande.
Modelo de raciocínio
Um modelo de raciocínio (reasoning model) é um modelo de linguagem treinado para trabalhar um problema em um fluxo de tokens de pensamento intermediários antes de dar a resposta final, o que tende a ajudar em matemática, código e tarefas com várias etapas.
Modelo instruct
Um modelo instruct (modelo ajustado por instruções) é um modelo de linguagem base que passou por treinamento adicional com instruções associadas a boas respostas, e muitas vezes com feedback humano, para que siga pedidos em vez de apenas continuar texto.
Modelo multimodal
Um modelo multimodal (multimodal model) é um modelo de IA que consegue receber, e às vezes produzir, mais de um tipo de dado, como texto, imagens, áudio ou vídeo, dentro de um único modelo em vez de sistemas separados.
Modelo open-weight
Um modelo open-weight (modelo de pesos abertos) é um modelo cujos pesos treinados são publicados para qualquer pessoa baixar e rodar, muitas vezes sem o código de treinamento ou os dados completos, então ele não é necessariamente open source.
ONNX
O ONNX (Open Neural Network Exchange) é um formato de arquivo aberto para modelos de machine learning. Ele descreve um modelo como um grafo de operadores padrão, para que possa ser treinado em um framework e rodado em outro.
Parâmetros do modelo
Os parâmetros do modelo (model parameters) são os números que uma rede neural aprende no treinamento, principalmente pesos. A contagem de parâmetros, escrita como 7B para sete bilhões, é a forma usual de indicar o tamanho de um modelo.
Pesos do modelo
Os pesos do modelo (model weights) são os números aprendidos dentro de uma rede neural, definidos durante o treinamento, que decidem como ela transforma a entrada em saída. Um checkpoint é um arquivo salvo, ou conjunto de arquivos, contendo esses pesos.
Pré-treinamento
O pré-treinamento (pretraining) é a primeira e maior etapa do treinamento de um modelo, em que ele aprende padrões gerais a partir de um dataset enorme sem rótulos, geralmente prevendo o próximo token, antes de qualquer ajuste para uma tarefa específica.
Quantização
A quantização (quantization) é uma técnica que armazena os pesos de um modelo, e às vezes as ativações, com menos bits, como 8 ou 4 em vez de 16, para que o modelo precise de menos memória e muitas vezes rode mais rápido, com algum custo em acurácia.
Safetensors
Safetensors é um formato de arquivo do Hugging Face para armazenar pesos de modelos. Ao contrário dos arquivos pickle do Python, carregá-lo não pode executar código oculto, e ele permite carregar tensores individuais de forma rápida, com mapeamento em memória.
State space model
Um state space model (SSM, modelo de espaço de estados) é um modelo de sequência que leva adiante um estado oculto de tamanho fixo enquanto lê cada token, então seu custo cresce de forma linear com o tamanho da entrada. O Mamba é o exemplo mais conhecido.
Test-time compute
Test-time compute (processamento em tempo de teste) é a quantidade de computação que um modelo gasta ao responder a uma requisição, e não durante o treinamento. Deixar um modelo pensar por mais tempo ou tentar várias respostas pode melhorar os resultados em problemas difíceis.
Token (LLM)
Um token (LLM) é a unidade básica de texto que um modelo de linguagem lê e escreve, muitas vezes uma palavra, parte de uma palavra, um sinal de pontuação ou um byte. Preços, velocidade e limites de contexto são todos contados em tokens.
Tokenizer
Um tokenizer (tokenizador) é o componente que divide o texto em tokens e os transforma em IDs numéricos que um modelo de linguagem pode processar, e depois transforma os IDs de saída do modelo de volta em texto.
Transformer (arquitetura)
O transformer é uma arquitetura de rede neural, apresentada em 2017, que processa sequências usando atenção em vez de recorrência. Ele é a base de quase todos os grandes modelos de linguagem atuais e de muitos modelos de imagem e áudio.
Vision-language model
Um vision-language model (VLM, modelo de visão e linguagem) é um modelo que recebe imagens e texto como entrada e produz texto, então consegue descrever imagens, responder perguntas sobre elas, ler documentos e extrair dados de capturas de tela.
Weight-space programming
A weight-space programming (programação no espaço de pesos) é uma capacidade proposta em que um modelo de linguagem lê os pesos de uma rede neural para entender o que ela calcula e depois escreve ou edita esses pesos diretamente, sem treinamento por gradiente, como um programador edita código.
World model
Um world model (modelo de mundo) é um modelo de IA que aprende como um ambiente funciona bem o bastante para prever o que acontece em seguida, muitas vezes a partir de vídeo ou dados de sensores, para que um agente possa planejar ou treinar dentro da simulação.