Pular para o conteúdo
ReviewRamble

A newsletter semanal

IA, analisada, na sua caixa de entrada.

  • Novas análises de ferramentas, modelos, servidores MCP e repositórios, com o veredicto logo no início
  • Preços e notas reconferidos quando algo muda
  • Novos artigos de análise assim que são publicados

Modelos, agentes, servidores MCP e as ferramentas que realmente valem seu tempo.

Um e-mail por semana. Cancele pelo link em qualquer edição. Como usamos seu e-mail

Execução e implantação

Fine-tuning, servir e hospedar modelos, e o que significam os termos de hardware e preços.

API compatível com a OpenAI
Uma API compatível com a OpenAI (OpenAI-compatible API) é um endpoint de outro provedor ou ferramenta que aceita o mesmo formato de requisição e resposta da API da OpenAI, então o código escrito para a OpenAI pode mudar para ela trocando a URL base, a chave e o nome do modelo.
Batch API
Uma batch API (API de processamento em lote) permite enviar um grande conjunto de requisições de modelo em um único job e coletar os resultados depois, em vez de esperar por cada chamada. Os provedores rodam o job quando há capacidade e geralmente cobram menos por ele.
Chave de API
Uma chave de API (API key) é uma string secreta que uma aplicação envia com cada requisição para que um serviço saiba qual conta está chamando, aplique seus limites e faça a cobrança. Quem tem a chave geralmente consegue usá-la.
Continuous batching
Continuous batching (agrupamento contínuo) é uma técnica de serving de modelos que acrescenta novas requisições ao lote em execução na GPU e remove as concluídas a cada passo de geração, em vez de esperar que um lote inteiro termine. Ela mantém a GPU ocupada e aumenta o throughput.
CPU offloading
CPU offloading (descarregamento para a CPU) roda um modelo que não cabe na memória da GPU mantendo algumas de suas camadas na RAM do sistema, ou em disco, e usando a GPU para o resto. O modelo roda, mas mais devagar.
Dados de treinamento de IA
Dados de treinamento de IA são o conjunto de exemplos com que um modelo aprende, como texto da web, código, imagens, transcrições ou pares rotulados. Seu tamanho, qualidade, composição e licenciamento definem o que o modelo consegue fazer e onde ele falha.
Dados sintéticos
Dados sintéticos (synthetic data) são dados de treinamento ou de teste gerados por software, muitas vezes por outro modelo de IA, em vez de coletados de fontes do mundo real. São usados para preencher lacunas, adicionar exemplos a baixo custo ou evitar expor dados pessoais reais.
Direct preference optimization
Direct preference optimization (DPO, otimização direta de preferências) é uma forma de alinhar um modelo de linguagem às preferências humanas treinando-o diretamente com pares de respostas preferidas e rejeitadas, usando uma função de perda simples, do tipo classificação, em vez de um modelo de recompensa e aprendizado por reforço.
Fallback de modelo
Fallback de modelo (modelo de reserva) é uma regra que envia uma requisição a um modelo ou provedor reserva quando a primeira opção falha, estoura o tempo, atinge um rate limit ou rejeita a entrada. Ele mantém um recurso de IA funcionando durante quedas.
Fine-tuning
Fine-tuning (ajuste fino) é o treinamento adicional de um modelo pré-treinado em um conjunto de dados menor e específico para uma tarefa, para que o modelo adote uma habilidade, um formato, um tom ou um domínio particular sem ser treinado do zero.
GPU
Uma GPU (graphics processing unit, unidade de processamento gráfico) é um processador com muitos núcleos pequenos, feito para executar muitos cálculos em paralelo. Sua velocidade em operações com matrizes faz dela o hardware padrão para treinar e rodar modelos de IA.
GPU serverless
GPU serverless (serverless GPU) é um modelo de nuvem em que você implanta código ou um modelo e a plataforma inicia workers de GPU só quando chegam requisições, cobrando pelo tempo em que rodam e escalando a zero quando ociosa.
Inferência
Inferência (inference) é rodar um modelo treinado para produzir uma saída a partir de uma nova entrada, como um LLM gerando uma resposta a um prompt. É a etapa pela qual os usuários pagam toda vez que chamam um modelo, em oposição ao treinamento.
KV cache
Um KV cache (cache de chaves e valores) guarda as keys e os values de atenção que um transformer já calculou para os tokens anteriores, para que cada novo token só precise do trabalho referente a ele. Ele acelera a geração, mas ocupa memória da GPU que cresce com o tamanho do contexto.
LLM local
Um LLM local é um modelo de linguagem que roda no seu próprio computador, celular ou servidor em vez da API em nuvem de um provedor, então prompts e dados ficam no seu hardware e ele funciona sem conexão com a internet.
LoRA
LoRA (low-rank adaptation, adaptação de baixo posto) é um método de fine-tuning que congela os pesos originais de um modelo e treina pequenas matrizes de baixo posto adicionadas às suas camadas, então muito menos parâmetros mudam e é preciso bem menos memória de GPU.
Memória unificada
A memória unificada (unified memory) é um design em que a CPU e a GPU compartilham um único conjunto de memória em vez de cada uma ter o seu. Em Macs com Apple Silicon e chips parecidos, ela permite que um modelo de IA local use a maior parte da RAM do sistema como memória de GPU.
Model serving
Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
NPU
Uma NPU (neural processing unit, unidade de processamento neural) é um chip, ou um bloco dentro de um chip maior, feito para rodar os cálculos de redes neurais com rapidez e pouco consumo de energia. Celulares e notebooks usam NPUs para rodar pequenos modelos de IA no próprio aparelho.
Nuvem de GPU
Uma nuvem de GPU (GPU cloud) é um serviço que aluga máquinas com GPU por hora ou por segundo para treinamento, fine-tuning e inferência de IA. Provedores especializados, às vezes chamados de neoclouds, focam em GPUs e muitas vezes cobram menos do que as grandes nuvens generalistas.
PagedAttention
PagedAttention é um método para armazenar o KV cache de um modelo de linguagem em pequenos blocos de tamanho fixo que não precisam ficar lado a lado na memória da GPU, como páginas em um sistema operacional. Ele reduz a memória desperdiçada para que um servidor rode mais requisições ao mesmo tempo.
Parameter-efficient fine-tuning
O parameter-efficient fine-tuning (PEFT, fine-tuning eficiente em parâmetros) adapta um modelo pré-treinado treinando apenas um pequeno número de parâmetros novos ou selecionados e deixando o resto congelado. Ele reduz a memória, o processamento e o armazenamento que o fine-tuning completo exige.
Precisão numérica (FP16, BF16, FP8)
A precisão numérica é o formato de número usado para armazenar os pesos de um modelo e fazer seus cálculos, como FP32, FP16, BF16, FP8 ou INT4. Menos bits por número significam menos memória e inferência mais rápida, com algum risco para a acurácia.
Preço por token
O preço por token (token pricing) é a forma como a maioria das APIs de modelos de IA cobra: um preço fixo por milhão de tokens de entrada que você envia e um preço separado, geralmente mais alto, por milhão de tokens de saída que o modelo gera, com descontos para entrada em cache e jobs em lote.
Prompt caching
Prompt caching (cache de prompt) é um recurso de API que guarda a forma processada de um prefixo de prompt repetido, como um system prompt longo ou um documento, para que requisições posteriores que começam com o mesmo prefixo fiquem mais baratas e rápidas.
Provedor de inferência
Um provedor de inferência (inference provider) é uma empresa que roda modelos de IA no próprio hardware e vende acesso a eles por meio de uma API, geralmente cobrando por token. Você envia prompts e recebe saídas sem gerenciar GPUs.
Rate limit (API)
Um rate limit (limite de taxa) restringe quanto uma conta pode usar uma API em uma janela de tempo, normalmente em requisições por minuto (RPM) e tokens por minuto (TPM). Requisições acima do limite são rejeitadas, geralmente com um erro HTTP 429.
Reward model
Um reward model (modelo de recompensa) é um modelo separado, treinado com dados de preferência humana, que dá uma nota para a qualidade de uma resposta. O aprendizado por reforço então usa essa nota para ajustar um modelo de linguagem na direção das respostas que as pessoas preferem.
RLHF
O RLHF (reinforcement learning from human feedback, aprendizado por reforço a partir de feedback humano) faz o fine-tuning de um modelo de linguagem usando rankings humanos das suas respostas: um reward model aprende essas preferências, e o aprendizado por reforço empurra o modelo para respostas com nota alta.
Self-hosting (modelos de IA)
Fazer self-hosting (hospedagem própria) de um modelo de IA significa rodá-lo em hardware que você controla, como seus próprios servidores, GPUs alugadas ou um notebook, em vez de chamar a API de um provedor. Você escolhe o modelo e fica com os dados, mas opera a infraestrutura.
Semantic cache
Um semantic cache (cache semântico) guarda respostas anteriores de um LLM e devolve uma delas quando uma nova requisição significa mais ou menos o mesmo que uma anterior, julgado por similaridade de embeddings em vez de correspondência exata de texto. Ele economiza custo e latência em perguntas repetidas.
Speculative decoding
O speculative decoding (decodificação especulativa) acelera a geração de texto deixando um modelo rascunho pequeno e rápido propor vários tokens, que o modelo grande então verifica em uma única passada, mantendo os aceitos. A saída é igual à que o modelo grande produziria sozinho.
Streaming (saída de LLM)
O streaming envia a saída de um LLM ao cliente aos poucos, conforme os tokens são gerados, em vez de esperar a resposta completa. Os usuários veem o texto aparecer em instantes, mesmo quando a resposta inteira demora bem mais.
Supervised fine-tuning
O supervised fine-tuning (SFT, fine-tuning supervisionado) continua o treinamento de um modelo pré-treinado com exemplos de prompts pareados com as respostas que você quer. É o primeiro passo usual para transformar um modelo base em um que segue instruções.
Tensor parallelism
O tensor parallelism (paralelismo de tensores) divide cada camada de uma rede neural entre várias GPUs, para que cada GPU guarde parte de cada matriz de pesos e calcule sua parcela de cada passo. Ele permite que um modelo grande demais para uma GPU rode em várias.
Time to first token
Time to first token (TTFT, tempo até o primeiro token) é quanto um usuário espera entre enviar uma requisição a um modelo de linguagem e receber o primeiro token da resposta, incluindo fila, processamento do prompt e tempo de rede.
Tokens por segundo
Tokens por segundo (tokens per second, tok/s) medem a rapidez com que um modelo de linguagem produz saída. O número é informado por usuário, a velocidade com que uma resposta chega em streaming, ou por sistema, a saída total de todas as requisições simultâneas.
TPU
Uma TPU (tensor processing unit, unidade de processamento de tensores) é o chip próprio do Google para machine learning, construído em torno de grandes unidades de multiplicação de matrizes e memória de alta largura de banda. O Google oferece TPUs a outras empresas como serviço alugado no Google Cloud.
VRAM
VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.