Se você roda um modelo no próprio computador, há boas chances de o llama.cpp estar fazendo o trabalho por baixo, seja instalado diretamente, seja por meio de um app construído sobre ele. O projeto acaba de lançar a versão 1.0.0 de suas bibliotecas e se comprometeu com o versionamento semântico. Parece burocracia, mas para quem constrói sobre ele é uma promessa sobre quando as coisas vão quebrar.
As regras são simples e estão no anúncio. Uma mudança incompatível na API pública em C, os cabeçalhos da pasta include, aumenta a versão principal. Recursos compatíveis com versões anteriores, atualizações de backends, suporte a novos modelos e acréscimos à API aumentam a versão secundária. Correções de bugs sem mudança de API aumentam o número de patch. As mesmas regras valem para o ggml, o motor de aprendizado de máquina por baixo, e para os outros projetos da ggml-org, e a equipe diz que será mais rigorosa ao sinalizar incompatibilidades tanto na API quanto na ABI.
O motivo é a escala. Nos três anos e meio desde o início, o llama.cpp ganhou uma longa lista de projetos dependentes, e o texto diz que ele já suporta mais de 150 variantes de arquitetura e todos os métodos comuns de decodificação especulativa. A distribuição também está crescendo: há builds para Docker, Debian, Homebrew, conda-forge, MacPorts, Winget e um XCFramework para plataformas da Apple. Os testes rodam na infraestrutura da Hugging Face, com máquinas próprias apoiadas por NVIDIA, AMD, Qualcomm, Arm, IBM e Intel.
Para as ferramentas que avaliamos, isso tem peso discreto, mas real. O Ollama e o LM Studio usam o llama.cpp e o ggml, assim como muitos apps de desktop menores. Até agora, quem acompanhava o projeto original precisava ler os registros de mudanças com atenção para perceber uma mudança de interface. Um número de versão que avisa sobre quebras permite que esses projetos atualizem com mais frequência e menos risco, o que deve levar o suporte a novos modelos mais rápido até os usuários. A equipe da Hugging Face também lança seus próprios apps de desktop Llama para macOS e Windows.
Vale deixar claros os limites. O versionamento semântico é um compromisso, não uma garantia, e cobre a API em C, não toda mudança de comportamento em qualidade ou velocidade. Também não diz nada sobre as ferramentas de linha de comando ou as opções do servidor que muita gente usa diretamente. Um comentarista observou que processar prompts muito longos continua mais lento do que se gostaria, e a versão 1.0.0 não promete resolver isso.