O que é edge0?
O edge0, de uma empresa chamada Edge0, é um framework de inferência para modelos de linguagem mixture-of-experts que mantém os pesos dos especialistas em um SSD e os lê à medida que cada token precisa deles. Dois acréscimos tornam isso rápido o bastante para uso: um prerouter, uma pequena rede treinada por camada que adivinha os especialistas da próxima camada com um token de antecedência para que as leituras se sobreponham à computação, e o Recover-LoRA, um adaptador destilado do modelo em precisão total que recupera a maior parte da qualidade perdida na quantização em 4 bits.
Ele roda os dois checkpoints da própria empresa, Edge0-35B-A3B-preview (construído sobre o Qwen3.6-35B-A3B) e Edge0-8B-A1B-preview (construído sobre o Ling 3.0 tiny, da inclusionAI), publicados no Hugging Face e no ModelScope com os adaptadores ao lado dos pesos. O pacote Python e seu servidor compatível com OpenAI rodam apenas em Macs com Apple Silicon; motores nativos separados movem um app para macOS, um app para iPhone, um app para Android e um app para Windows, os dois últimos sobre um llama.cpp modificado. Um framework unificado para todos eles está prometido para o 4º trimestre de 2026, e o relatório técnico é o arXiv 2609.18063.
O repositório foi criado em 8 de setembro de 2026, tem cerca de 8.800 estrelas e 1.370 forks no GitHub e licença Apache 2.0. A versão v0.1.0 (21 de outubro) traz um app para macOS, um APK para Android e um IPA para iPhone sem assinatura; a v0.1.1 (29 de outubro) atualiza só o Android.
edge0 vale a pena?
O edge0 sustenta sua ideia de streaming a partir do SSD com um relatório técnico, números de qualidade por benchmark e quatro apps nativos, e é mais restrito do que a contagem de estrelas sugere: roda dois checkpoints, ambos prévias, ambos treinados pela mesma equipe. A descrição de uma linha do repositório promete modelos de 35B em cerca de 2.5 GB de RAM. O número medido é 2.9 GiB, e é o pico do alocador do MLX, não o que o processo ocupa: em um MacBook M2 de 16 GB, o artigo relata memória de processo de 4.91 a 6.39 GiB com o prerouter ligado, sendo o resto páginas de especialistas que o sistema operacional pode recuperar. O README renomeou sua coluna depois que um colaborador externo apontou a diferença.
Quase todos os números de velocidade são da própria equipe. No Mac mini M4 Pro de referência com 24 GB, o README dá 14.9-17.7 tok/s para o 35B e 23.9-25.3 para o 8B; o artigo, usando uma configuração mais rápida, relata 20.4 tok/s contra 3.9 de um servidor mlx-lm comum que mantém todos os 19.5 GB de pesos na memória, o que nessa máquina deixa espaço de menos e provoca paginação. O prerouter importa mais quando os pesos não cabem: no M2 de 16 GB o artigo mede 3.5 tok/s subindo para 6.4 na largura de roteamento lançada, enquanto na máquina de 24 GB desligá-lo custa só 19.9 contra 20.4. O "até +59%" do README depende, portanto, de memória apertada e armazenamento lento. Os READMEs das plataformas acrescentam um MacBook Air M3 a 10-12 tok/s, um iPhone 16 Pro a 6.4 tok/s e um tablet Snapdragon 8 Elite de 16 GB a 6-9 tok/s, em que o primeiro turno sobre um tema novo espera 10-15 segundos para os especialistas saírem da memória flash. As evidências externas são escassas: um post da comunidade dá ao 8B 14.55 e 27.17 tok/s em um M4 Pro, um relato de esperas de 10.8 segundos antes do primeiro token em um M1 Pro de 16 GB levou a uma correção, e não encontramos nenhuma medição independente do 35B.
A qualidade é medida, o que poucos projetos de inferência local oferecem, mas pela equipe, em suas próprias execuções do OpenCompass. Em cinco benchmarks, o 35B em int4 tem média de 79.2 contra 83.2 da base Qwen3.6 em fp16, e o 8B 69.9 contra 72.7. A perda está no raciocínio longo: o AIME 2026 cai 6.1 pontos no 35B e 10.0 no 8B, enquanto o MMLU-Pro do 8B fica 4.3 pontos acima da sua base. O model card diz que o uso de ferramentas e o trabalho de agente em vários passos estão "atualmente fracos" nesta prévia, e um pedido no Hugging Face para verificar as notas no Papers with Code continua aberto.
A carga sobre o SSD é de leitura, e modesta em largura de banda: na largura lançada, o M2 de 16 GB do artigo moveu de 50.9 a 58.9 MiB por passo de decodificação, com o disco ocupado no máximo 12% de cada passo, então o custo é espera, não desgaste. A leitura do prompt é o ponto fraco; o padrão do 8B chegou a reler 4.06 GiB de especialistas a cada requisição até que uma opção --prefill-ondemand fosse acrescentada. O motor atende uma requisição por vez, o Android precisa de 12 GB ou mais para o 35B, e em um celular de 8 GB o 8B caiu para 1.14 tok/s. A distribuição é de nível desenvolvedor: o IPA para iPhone não tem assinatura e precisa ser reassinado com o seu próprio Apple ID (cerca de 7 dias com um gratuito), o APK não está no Google Play, o app para macOS tem assinatura ad hoc e é bloqueado pelo Gatekeeper até você remover a marca de quarentena, e o Windows não tem versão binária. No Windows, os 27.7 tok/s do 35B vêm de uma máquina de 48 GB em que os pesos ficam na RAM, e a própria comparação da equipe coloca suas modificações no mesmo nível do llama.cpp original.
Frente ao Janas, o rival mais próximo, os dois quase não se sobrepõem. O Janas roda famílias Qwen, Gemma e Llama convertidas de GGUF em Linux e Windows x86-64, escrito por um único autor que ainda não pode incorporar código externo; o edge0 roda dois modelos em Apple Silicon e celulares, com 14 colaboradores e pull requests externos incorporados, entre eles o de tool calling. Nenhum dos dois foi medido no hardware do outro, e ambos publicam principalmente números próprios. Quem está por trás da Edge0 é menos claro do que o código: a organização no GitHub, criada em julho de 2026, informa os Estados Unidos como localização, os cinco autores do artigo têm nome, e o site vende modelos on-device para fones de ouvido, óculos, brinquedos e robôs, mas sua página Sobre retornou um 404 quando verificamos. Os 1.370 forks contra cerca de 8.800 estrelas são uma proporção mais alta que os 44 contra 548 do Janas; os números sozinhos não dizem por quê.
Onde ele se destaca
Um desenvolvedor com um Mac mini M4 Pro de 24 GB
Rodar um modelo da classe 35B localmente e manter a maior parte da memória livre para outros trabalhos
Instale o pacote python, baixe o checkpoint Edge0-35B-A3B-preview de 23 GB e rode edge0 serve edge0-35b para ter um endpoint compatível com OpenAI em 127.0.0.1:8000. O README relata 14.9-17.7 tok/s com pico de alocador de 2.9 GiB; as primeiras respostas são mais lentas enquanto os especialistas saem do SSD, e as requisições são atendidas uma por vez.
Um engenheiro mobile em uma startup de apps de consumo
Prototipar chat offline em um iPhone 16 Pro ou em um dispositivo Android Snapdragon 8 Elite de 16 GB
Compile o app iOS no Xcode com o seu próprio bundle ID e o modelo embutido (cerca de 20 GB para o 35B), ou instale manualmente o APK 0.1.1 e importe um GGUF convertido. A equipe relata 6.4 tok/s para o 35B no iPhone e 6-9 tok/s no tablet Android; nenhum dos apps está em uma loja, então isto é um teste de viabilidade, não um produto.
Um CTO em uma empresa de 20 pessoas avaliando um assistente privado nos Macs da equipe
Decidir se é seguro construir sobre os modelos do edge0
A Apache 2.0 no código e nos pesos, sobre bases licenciadas em Apache 2.0 (Qwen) e MIT (Ling), permite uso comercial. Os riscos são de maturidade: checkpoints de prévia que o card considera fracos no uso de ferramentas, um framework unificado ainda previsto para o 4º trimestre de 2026 e um servidor de uma requisição por vez, então reserve um Mac por usuário simultâneo e novos testes quando o framework chegar.
Antes de decidir
- Configuração
- Python 3.10 ou superior (3.12 recomendado) em um Mac M1 ou posterior: faça pip install da pasta python, baixe um checkpoint (cerca de 23 GB para o 35B, 4.2 GB para o 8B) e rode edge0 demo. O app para macOS precisa do macOS 14 em M3 ou posterior; o Android precisa de arm64 e Android 13; o Windows é compilado a partir do código-fonte com Visual Studio 2022, o Vulkan SDK, Rust e Node, cerca de 10-20 minutos para o motor.
- Integrações
- O edge0 serve e o daemon do macOS expõem um /v1/chat/completions compatível com OpenAI com tool calling, além de uma API Python no estilo do transformers (AutoEngine). Os motores para Android e Windows são o llama.cpp fixado em b11100 com as modificações do edge0; o Windows atende pelo llama-server no loopback.
- Dados e privacidade
- Roda localmente depois do download do Hugging Face ou do ModelScope; o app para macOS guarda modelos, chats e logs em ~/.edge0, e os servidores se vinculam a 127.0.0.1, com um bearer token exigido para acesso pela LAN no macOS. Nenhuma telemetria é descrita. Código e modelos são Apache 2.0; as bases são o Qwen3.6-35B-A3B (Apache 2.0) e o Ling-3.0-tiny-base (MIT).
- Custo em escala
- Não há edição paga, então o custo é hardware: a referência é um Mac mini M4 Pro de 24 GB, e o M2 de 16 GB do artigo roda o 35B a 6.4 tok/s. O motor atende uma requisição por vez, então mais usuários simultâneos significam mais máquinas.
- Limites
- Só os dois checkpoints da Edge0 estão registrados; outra família de modelos precisa de um adaptador mais suas próprias cabeças de prerouter treinadas e LoRA, e não encontramos código de treinamento no repositório. Ainda não há build para CUDA ou Linux, o uso de agentes e ferramentas é fraco segundo o model card, e o framework unificado previsto para o 4º trimestre de 2026 pode mudar as interfaces.
O que é bom
- Perda de qualidade publicada por benchmark: 79.2 contra 83.2 no 35B
- MoE de 35B a 14.9-17.7 tok/s em um Mac mini de 24 GB, segundo o README
- Apps nativos para macOS, iPhone, Android e Windows, mais um servidor compatível com OpenAI
- Apache 2.0 para código e modelos; pull requests externos são incorporados
O que não é
- Roda só os seus dois checkpoints de prévia; sem código de treinamento no repositório para adaptar outros
- O framework Python é só para Apple Silicon; CUDA e Linux ainda são promessas
- Os números de velocidade são quase todos autodeclarados
- Os apps só podem ser instalados manualmente: IPA sem assinatura, APK fora do Google Play, app para Mac com assinatura ad hoc
Ideal para
Donos de Apple Silicon com 16 a 24 GB que querem um modelo da classe 35B localmente, e desenvolvedores mobile testando chat no dispositivo em celulares recentes, que aceitem modelos de prévia.
Alternativas ao edge0
edge0: perguntas frequentes
- edge0 vale a pena?
- Uma forma cuidadosa e bem documentada de fazer um modelo de 35B caber em um Mac de 24 GB ou em um celular, mas ele roda só dois modelos de prévia escolhidos pelos seus criadores, e quase todos os números de velocidade são deles mesmos. Damos nota 3.6 de 5.
- Quanto custa edge0?
- Gratuito e de código aberto sob Apache 2.0, modelos incluídos. Não há edição paga.
- Quais são as desvantagens de edge0?
- Roda só os seus dois checkpoints de prévia; sem código de treinamento no repositório para adaptar outros; o framework Python é só para Apple Silicon; CUDA e Linux ainda são promessas; os números de velocidade são quase todos autodeclarados; os apps só podem ser instalados manualmente: IPA sem assinatura, APK fora do Google Play, app para Mac com assinatura ad hoc.
- Para quem edge0 é indicado?
- Donos de Apple Silicon com 16 a 24 GB que querem um modelo da classe 35B localmente, e desenvolvedores mobile testando chat no dispositivo em celulares recentes, que aceitem modelos de prévia.
- Quanto custa edge0 para uma equipe ou em produção?
- Não há edição paga, então o custo é hardware: a referência é um Mac mini M4 Pro de 24 GB, e o M2 de 16 GB do artigo roda o 35B a 6.4 tok/s. O motor atende uma requisição por vez, então mais usuários simultâneos significam mais máquinas.
- edge0 é seguro para dados da empresa?
- Roda localmente depois do download do Hugging Face ou do ModelScope; o app para macOS guarda modelos, chats e logs em ~/.edge0, e os servidores se vinculam a 127.0.0.1, com um bearer token exigido para acesso pela LAN no macOS. Nenhuma telemetria é descrita. Código e modelos são Apache 2.0; as bases são o Qwen3.6-35B-A3B (Apache 2.0) e o Ling-3.0-tiny-base (MIT).
- Quais são as melhores alternativas ao edge0?
- As alternativas mais próximas que analisamos são Janas, llama.cpp, MLX e Ollama.
Respostas verificadas em 31 de out. de 2026.