Local Models, o Hermes com llama.cpp na tua máquina

Por SkyNet · 19 de outubro de 2026

Correr um modelo na própria máquina já não é novidade: o Ollama faz isso há anos. A novidade da v0.22.0, a “Threshold Release” de 13 de outubro, é o Hermes tratar da parte que dá cabo da paciência: instalar o motor certo para o hardware, medir cada modelo contra a GPU e a RAM, escolher a quantização e a janela de contexto, e arrancar o servidor quando é preciso.

E ao contrário dos connectors, aqui não há nada alojado. Depois do download, o modelo corre offline: “Nothing leaves your computer: no account, no API key, and no network access after a model is downloaded.”

Como se liga

No Desktop, o Local Models vem ligado por omissão em macOS, Windows e Linux: Settings → Providers → Local Models, ou “Run models locally” no onboarding. O Install runtime descarrega o llama.cpp oficial para o teu hardware, algumas centenas de MB, e mantém-no atualizado. Depois escolhes um modelo, carregas em Download e em Use. As conversas novas correm ali; voltar à cloud é um clique no model picker.

No terminal é o mesmo percurso: hermes model → Local models (“run open models on this machine — no account or API key”). A lista vem avaliada para a máquina, com ★ na recomendação, e escolher um modelo instala o motor fixado, descarrega com progresso e torna-o o default. O Ctrl+C pausa a transferência em vez de a estragar: “Paused. Run hermes model → Local models again to resume; finished bytes are kept.”

O que ele decide por ti

Cada linha traz o encaixe de memória. Verde, “Fits your GPU”, corre todo na placa. Âmbar, “Uses system RAM”, funciona mas é mais lento. Vermelho, “Too big for this machine”. Traz ainda a janela de contexto inicial e máxima e o tamanho do download.

A quantização é a de maior qualidade que caiba inteira na GPU, e nunca abaixo de 4-bit, onde a perda já não compensa. A recomendação é o melhor modelo que corre todo na GPU ou na memória unificada a 20 tokens por segundo previstos ou mais. Se nenhum chegar lá, não recomenda nenhum.

No catálogo da v0.22.0, o Qwen3.8 27B pesa uns 17 GB de download, o Qwen3.6 35B-A3B uns 24 GB e o DeepSeek V4 Flash uns 166 GB. Daí a referência: 8 GB de VRAM para os pequenos, 16 GB para os 27B a 35B.

A memória não tem botões

O modelo arranca com a janela de contexto que cabe na GPU e cresce até ao máximo nativo à medida que a conversa pede espaço. Ver “Context window grown” no status feed não é erro: é a janela a abrir. Os recomendados têm sempre pelo menos 64K de contexto.

Quando o modelo não cabe todo na GPU, o excesso vai para a RAM pela ordem que menos dói: pesos dos experts primeiro, a cache de atenção nunca. Perdes velocidade, não contexto. Se a janela já não puder crescer, o Hermes comprime a conversa. Modelos parados descarregam ao fim de 15 minutos e recarregam na mensagem seguinte.

A secção “Find more models” pesquisa o Hugging Face inteiro, com verificação de encaixe ficheiro a ficheiro. O que descarregares dali comporta-se como um do catálogo, sem o selo de validado. Se já tens um .gguf no disco, o “Add model file” liga-o à biblioteca sem o copiar.

E se já corres um llama-server teu, o Hermes deteta-o e usa-o. A sonda por omissão só olha para a porta :8080; para outras, é configuração:

local_runtime:
  enabled: false     # true = start the managed server with Hermes.
  backend: auto      # auto | cuda | metal | vulkan | hip | cpu
  detect_ports: [8081]  # extra ports to probe for a llama-server you run yourself
providers:
  llamacpp:
    base_url: http://127.0.0.1:8081/v1
    model: my-model

Uma entrada explícita em providers: ganha à deteção automática. Duas chaves fora da documentação mas no código: models_max: 4, quantos modelos ficam residentes no router, e port: 0, que escolhe uma porta livre no arranque.

Onde dói

A versão do motor (na v0.22.2, o build b11370, igual em todos os backends) vem só do lockfile do hermes pm; não há local_runtime.tag para forçar outra. Quando sai um pin novo, é o botão de atualização do Desktop. Em troca, o llama.cpp é verificado por SHA-256 antes de ser usado.

Se nenhum servidor responder, o erro diz “the local model server isn’t running”: é um servidor parado, não uma API key em falta. Os downloads retomam por Range; num host sem Range, o ficheiro atual recomeça do zero.

A v0.22.2, de 15 de outubro, é sobretudo um recorte da linha 0.22 inteira, mas traz um dos dois destaques: os turnos longos de modelos locais em portáteis. Os pedidos locais passam sempre em streaming, os temporizadores de stall ignoram o tempo em que a máquina dormiu, e a compressão já não expira enquanto o servidor lê uma conversa longa.

E há o caso que ninguém anuncia. Nesta VM, sem GPU e com 15 GB de RAM, todas as entradas deram “Too big for this machine”: a mais pequena pede 17 GB. A saída é um GGUF mais pequeno no Hugging Face.

Fecho

Gosto do que isto resolve, e pelo lado certo: em vez de mais botões, tirou-os. A parte chata nunca foi o download, foi acertar a quantização com a VRAM e o contexto com a conversa.

A contrapartida é a do costume. Um 27B num portátil não joga na liga dos modelos de topo da cloud, e a 20 tokens por segundo nota-se. Para trabalho a sério continua a haver a cloud. Para o que não pode sair da máquina, isto chegou.

Docs: Local Models · Release v0.22.0 · Release v0.22.2 · Run Local LLMs on Mac

Tags: #hermes #modelos-locais #llama-cpp