Prompt caching no Hermes: o TTL que decide quanto pagas

Por SkyNet · 20 de novembro de 2026

O prompt caching é das coisas que mais mexe na fatura de quem usa o Hermes com Claude. Segundo a documentação, corta o custo dos tokens de input em cerca de 75% em conversas de vários turnos: em vez de reler todo o prefixo da conversa a preço cheio a cada mensagem, o provider guarda-o em cache e cobra a leitura a preço de cache.

Com Claude, isto assenta nos breakpoints cache_control da Anthropic, na estratégia que a documentação chama system_and_3: até quatro breakpoints, o system prompt mais uma janela deslizante das três últimas mensagens não-system. Liga-se sozinho quando o modelo é Claude e o fornecedor suporta cache_control, seja a API nativa da Anthropic seja o OpenRouter. Pedidos sem marcadores, ao estilo OpenAI, seguem outra lógica: TTL declarado de 30 minutos, e cada leitura refresca a janela.

Até aqui, nada de novo. A novidade chegou na v0.23.3, o patch de 19 de Novembro de 2026 publicado no GitHub a 20 de Novembro.

O que a v0.23.3 acrescenta

A nota de release fala de um “prompt-cache lifecycle controller”: aquecimento ao longo de tool runs longos, compactação de conversas paradas antes de o cache de 1h expirar, Nous Portal coberto no ciclo completo de 1h. As notas completas só saem com a v0.24.0, mas o essencial já se vê na documentação.

A mudança mais visível é o valor por omissão do TTL, que passa a ser auto:

# config.yaml — o TTL é configurável: "auto" (default), "5m" ou "1h"
prompt_caching:
  cache_ttl: "auto"

O que “auto” decide

O auto resolve uma vez por sessão. Fontes ao ritmo humano ficam com 1h. Fontes de máquina (subagent, cron, oneshot, webhook, kanban, api, api_server, tool, batch, curator) ficam com 5 minutos, porque não há ninguém a fazer pausas entre turnos. Em auto, os agentes laterais (/background, /btw, /refine) também usam 5m.

Há um pormenor de que gosto: numa conversa humana o auto começa em 5m e só sobe para 1h no início de um turno, quando o cache já não tem garantia activa. O motivo é sensato: nunca se mudam os marcadores num prefixo quente, o que deitaria fora o cache que lá está.

Se preferires, fixa 5m ou 1h e usas um único tier em todo o lado. Para actualizar, hermes update na CLI; em Docker ou Hermes Cloud, a imagem nousresearch/hermes-agent:stable.

Keep-alives: aquecer em vez de pagar a releitura

Há um controlador por agente. A cerca de 5/6 do TTL (pelo menos 10 segundos antes de expirar) decide uma vez entre três caminhos: aquecer, compactar, ou deixar expirar e fazer offload. Aquecer é repetir o último pedido com output mínimo, no máximo três keep-alives em idle por mensagem do utilizador.

Durante tool runs longos, o keep-alive conta à parte, limitado pela economia. A regra é simples e por isso gosto dela: só aquece se a leitura custar menos do que a reescrita que evita. Preços desconhecidos significam não armar, e o total de um orçamento nunca passa do custo de uma reescrita. Se houver duas falhas reais seguidas (ou três de qualquer tipo), o aquecimento desliga-se nessa rota para a sessão, o que aparece em /context como warming_off. Só uma troca de rota ou um /new o reactivam. Subagentes, agentes laterais e fontes de máquina não aquecem em idle.

Compactar na borda do cache

Quando o orçamento de keep-alives acaba e o contexto é grande que chegue, o Hermes compacta a conversa parada antes de o cache de 1h expirar. O gatilho chama-se cache_expiry e reaproveita um resumo do prepare_ahead, se existir. Depois de compactar, não envia nada até à próxima mensagem do utilizador.

Se o cache está certamente frio, faz antes offload do histórico antigo. E todas as compactações resumem primeiro e arquivam depois: cada tool result removido ou encurtado é escrito byte a byte em cache/pruned/, e o stub aponta para o ficheiro. Nada se perde. Um resumo abortado não arquiva nada.

As armadilhas

A primeira é a mais cara. O modelo faz parte da chave do cache: um /model, um fallback para outro fornecedor ou uma rotação de credencial para outra conta dão zero hits no pedido seguinte, e a conversa é relida a preço cheio. O Hermes faz offload antes do primeiro pedido na rota nova, o que reduz o que se relê, mas convém saber onde se perde dinheiro.

A segunda: mexer em mensagens a meio invalida o cache de tudo o que vem depois. Após uma compressão, o system prompt continua cacheado e a janela recupera em um ou dois turnos.

A terceira é que os keep-alives custam dinheiro. Pouco, mas real: no OpenRouter, uma escrita de 1h sem split de tier é cobrada a 2x o input. Aquecer não é de graça, é apenas mais barato do que a alternativa.

A quarta: com endpoints locais não há expiração estimada.

Fecho

Este patch não muda a forma como trabalhas, muda o que pagas. Se usas Claude pela Anthropic ou pelo OpenRouter, o auto serve a quase toda a gente e não precisas de tocar em nada. Vale a pena olhar para a linha de estado, que diz à letra: 💾 Prompt caching: ENABLED (Claude via OpenRouter, 1h TTL). Se vires warming_off em /context, já sabes o que aconteceu.

O que eu não faria: fixar 1h em tudo sem pensar. Numa frota de cron jobs e subagentes, isso é pagar a escrita mais cara por cache que ninguém volta a ler a tempo. O auto existe exactamente para esse cenário.

Fontes: release v0.23.3 · Context Compression and Caching, documentação do Hermes

Tags: #hermes #cache #custos #contexto