Visão no Hermes: colar imagens no terminal e escolher quem as vê
Por SkyNet · 14 de novembro de 2026
O Hermes, da Nous Research, vive no terminal, e o terminal é, por natureza, um sítio onde as imagens não entram com facilidade. Um screenshot de erro, uma tabela que só existe num PDF, um gráfico com números que ninguém quer transcrever. O CLI aceita imagens do clipboard, mostra-as como badge acima do input e encaminha-as. A colagem é a parte fácil; o que interessa é o encaminhamento entre modelos e o preço de cada imagem numa sessão longa.
Colar: /paste, Ctrl+V e o resto
Cada imagem aparece como [📎 Image #1] acima do input e podes anexar várias antes de enviar; Ctrl+C limpa as pendentes. Ficam em ~/.hermes/images/ como PNG com timestamp e vão para o modelo como bloco base64 no formato OpenAI image_url (data:image/png;base64,...).
/paste é o método explícito e o mais fiável: vai ao clipboard e anexa. Usa-o quando o terminal reescreve Ctrl+V/Cmd+V ou quando o clipboard só tem a imagem.
Ctrl+V e Cmd+V funcionam em camadas: texto normal primeiro, fallback de texto pelo clipboard nativo ou OSC52, imagem ou caminho de imagem anexados a seguir. Caminhos temporários de screenshots do macOS e URIs file://... entram logo. Se o clipboard só tiver a imagem, o terminal não envia bytes binários: é /paste.
A razão é estrutural: terminais são texto, o bracketed paste só leva texto e não há escape padrão para binário. O Hermes lê o clipboard chamando ferramentas do SO por subprocess.
# macOS: osascript de série; pngpaste é opcional
brew install pngpaste
# Linux, X11
sudo apt install xclip # Arch: pacman -S xclip
# Linux, Wayland
sudo apt install wl-clipboard
# WSL2: powershell.exe, sem instalar nada
# WSLg: tenta PowerShell, depois wl-paste; BMP para PNG
# com Pillow ou ImageMagick convert
echo $XDG_SESSION_TYPE # wayland, x11 ou tty
/terminal-setup instala bindings workbench.action.terminal.sendSequence (Cmd+Enter, Cmd+Z, Shift+Cmd+Z) nos terminais integrados do VS Code, Cursor e Windsurf, locais e no macOS. Só na máquina local, nunca por SSH.
Quem vê o quê: agent.image_input_mode
Sem configurar nada, o Hermes já acerta: modelo com visão recebe pixels nativos; modelo só-texto, como DeepSeek V4 Pro ou DeepSeek V3, recebe uma descrição feita por um modelo auxiliar via vision_analyze. A decisão vem da metadata do provider e trocar de modelo a meio da sessão não a estraga. Para mandar, há agent.image_input_mode no config.yaml:
agent:
image_input_mode: auto # auto | native | text
auto: nativo com visão, descrição sem ela. É o default.native: sempre pixels, mesmo que o catálogo diga só-texto.text: sempre descrição viavision_analyze, nunca pixels no pedido principal.
Detalhe fácil de esquecer: configurar auxiliary.vision explícito (provider diferente de auto, ou model/base_url) também força a descrição, mesmo com modelo principal com visão. O caso típico é o openai-codex, que responde a imagens com server_error; a saída é apontar auxiliary.vision a outro provider com visão, não mudar o modelo principal.
Custos: o preço de uma imagem na sessão
Cada embed nativo fica no resultado da ferramenta e é reenviado em todas as chamadas seguintes da sessão. Uma imagem grande não custa uma vez, custa em cada turno. Daí os dois botões:
vision:
embed_target_bytes: 262144 # orçamento por embed, 64 KiB a 4 MiB (default 256 KiB)
max_calls_per_image: 3 # omitido: 3 nos subagentes, ilimitado no principal; 0 = ilimitado
Imagens acima do orçamento, ou com mais de 1568 px de largura, são reduzidas para JPEG. Screenshots de telemóvel com tabelas densas podem ficar ilegíveis a 256 KB: se o modelo disser que não lê, sobe para 1048576.
max_calls_per_image conta recortes da mesma imagem e compara caminhos locais resolvidos. No limite, devolve vision_analyze refused: this image has already been loaded into context N time(s) …. Zero é ilimitado. O cap nos subagentes não é paranóia: correm sem supervisão e um loop de recarga gastou 158 chamadas em cinco ficheiros.
Follow-ups: voltar à imagem anterior
Antes, um follow-up era um palpite. A base de dados guarda as mensagens como texto, com uma linha [screenshot] por imagem; o histórico reconstruído (API server com X-Hermes-Session-Id, hermes chat --resume, reinício do gateway) mostrava só o placeholder, e perguntar sobre a foto anterior dava direito a uma invenção. O replay resolve isso:
vision:
replay_recent_images: 3 # default; 0 = nunca reenviar
Usa a cópia já guardada em cache/documents/native-inputs/ do perfil, não guarda nada novo, e a mensagem reenviada é byte-idêntica, pelo que a cache de prompt do provider continua válida. A saída é em lotes, para não reescrever o histórico a cada foto: com 3, reenvia as 3 a 5 mais recentes, e a cada terceira imagem nova cai de uma vez o lote mais antigo. No gateway a cópia é removida ao fim de 24 h, por isso um follow-up no dia seguinte volta a ver [screenshot]. URLs remotos não são reenviados; com image_input_mode: text ou modelo sem visão, não se reenvia nada. Valor inválido dá warning e desliga o replay.
Onde falha: SSH e SVG
SSH é o primeiro muro: o clipboard lido é o da máquina remota, logo colar não funciona. Alternativas: copiar o ficheiro (scp, explorador do VS Code) e referir pelo caminho; colar um URL, que o agente analisa com vision_analyze; ssh -X, que põe o xclip remoto a ler o clipboard X11 local, mas é lento para imagens grandes; ou mandar por Telegram, Discord, Slack ou WhatsApp. A docs dá um /attach <filepath> como planeado para uma versão futura; por agora não existe.
SVG é o segundo. Backends Responses como o openai-codex só aceitam JPEG, PNG, GIF e WebP inline; outro formato faz rejeitar o pedido inteiro e, como fica no histórico, todos os turnos seguintes falham. O Hermes rasteriza SVG para PNG se encontrar cairosvg, svglib+reportlab, rsvg-convert ou inkscape. Sem rasterizador, SVG, BMP e TIFF viram [image omitted: image/svg+xml is not a supported image format] e as restantes imagens seguem.
No fundo, o que interessa não é colar. É a decisão ser reversível a meio da sessão e o custo ter travões com nome. Se usas um backend Responses, instala um rasterizador ou mantém os SVG fora da conversa. O resto testa-se com um screenshot a sério e vê-se se o modelo lê ou inventa.
Tags: #hermes #visao #imagens #custos