Modelos de linguagem (LLMs)

Modelos configurados

Modelos no LiteLLM
Nome no LiteLLM	Modelo no Ollama	Uso	Declara suporte a	Observações
`qwen-3.8-uncensored`	`ollama_chat/eriktonon/qwen3.8-uncensored:9b`	Uso geral	ferramentas	Confira a chamada de ferramentas com test_models_tools.py.
`gemma-4-uncensored`	`ollama_chat/eriktonon/gemma4-uncensored`	Uso geral	ferramentas	Confira a chamada de ferramentas com test_models_tools.py.
`dolphin3-cyber-8b`	`ollama_chat/mparvin/dolphin3-cyber-8b-gguf:q8_0`	Segurança e conversa livre	ferramentas	Confira a chamada de ferramentas com test_models_tools.py.
`deepseek-coder-v2:16b`	`ollama_chat/deepseek-coder-v2:16b`	Código (usado pelo GitOps)	ferramentas	O GitOps usa este modelo na etapa de análise de código.
`qwen3-vl-instruct`	`ollama_chat/qwen3-vl:8b-instruct`	Modelo padrão dos fluxos; entende imagens	ferramentas, imagens	Declara suporte a imagens no LiteLLM.
`bonsai-27b`	`ollama_chat/eriktonon/bonsai-2-uncensored:27b`	Modelo grande, respostas mais elaboradas	ferramentas	Confira a chamada de ferramentas com test_models_tools.py.

A coluna "Declara suporte a" vem do litellm_config.yaml; é o que o LiteLLM anuncia, não o resultado do teste. O resultado real de cada modelo se confere com venv/bin/python test_models_tools.py.

Como funciona

Todos usam o prefixo ollama_chat/, que chama o endpoint de chat do Ollama e suporta chamada de ferramentas. O prefixo ollama/ não suporta.
O modelo só chama ferramentas se o template dele no Ollama tiver suporte a ferramentas; o LiteLLM apenas declara. Quem decide é o teste (test_models_tools.py).
O contexto é de 8192 tokens (num_ctx) para todos.
Modelo padrão dos fluxos do n8n: qwen3-vl-instruct (muda com HEIMDALL_FLOW_MODEL no .env). O GitOps usa o deepseek-coder-v2:16b.
Embeddings: nomic-embed-text, para a base vetorial.

Como testar um modelo

Testa todos os modelos

venv/bin/python test_models_tools.py

Testa só os que têm 'qwen' no nome

venv/bin/python test_models_tools.py --only qwen

O teste faz duas etapas: a chamada (o modelo devolve uma chamada estruturada à ferramenta certa) e o ciclo (a ferramenta executa e a resposta final usa o resultado real). Chamada escrita como texto é reprovada.