Descrição da ferramenta: Torrix é uma ferramenta de observabilidade para modelos de linguagem autohospedados, que monitora chamadas, tokens, custos e latência sem necessidade de alterações no código ou envio de dados para a nuvem.
Atributos:
🔒 Privacidade: Mantém todos os dados dentro da infraestrutura do usuário, garantindo confidencialidade.
⚙️ Facilidade de Integração: Requer apenas duas linhas de Python ou roteamento HTTP simples, sem mudanças complexas no código.
📊 Monitoramento Completo: Registra tokens, custos, latência e rastreamento completo do prompt em tempo real.
🌐 Compatibilidade Ampla: Funciona com diversas APIs como OpenAI, Anthropic, Azure e outras via HTTP.
🆓 Edição Comunitária: Disponível gratuitamente para uso contínuo na versão community.
Exemplos de uso:
💻 Integração Simples: Adicionar o monitoramento a aplicações existentes com poucas linhas de código Python.
📈 Análise de Custos: Monitorar gastos por token em chamadas a diferentes provedores de IA.
⏱️ Avaliação de Latência: Medir o tempo gasto em cada chamada para otimizar desempenho.
🔍 Acompanhamento Detalhado: Observar o trace completo do prompt para depuração avançada.
🌐 Sistema Híbrido: Integrar múltiplas APIs HTTP sem alterar a infraestrutura atual.