Descrição da ferramenta: OpenClaw LLM Proxy atua como intermediário entre aplicações e provedores de modelos de linguagem, realizando filtragem de PII, detecção de ataques e gerenciamento de rotas, garantindo segurança e controle nas chamadas de API.
Atributos:
🛡️ Segurança: Detecta PII, ataques de injeção e leaks em todas as comunicações com os modelos.
🔄 Roteamento: Distribui solicitações entre seis provedores diferentes, otimizando o uso dos modelos.
📊 Monitoramento: Oferece métricas via Prometheus para acompanhamento do desempenho e uso.
⚙️ Configuração: Compatível com Helm chart para implantação simplificada em ambientes Kubernetes.
💾 Caching: Armazena respostas para melhorar a eficiência e reduzir custos nas chamadas subsequentes.
Exemplos de uso:
📝 Análise segura de prompts: Filtra informações sensíveis antes do envio ao modelo.
🌐 Gerenciamento multi-backend: Roteia solicitações entre OpenAI, Anthropic, Google, Ollama e vLLM conforme o prefixo do modelo.
🔍 Auditoria de dados: Registra tentativas de vazamento ou ataques para análise posterior.
📈 Acompanhamento de uso: Monitora gastos por equipe e gera relatórios detalhados.
🚀 Padrões automatizados: Implanta regras personalizadas para bloqueio ou redaction automática das chamadas API.