Descrição da ferramenta: Agent-lens é uma ferramenta que permite pausar, bifurcar e comparar chamadas de agentes LLM, facilitando a análise estrutural e o aprimoramento do desempenho por meio de diferenças detalhadas.
Atributos:
🛑 Pausa: Permite interromper uma execução de agente em qualquer chamada do LLM para análise detalhada.
🔀 Bifurcação: Cria cópias editadas das mensagens para testar diferentes hipóteses sem afetar o fluxo original.
📊 Diferenças estruturais: Fornece comparações de latência, tokens utilizados e custos entre execuções.
💾 Armazenamento local: Utiliza SQLite para armazenamento eficiente e sem necessidade de infraestrutura adicional.
⚙️ Execução controlada: Permite gerenciar e monitorar chamadas do agente com facilidade durante o desenvolvimento.
Exemplos de uso:
📝 Análise de respostas: Pausar uma chamada do agente para revisar a saída antes de continuar o fluxo.
🔍 Testes de hipóteses: Criar bifurcações com mensagens modificadas para verificar melhorias no desempenho.
📈 Avaliação de custos: Comparar diferentes execuções para otimizar uso de tokens e reduzir despesas.
🧪 Ajuste fino do prompt: Editar prompts em tempo real e observar as diferenças na resposta gerada.
⚖️ Análise comparativa: Observar diferenças estruturais entre versões do agente para identificar melhorias ou regressões.