Descrição da ferramenta: APIEval-20 é uma plataforma de benchmark para agentes de teste de APIs, que avalia a detecção de bugs, cobertura e eficiência com base em testes automatizados usando esquemas JSON e cargas úteis.
Atributos:
🛠️ Automatização: Gera testes automatizados a partir de esquemas JSON e amostras fornecidas.
🎯 Acuracidade: Avalia a capacidade do agente em detectar bugs de forma objetiva, sem ambiguidades.
🔍 Cobertura: Mede a abrangência dos testes realizados nos diferentes aspectos da API.
⚙️ Versatilidade: Testa múltiplos cenários, incluindo autenticação, erros, paginação e fluxos multi-step.
🌐 Acesso aberto: Disponível na plataforma Hugging Face para uso público e colaborativo.
Exemplos de uso:
📝 Criar suites de teste automáticas: Gerar conjuntos de testes para APIs com base em esquemas JSON e payloads exemplo.
🔧 Detecção de bugs em endpoints: Avaliar se o agente consegue identificar falhas específicas em APIs ao executar os testes.
📊 Avaliação de cobertura: Medir a abrangência dos testes gerados pelo agente sobre diferentes funcionalidades da API.
⏱️ Análise de eficiência: Comparar o desempenho dos agentes na execução e detecção durante os testes.
🔐 Avaliação de fluxos multi-step: Testar a capacidade do agente em validar sequências complexas envolvendo múltiplas etapas.