Descrição da ferramenta: SchemaFit é uma ferramenta de CI que valida esquemas de saída estruturada de LLM, verificando compatibilidade com restrições específicas de provedores como OpenAI, Anthropic e outros, prevenindo erros em produção.
Atributos:
🛠️ Validação de Esquemas: Verifica JSON Schema, definições de ferramentas e response_format para conformidade.
🔍 Detecção de Problemas: Identifica keywords não suportadas, problemas de aninhamento e incompatibilidades.
⚙️ Compatibilidade Multiplataforma: Garante portabilidade entre diferentes provedores de LLMs.
🚫 Prevenção de Erros: Impede que esquemas inválidos avancem para produção, promovendo falhas em PRs.
📋 Conformidade com Regras: Assegura que os esquemas atendam às restrições específicas do provedor.
Exemplos de uso:
📝 Validação de Schemas: Checa se o JSON Schema atende às restrições do provedor antes do deploy.
🔧 Avaliação de Definições de Ferramentas: Verifica a conformidade das definições utilizadas na integração com LLMs.
✅ Cronograma CI/CD: Integra-se ao pipeline para validar esquemas automaticamente durante o build.
🚨 Aviso de Incompatibilidade: Detecta keywords não suportadas ou problemas de nesting em schemas novos ou atualizados.
🌐 Análise Cross-Provider: Testa a portabilidade dos esquemas entre diferentes plataformas como OpenAI e Cohere.