Descrição da ferramenta: O TRI·TFM v3.0 Framework é uma estrutura de avaliação open-source para modelos de linguagem e sistemas RAG, que utiliza métodos matemáticos para garantir avaliações precisas e determinísticas, eliminando vieses comuns na mensuração de desempenho.
Atributos:
🧮 Matematicamente Provado: Baseia-se em fórmulas matemáticas rigorosas para assegurar a precisão das avaliações.
⚖️ Ponderação Dinâmica: Aplica uma matriz de peso variável para pontuar fatos, vieses e narrativas de forma determinística.
🔒 Determinismo: Garante resultados consistentes ao bloquear o parâmetro T=0.0 durante a avaliação.
🛠️ Código Aberto: Disponível na plataforma GitHub, permitindo customizações e melhorias colaborativas.
🎯 Foco em Métricas Precisão: Elimina “metric hallucination” ao aplicar critérios rigorosos na avaliação dos sistemas.
Exemplos de uso:
🔍 Avaliação de LLMs: Testar a precisão e viés de modelos de linguagem com métricas matematicamente fundamentadas.
📊 Análise comparativa: Comparar diferentes versões ou configurações de sistemas RAG usando critérios padronizados.
📝 Avaliação de Narrativas: Medir a fidelidade das narrativas geradas por modelos em relação aos fatos verificáveis.
⚙️ Customização de métricas: Adaptar pesos e parâmetros para avaliações específicas do projeto ou domínio.
🤖 Painel automatizado: Integrar o framework em pipelines automatizados para avaliações contínuas e confiáveis.