Descrição da ferramenta: Falsify é uma ferramenta CLI em Python que registra e verifica a precisão de alegações em Machine Learning usando hash SHA-256, garantindo integridade e autenticidade antes da execução do experimento.
Atributos:
🔒 Segurança: Utiliza hashing SHA-256 para assegurar a integridade das alegações de precisão.
⚙️ Facilidade de uso: Implementada como uma ferramenta de linha de comando simples e eficiente.
📝 Pré-registro: Permite registrar antecipadamente as alegações de precisão em ML.
🔄 Flexibilidade: Possibilidade de editar o limiar após o registro, controlando a validação.
🛡️ Integridade: Impede manipulações mecânicas na veracidade das alegações durante o processo.
Exemplos de uso:
💻 Alegação de precisão: Registrar uma alegação inicial sobre a acurácia do modelo antes do experimento.
🔍 Verificação pós-experimento: Confirmar se os resultados não foram alterados após a execução do treinamento.
⚠️ Avaliação automática: Integrar ao pipeline para bloquear tentativas de manipulação dos resultados.
📝 Edição de limiar: Ajustar o limite de validação após o registro para diferentes níveis de segurança.
🚀 Pilotos automatizados: Utilizar em scripts para garantir a autenticidade das alegações durante testes contínuos.