As métricas que realmente importam em modelos preditivos

Em cenários de fraude, inadimplência ou eventos climáticos extremos, a classe de interesse costuma representar menos de 5% dos casos. Um modelo que sempre responde “não” alcança 95% de accuracy e é completamente inútil.

A pergunta correta não é “quantos acertos?”, mas “qual erro custa mais caro?”. Um falso negativo em previsão de alagamento significa uma cidade sem alerta; um falso positivo significa uma mobilização desnecessária. Os pesos são muito diferentes.

Quando o falso negativo é o erro caro, otimize Recall. Quando o falso positivo consome recursos escassos ou desgasta a confiança do usuário, otimize Precision. O F1-Score é o equilíbrio quando os dois pesam de forma semelhante.

ROC AUC continua sendo a melhor leitura da capacidade de separação do modelo, independente do limiar. Já a definição do limiar é uma decisão operacional — e deve ser revisada junto com quem opera o processo, não isolada no notebook.

A matriz de confusão traduzida em unidades de negócio muda a conversa: em vez de “Recall de 0,78”, o time enxerga “22 ocorrências não detectadas por mês”. Essa tradução é o que sustenta a decisão de subir ou não o modelo para produção.