Divida as métricas por segmento e coorte

Um modelo com 95% de exatidão geral ainda pode falhar gravemente para um grupo. A média esconde pontos com desempenho ruim. 🕵️

Um recorte é um subconjunto dos seus dados que compartilha alguma característica: uma região, um tipo de dispositivo, uma faixa etária ou uma categoria de produto.

Um segmento agrupa por um valor de atributo, como o país. Uma coorte agrupa por um evento compartilhado no tempo, como usuários que se cadastraram em março passado.

Em vez de um único número de exatidão, calcule a métrica por recorte e compare. Um groupby do pandas permite fazer isso rapidamente.

Quando um recorte tem uma pontuação muito abaixo dos demais, você encontrou um ponto fraco que a métrica principal estava encobrindo silenciosamente.

Um recorte com pouquíssimas amostras produz uma métrica instável. Defina um tamanho mínimo antes de confiar nesse número.

Comparar recortes entre grupos sensíveis revela diferenças de equidade, como um grupo demográfico receber previsões consistentemente piores.

A deriva pode atingir primeiro apenas um recorte. Acompanhar a deriva por segmento detecta uma mudança entre usuários de dispositivos móveis antes que ela se espalhe por toda parte.

Verificar recortes manualmente não é escalável. As ferramentas de busca de recortes examinam muitos subconjuntos e sinalizam os que têm pior desempenho.

Acompanhar uma coorte durante semanas mostra se o modelo se deteriora para usuários mais recentes à medida que o comportamento deles diverge do comportamento dos antigos.

Um recorte problemático aponta para uma solução: coletar mais dados, adicionar um atributo ou treinar um modelo específico para o segmento desse grupo.

Divida as métricas por segmento e coorte para encontrar pontos fracos ocultos, diferenças de equidade e sinais iniciais de deriva que a média esconderia. ✅