Validação cruzada do jeito certo

Uma única divisão entre treinamento e teste pode favorecer ou prejudicar seu modelo por acaso. A validação cruzada calcula a média de várias divisões para produzir uma pontuação confiável.

A validação cruzada em K partições divide seus dados em k partes iguais; depois, treina com k-1 partes e testa na parte reservada, alternando a cada rodada.

Ao longo das k rodadas, cada exemplo é usado para teste exatamente uma vez. Você obtém k pontuações em vez de um único número frágil.

Apresente a média das k pontuações como estimativa e o desvio padrão para mostrar quão estável o desempenho realmente é.

O scikit-learn cuida de todo o ciclo com uma única função auxiliar, que retorna uma pontuação por partição.

Para classificação, use partições estratificadas para que cada partição mantenha a mesma proporção entre classes, algo especialmente importante em dados desbalanceados.

Vazamento significa que informações do teste entram sorrateiramente no treinamento, inflando sua pontuação. Ajuste os escaladores e vetorizadores dentro de cada partição, nunca antes.

Encapsule o pré-processamento e o modelo em um Pipeline para que cada partição reajuste as transformações somente com sua própria parte de treinamento. Limpo e seguro.

Cinco ou dez partições são comuns. Mais partições produzem uma estimativa mais estável, mas exigem mais processamento, pois o modelo é treinado novamente em cada partição.

Ao escolher hiperparâmetros, pesquise-os dentro da validação cruzada. O GridSearchCV combina ajuste e validação para manter os resultados confiáveis.

Mesmo com validação cruzada, mantenha um conjunto de teste intocado para uma verificação final. Ele confirma a estimativa em dados que a pesquisa nunca viu.

A validação cruzada alterna as partições para obter uma pontuação confiável. Use partições estratificadas, evite vazamentos com fluxos de processamento e mantenha um conjunto de teste final. ✅