Ajustando a força da regularização

Com milhares de atributos de palavras, um modelo pode memorizar peculiaridades do conjunto de treinamento. A regularização impede que ele persiga esse ruído. 🧯

A regularização acrescenta uma penalidade para coeficientes grandes. O modelo precisa justificar cada peso elevado, portanto permanece mais simples e generaliza melhor.

No scikit-learn, você controla a intensidade com C. Ele é o inverso da regularização, portanto um valor menor de C significa uma penalidade mais forte.

Um C muito pequeno reduz fortemente os pesos em direção a zero. O modelo se torna muito simples, o que pode causar subajuste e fazer com que ele não capture sinais reais.

Um C grande enfraquece a penalidade e permite que os pesos aumentem. O modelo se ajusta de perto aos dados de treinamento, mas corre o risco de sofrer sobreajuste.

A penalidade padrão L2 reduz suavemente todos os pesos. Ela é um ponto de partida seguro para a maioria dos problemas de classificação de texto.

Usar a penalidade L1 zera muitos coeficientes, realizando seleção de características e produzindo um modelo mais esparso e simples.

Não tente adivinhar C manualmente. Use a validação cruzada para testar vários valores e escolher aquele que obtiver a melhor pontuação nas partições reservadas para validação.

GridSearchCV testa cada valor de C, executa a validação cruzada e informa o vencedor. Varra C usando potências de dez para fazer uma primeira busca rápida.

Depois do ajuste, best_params_ mostra o valor de C vencedor. O modelo correspondente está pronto para uma avaliação honesta no seu conjunto de teste.

O objetivo é encontrar um equilíbrio: liberdade suficiente para aprender e penalidade suficiente para generalizar. Esse ponto ideal produz a melhor pontuação em textos que o modelo ainda não viu.

A regularização combate o sobreajuste, e C define sua intensidade de forma inversa. Ajuste C com validação cruzada para encontrar o ponto ideal de equilíbrio. ✅