TF-IDF com scikit-learn
Vetorização de um corpus em poucas linhas.
TF-IDF com scikit-learn é uma aula grátis de NLP Academy no CoddyKit. Esta é a aula 3 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de NLP Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de NLP Academy inclui 4 aulas no total.
Não É Preciso Programar Tudo Manualmente
Você já entende a matemática; agora deixe o scikit-learn fazer o trabalho pesado. O TfidfVectorizer transforma documentos brutos em uma matriz ponderada com poucas linhas.
Importando o Vetorizador
Tudo fica no módulo feature_extraction.text. Importe o TfidfVectorizer e você estará pronto para vetorizar qualquer lista de textos.
from sklearn.feature_extraction.text import TfidfVectorizerSeu Corpus É uma Lista
Um corpus é simplesmente uma lista Python de textos, um para cada documento. Cada entrada contém o texto completo que você quer pontuar e comparar.
corpus = [
"the cat sat on the mat",
"the dog chased the cat",
]Ajustando e Transformando
Chame fit_transform para aprender o vocabulário e calcular o TF-IDF em uma única etapa. Ele retorna uma matriz esparsa de características ponderadas.
vec = TfidfVectorizer()
X = vec.fit_transform(corpus)
print(X.shape)O Que o Ajuste Aprendeu
A etapa de ajuste constrói o vocabulário e os valores de IDF a partir do seu corpus. Depois disso, o vetorizador conhece cada termo e o quanto ele é raro.
Inspecionando o Vocabulário
Você pode listar os nomes das características aprendidas para ver as colunas. get_feature_names_out mostra cada palavra na ordem do vocabulário. 🔎
print(vec.get_feature_names_out())A Saída É Esparsa
A maioria dos documentos usa apenas algumas palavras, então a matriz é composta principalmente por zeros. Por padrão, o scikit-learn a armazena como uma matriz esparsa que economiza memória.
Observando os Números Reais
Converta uma linha em uma matriz densa para ler os pesos de fato. Os preenchimentos próximos de zero e as palavras relacionadas ao tema ficam claramente destacados.
print(X.toarray()[0].round(3))Ajustando com Parâmetros
Opções úteis permitem descartar instantaneamente termos raros ou comuns. Defina min_df e stop_words para limpar o vocabulário enquanto você vetoriza.
vec = TfidfVectorizer(stop_words="english", min_df=2)Reutilizando em um Texto Novo
Faça o ajuste uma vez com os dados de treinamento e depois chame transform em documentos novos. O texto novo é mapeado para exatamente o mesmo vocabulário e a mesma escala de IDF.
new_docs = ["a new cat appeared"]
X_new = vec.transform(new_docs)Pronto para um Modelo
Essa matriz ponderada pode ser usada diretamente com qualquer classificador do scikit-learn. As características de TF-IDF são uma linha de base forte e rápida para tarefas reais de texto.
Verificação Rápida
Qual método aprende o vocabulário e calcula a matriz de TF-IDF ao mesmo tempo?
Recapitulação
Você importou o TfidfVectorizer, fez o ajuste com um corpus, inspecionou a saída esparsa e aprendeu a reutilizá-lo em textos novos. Agora a matemática cabe em uma única linha. ✅
Aprenda Python com um tutor de IA — grátis
Escreva e execute código real no seu navegador, obtenha ajuda instantânea de um tutor de IA 24/7 e continue de onde parou na web ou no app.
- Cursos
- 30
- Aulas
- 120
Perguntas Frequentes
A aula “TF-IDF com scikit-learn” é grátis?
Sim — o texto completo de “TF-IDF com scikit-learn” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de NLP Academy, atualize para CoddyKit PRO. O curso de NLP Academy inclui 4 aulas no total.
O que vou aprender em “TF-IDF com scikit-learn”?
Vetorização de um corpus em poucas linhas. Você pratica NLP Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar NLP Academy?
Nenhuma experiência prévia é necessária. NLP Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 3 de 4.
Quanto tempo leva a aula “TF-IDF com scikit-learn”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de NLP Academy?
Sim. Cada aula de NLP Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- O problema das contagens brutas
- Frequência do termo e frequência inversa de documentos
- TF-IDF com scikit-learn
- Encontrando as palavras mais importantes