Contare con CountVectorizer
Trasformare i documenti in una matrice dei conteggi
Contare con CountVectorizer è una lezione NLP Academy gratuita su CoddyKit. Questa è la lezione 3 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento NLP Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso NLP Academy include 4 lezioni in totale.
Presentiamo CountVectorizer
CountVectorizer di scikit-learn crea il vocabolario e conta le parole al posto Suo, con poche righe di codice. 🚀
from sklearn.feature_extraction.text import CountVectorizerCreare il vettorizzatore
Per prima cosa, crei un'istanza. Senza argomenti, utilizza valori predefiniti appropriati per tokenizzare e convertire il testo in minuscolo.
vectorizer = CountVectorizer()Fit apprende il vocabolario
La chiamata a fit analizza i documenti e individua ogni parola unica, creando automaticamente il vocabolario.
vectorizer.fit(docs)Transform produce i conteggi
Poi transform converte ogni documento nel relativo vettore dei conteggi, fornendo una matrice numerica delle frequenze delle parole.
X = vectorizer.transform(docs)Fit e transform insieme
La scorciatoia fit_transform esegue entrambi i passaggi contemporaneamente sul testo di addestramento, secondo il flusso di lavoro più comune.
X = vectorizer.fit_transform(docs)Visualizzare il vocabolario
Esamini le parole apprese e i relativi indici con get_feature_names_out. Queste sono le colonne della matrice.
print(vectorizer.get_feature_names_out())L'output è una matrice sparsa
Per risparmiare memoria, il risultato è una matrice sparsa che memorizza solo i conteggi diversi da zero, non ogni posizione vuota.
Dare un'occhiata ai numeri
Converta il risultato in un array denso per leggere effettivamente i conteggi. Utilizzi toarray solo per piccoli esempi.
print(X.toarray())La conversione in minuscolo è automatica
Per impostazione predefinita, converte il testo in minuscolo e lo suddivide sui confini delle parole, quindi The e the vengono conteggiati come lo stesso token.
Opzioni di pulizia integrate
Può passare stop_words, min_df o max_features per ridurre il vocabolario direttamente nel vettorizzatore.
CountVectorizer(stop_words="english", max_features=1000)Riutilizzarlo su nuovo testo
Non esegua mai nuovamente fit sui dati di test. Chiami solo transform, così i nuovi documenti utilizzeranno esattamente lo stesso vocabolario usato per l'addestramento.
X_new = vectorizer.transform(new_docs)Verifica rapida
Quale chiamata apprende il vocabolario e calcola i conteggi in un unico passaggio?
Riepilogo: CountVectorizer
Ha usato CountVectorizer per creare un vocabolario, trasformare il testo in conteggi, esaminare le caratteristiche e riutilizzarlo su nuovi dati. 🎉
Domande Frequenti
La lezione «Contare con CountVectorizer» è gratuita?
Sì — il testo completo di «Contare con CountVectorizer» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso NLP Academy, passa a CoddyKit PRO. Il corso NLP Academy include 4 lezioni in totale.
Cosa imparerò in «Contare con CountVectorizer»?
Trasformare i documenti in una matrice dei conteggi Eserciti NLP Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare NLP Academy?
Non è richiesta alcuna esperienza precedente. NLP Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 3 di 4.
Quanto tempo richiede la lezione «Contare con CountVectorizer»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione NLP Academy?
Sì. Ogni lezione NLP Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Perché ai modelli servono numeri, non parole
- Creare un vocabolario
- Contare con CountVectorizer
- Leggere la matrice documento-termine