L'accessor .str

Le stringhe Python dispongono di molti metodi utili, come .lower(), .strip() e .replace(), ma non è possibile chiamarli direttamente su una Series Pandas di stringhe: sarebbe necessario usare un ciclo. L’accessor .str risolve il problema mettendo a disposizione su una Series versioni vettorializzate dei metodi per stringhe integrati in Python. L’operazione viene applicata contemporaneamente a ogni elemento, senza scrivere un ciclo, e i valori NaN vengono gestiti correttamente (per i valori mancanti restituisce NaN).

L’uso incoerente delle maiuscole e delle minuscole è uno dei problemi più comuni di qualità dei dati. L’accessor .str mette a disposizione .lower(), .upper(), .title() (prima lettera di ogni parola maiuscola) e .capitalize() (solo la prima lettera della stringa maiuscola). Usi .lower() prima dei confronti e delle operazioni di groupby per evitare di trattare 'NYC' e 'nyc' come gruppi diversi.

Gli spazi bianchi iniziali e finali sono invisibili nella visualizzazione, ma causano il fallimento silenzioso dei confronti per corrispondenza esatta. .str.strip() rimuove gli spazi da entrambe le estremità, .str.lstrip() li rimuove solo da sinistra e .str.rstrip() solo da destra. È anche possibile passare un carattere specifico da rimuovere (ad esempio, .str.strip('$') elimina i simboli del dollaro).

.str.len() restituisce il numero di caratteri di ogni elemento stringa come Series di interi. È utile per la convalida: per verificare che un codice prodotto abbia sempre 5 caratteri, che un numero di telefono contenga il numero corretto di cifre o che un campo di testo non sia sospettosamente breve (ad esempio, un singolo carattere che suggerisce un segnaposto).

.str.startswith() e .str.endswith() restituiscono Series booleane. Sono il modo più semplice per filtrare le righe in base a come inizia o termina un valore stringa, ad esempio selezionando tutti gli ID degli ordini che iniziano con 'ORD' o tutti i nomi di file che terminano con '.csv'. Accettano anche tuple di stringhe per controllare contemporaneamente più prefissi o suffissi.

.str.contains(pattern) restituisce una Series booleana che indica se ogni elemento contiene il modello specificato. Per impostazione predefinita accetta un’espressione regolare, ma può passare regex=False per cercare una sottostringa letterale. L’argomento na=False considera NaN come non corrispondente, invece di propagare NaN nel risultato.

Quando una Series contiene valori NaN, la maggior parte dei metodi .str propaga NaN per impostazione predefinita: per le posizioni mancanti della Series di output restituisce NaN. I metodi che restituiscono valori booleani (come .str.contains()) per impostazione predefinita restituiscono NaN nelle posizioni mancanti, causando possibili problemi nell’indicizzazione booleana. Usi na=False per trattare NaN come non corrispondente oppure na=True per trattarlo come corrispondente.

.str.count(pattern) conta il numero di volte in cui un modello compare in ogni elemento stringa. È utile per la feature engineering nell’elaborazione del linguaggio naturale, ad esempio per contare quante volte compare una parola, quante cifre contiene una stringa o quante virgole separano i valori in un campo delimitato.

Poiché ogni metodo .str restituisce una nuova Series, è possibile concatenare più operazioni sulle stringhe in un'unica espressione. Questo è il modo più chiaro per applicare diversi passaggi di pulizia a una colonna di testo: rimuovere gli spazi, convertire in minuscolo ed eliminare i caratteri speciali, tutto in un'unica riga leggibile. La catena viene valutata da sinistra a destra e ogni passaggio fornisce il risultato a quello successivo.

La notazione .str[n] estrae il carattere nella posizione n da ogni stringa, mentre .str[start:end] estrae una porzione della stringa. Si tratta di un'indicizzazione vettorializzata delle stringhe, utile per estrarre codici a larghezza fissa, come i prefissi dei codici postali, le cifre dell'anno da stringhe di date o la prima lettera di un nome.

Ecco una pipeline realistica di pulizia del testo per una colonna contenente nomi di prodotti acquisiti da una pagina web. Combina la rimozione degli spazi iniziali e finali, la normalizzazione delle maiuscole e minuscole, la rimozione della punteggiatura e la compressione degli spazi, una sequenza standard di pre-elaborazione in qualsiasi attività di NLP o pulizia dei dati.

In questa lezione ha imparato che l'accessor .str espone metodi vettorializzati per le stringhe su una Pandas Series, tra cui lower/upper/strip per la normalizzazione, startswith/endswith/contains per il filtraggio e len/count per la misurazione. Può concatenare più chiamate .str per creare pipeline di pulizia leggibili. Utilizzi na=False quando sono presenti valori NaN. Prossimamente vedremo come dividere e sostituire le stringhe per realizzare trasformazioni più avanzate.