Confrontare pattern con le espressioni regolari

Le espressioni regolari (regex) sono un linguaggio per descrivere i pattern delle stringhe. In Pandas, l'accessor .str espone le regex tramite contains(), match(), extract(), findall() e replace(). Le regex sono lo strumento giusto quando i pattern sono troppo complessi per semplici controlli con contains/startswith, ad esempio per convalidare i formati degli indirizzi e-mail, estrarre numeri di telefono da testo libero o trovare tutti gli importi in dollari in una colonna di note.

.str.contains(pattern) con regex=True (il valore predefinito) restituisce una Series booleana con valore True dove il pattern corrisponde a una parte qualsiasi della stringa. Utilizzi ancoraggi come ^ (inizio) e $ (fine) per limitare la posizione della corrispondenza. Usi comuni: filtrare le righe in cui un campo rispetta un requisito di formato, come un pattern di data valido o un codice formattato correttamente.

.str.match(pattern) verifica se ogni stringa inizia con il pattern (è ancorato all'inizio). Questa è la differenza rispetto a contains(), che cerca in qualsiasi punto della stringa. Utilizzi match() quando interessa soltanto il prefisso della stringa e fullmatch() quando l'intera stringa deve corrispondere al pattern.

.str.extract(pattern) usa i gruppi di cattura () nel pattern regex per estrarre parti specifiche delle stringhe corrispondenti. Restituisce un DataFrame con una colonna per ogni gruppo di cattura. Viene restituita soltanto la prima corrispondenza di ogni stringa. È ideale per estrarre dati strutturati incorporati nel testo libero, come valori numerici, date o ID.

È possibile assegnare un nome ai gruppi di cattura usando la sintassi (?P<name>...). Quando si utilizzano gruppi denominati con str.extract(), il DataFrame risultante usa automaticamente tali nomi come intestazioni delle colonne, rendendo l'output autoesplicativo senza dover rinominare le colonne in seguito.

.str.extractall(pattern) trova tutte le corrispondenze del pattern in ogni stringa, non soltanto la prima. Restituisce un DataFrame con un MultiIndex: il livello esterno è l'indice della riga originale e il livello interno (match) conta le corrispondenze per riga. È utile per estrarre tutti i numeri, gli URL o le parole chiave dai campi di testo libero.

.str.findall(pattern) restituisce una Series di liste, in cui ogni lista contiene tutte le corrispondenze trovate nella stringa della riga. A differenza di extractall(), non crea un MultiIndex: ogni riga riceve una lista di corrispondenze. È comodo quando si desidera mantenere i risultati in una struttura piatta o contare le corrispondenze per riga.

Per impostazione predefinita, le regex in Pandas distinguono tra maiuscole e minuscole. Passi flags=re.IGNORECASE (o re.I) per rendere il pattern insensibile alle maiuscole e minuscole. In questo modo non è necessario scrivere pattern con alternanze come [Pp][Yy][Tt][Hh][Oo][Nn] quando si desidera trovare allo stesso modo 'python', 'Python' o 'PYTHON'.

.str.fullmatch(pattern) (aggiunto in Pandas 1.1) restituisce True solo quando la stringa intera corrisponde al pattern. A differenza di contains(), che trova una sottostringa, fullmatch equivale ad aggiungere gli ancoraggi ^...$. È il modo più sicuro per convalidare la conformità a un formato: indirizzi e-mail, numeri di telefono, codici postali o qualsiasi campo con uno schema rigido.

Quando si usa str.replace(pattern, repl, regex=True), la stringa di sostituzione può includere riferimenti all'indietro come r'\1' per fare riferimento al contenuto acquisito nel primo gruppo (). Questo consente potenti riformattazioni, ad esempio trasformare MM/DD/YYYY in YYYY-MM-DD o racchiudere una parola trovata in tag HTML.

Ecco un esempio pratico completo: estrarre lo SKU e il prezzo di un prodotto da una colonna di note disordinate usando gruppi denominati. Questo tipo di estrazione è comune quando si importano dati da sistemi legacy in cui più campi sono stati concatenati in un unico campo di testo.

In questa lezione ha imparato che str.contains(regex) filtra le righe in base a un pattern, str.extract() acquisisce la prima corrispondenza in una colonna del DataFrame (utilizzi gruppi denominati per ottenere un output autoesplicativo), str.extractall() trova tutte le corrispondenze per riga usando un MultiIndex e str.fullmatch() verifica che l'intera stringa rispetti un pattern. Prossimamente combineremo e puliremo più colonne di testo.