Scrittura dei DataFrame su file

L'analisi dei dati raramente termina all'interno di Python. È necessario condividere dataset ripuliti con gli stakeholder, fornire i risultati ad altri strumenti o archiviare i dati elaborati per garantire la riproducibilità. Pandas mette a disposizione to_csv(), to_excel(), to_json() e to_parquet(), che rispecchiano le funzioni di lettura e accettano la maggior parte degli stessi parametri di configurazione.

Per impostazione predefinita, to_csv() scrive l'indice delle righe come prima colonna, creando una colonna unnamed: 0 quando il file viene riletto. Passi index=False per omettere l'indice: è quasi sempre la scelta corretta, a meno che l'indice non rappresenti dati significativi, come le date. Specifichi sempre index=False, salvo che abbia un motivo preciso per includere l'indice.

Passi sep= per scrivere un file separato da tabulazioni o da punto e virgola. Utilizzi encoding= per specificare UTF-8 o un altro set di caratteri: è essenziale quando i valori delle colonne contengono caratteri non ASCII, come lettere accentate o caratteri cinesi. encoding='utf-8-sig' aggiunge un BOM (indicatore dell'ordine dei byte) per garantire la compatibilità con Excel su Windows.

Per impostazione predefinita, Pandas scrive i float con la precisione completa. Utilizzi float_format='%.2f' per limitarli a 2 cifre decimali, un aspetto importante per i dati finanziari, nei quali cifre decimali aggiuntive risultano errate agli occhi di chi legge. Passi na_rep='NULL' o na_rep='' per controllare come vengono scritti i valori NaN nel file di output.

df.to_excel('file.xlsx', sheet_name='Data', index=False) scrive il DataFrame in una cartella di lavoro Excel. Come per to_csv(), imposti index=False salvo che l'indice sia significativo. I parametri startrow= e startcol= consentono di posizionare la tabella all'interno del foglio, utile per aggiungere una riga del titolo sopra i dati.

Per scrivere più DataFrame in fogli diversi della stessa cartella di lavoro, utilizzi pd.ExcelWriter come context manager. Chiami df.to_excel(writer, sheet_name='Name') per ogni DataFrame all'interno del blocco with. La cartella di lavoro viene completata e salvata all'uscita dal contesto. In questo modo evita di creare più file separati per tabelle correlate.

df.to_json() serializza un DataFrame in JSON. Il parametro orient= rispecchia quello di read_json: utilizzi 'records' per un elenco di dizionari riga (la scelta più interoperabile), 'columns' per un dizionario di array di colonne oppure 'index' per un dizionario indicizzato per etichetta di riga. Passi indent=2 per ottenere una formattazione leggibile.

Per aggiungere righe a un CSV esistente senza sovrascriverlo, apra il file in modalità append utilizzando mode='a' e imposti header=False per evitare di duplicare la riga d'intestazione. Per Excel, utilizzi ExcelWriter con mode='a'. Per pipeline di streaming di grandi dimensioni, aggiunga i dati a blocchi e scriva l'intestazione solo nel primo blocco.

Prima di esportare, è buona pratica selezionare solo le colonne necessarie al destinatario e ordinare le righe in un ordine logico. In questo modo il file di output è più pulito e si evita di divulgare accidentalmente colonne interne come ID interni, feature codificate o flag di debug. Utilizzi la selezione tramite parentesi quadre e sort_values() nella stessa espressione della pipeline prima della scrittura.

Dopo la scrittura, rilegga sempre il file e verifichi: controlli shape, i nomi delle colonne e alcuni valori campione. Per le pipeline CI, confronti i checksum. Per le esportazioni finanziarie critiche, verifichi con un'asserzione che i totali aggregati coincidano. In questo modo è possibile individuare problemi di codifica, perdita di precisione dei float e problemi dell'indice prima che il file raggiunga il sistema che lo utilizzerà.

Per grandi dataset analitici, consideri il formato Parquet anziché CSV. Parquet memorizza i dati in formato colonnare, supporta la compressione, conserva esattamente i dtypes e legge i dati 10-100 volte più velocemente per le query analitiche. Scriva con df.to_parquet('data.parquet') e legga con pd.read_parquet('data.parquet'). È necessario installare pyarrow o fastparquet.

Verifichi la comprensione della scrittura dei DataFrame nei file illustrata in questa lezione.

In questa lezione ha imparato che: to_csv() e to_excel() esportano i DataFrame ed entrambi includono l'indice per impostazione predefinita — imposti sempre index=False per ottenere un output pulito, ExcelWriter consente di scrivere più DataFrame in fogli separati della stessa cartella di lavoro e Parquet è un'alternativa più veloce e più efficiente in termini di spazio rispetto a CSV per grandi dataset analitici. Prossimamente caricheremo file CSV remoti dagli URL e analizzeremo stringhe CSV in memoria con io.StringIO.