Écrire des DataFrames dans des fichiers

L’analyse de données se termine rarement dans Python. Vous devez partager les ensembles de données nettoyés avec les parties prenantes, transmettre les résultats à d’autres outils ou archiver les données traitées pour garantir leur reproductibilité. Pandas fournit to_csv(), to_excel(), to_json() et to_parquet() : ces fonctions reprennent le fonctionnement des fonctions de lecture et acceptent la plupart des mêmes paramètres de configuration.

Par défaut, to_csv() écrit l’index des lignes comme première colonne, ce qui crée une colonne unnamed: 0 lorsque vous relisez le fichier. Transmettez index=False pour omettre l’index : c’est presque toujours le meilleur choix, sauf si l’index contient des données significatives, comme des dates. Indiquez toujours index=False, sauf si vous avez une raison précise d’inclure l’index.

Transmettez sep= pour écrire un fichier séparé par des tabulations ou des points-virgules. Utilisez encoding= pour spécifier UTF-8 ou un autre jeu de caractères, ce qui est essentiel lorsque les valeurs des colonnes contiennent des caractères non ASCII, comme des accents ou des caractères chinois. encoding='utf-8-sig' ajoute un BOM (marque d’ordre des octets) pour assurer la compatibilité avec Excel sous Windows.

Par défaut, Pandas écrit les nombres flottants avec toute leur précision. Utilisez float_format='%.2f' pour limiter l’affichage à 2 décimales, ce qui est important pour les données financières, car des décimales supplémentaires peuvent sembler incorrectes aux lecteurs. Transmettez na_rep='NULL' ou na_rep='' pour contrôler la façon dont les valeurs NaN sont écrites dans le fichier de sortie.

df.to_excel('file.xlsx', sheet_name='Data', index=False) écrit le DataFrame dans un classeur Excel. Comme avec to_csv(), définissez index=False sauf si l’index est significatif. Les paramètres startrow= et startcol= vous permettent de positionner le tableau dans la feuille, ce qui est utile pour ajouter une ligne de titre au-dessus des données.

Pour écrire plusieurs DataFrames dans différentes feuilles du même classeur, utilisez pd.ExcelWriter comme gestionnaire de contexte. Appelez df.to_excel(writer, sheet_name='Name') pour chaque DataFrame à l’intérieur du bloc with. Le classeur est finalisé et enregistré à la sortie du contexte. Vous évitez ainsi de créer plusieurs fichiers distincts pour des tableaux associés.

df.to_json() sérialise un DataFrame en JSON. Le paramètre orient= reprend celui de read_json : utilisez 'records' pour une liste de dictionnaires représentant les lignes (format le plus interopérable), 'columns' pour un dictionnaire de tableaux de colonnes ou 'index' pour un dictionnaire indexé par l’étiquette de ligne. Transmettez indent=2 pour obtenir une mise en forme lisible.

Pour ajouter des lignes à un fichier CSV existant sans l’écraser, ouvrez le fichier en mode ajout avec mode='a' et définissez header=False afin d’éviter de dupliquer la ligne d’en-tête. Pour Excel, utilisez ExcelWriter avec mode='a'. Dans les chaînes de traitement volumineuses en continu, ajoutez les données par blocs et n’écrivez l’en-tête que pour le premier bloc.

Avant l’exportation, il est recommandé de sélectionner uniquement les colonnes dont le destinataire a besoin et de trier les lignes dans un ordre logique. Le fichier de sortie est ainsi plus clair et vous évitez de divulguer accidentellement des colonnes internes comme des identifiants internes, des caractéristiques encodées ou des indicateurs de débogage. Utilisez une sélection entre crochets et sort_values() dans la même expression de traitement avant l’écriture.

Après l’écriture, relisez toujours le fichier et vérifiez les éléments suivants : les dimensions avec shape, les noms de colonnes et quelques valeurs prises au hasard. Pour les chaînes d’intégration continue, comparez les sommes de contrôle. Pour les exportations financières critiques, vérifiez que les totaux agrégés correspondent. Cela permet de détecter les problèmes d’encodage, les pertes de précision des nombres flottants et les problèmes d’index avant que le fichier ne parvienne à un utilisateur en aval.

Pour les grands jeux de données analytiques, envisagez le format Parquet plutôt que CSV. Parquet stocke les données au format colonne, prend en charge la compression, préserve exactement les types de données et permet des lectures 10 à 100 fois plus rapides pour les requêtes analytiques. Écrivez avec df.to_parquet('data.parquet') et lisez avec pd.read_parquet('data.parquet'). L'installation de pyarrow ou de fastparquet est nécessaire.

Vérifiez votre compréhension de l'écriture de DataFrames dans des fichiers à partir de cette leçon.

Dans cette leçon, vous avez appris que : to_csv() et to_excel() exportent des DataFrames et incluent tous deux l'index par défaut — définissez toujours index=False pour obtenir une sortie propre, ExcelWriter permet d'écrire plusieurs DataFrames dans des feuilles distinctes d'un même classeur, et Parquet est une alternative plus rapide et plus économe en espace que CSV pour les grands jeux de données analytiques. Ensuite, nous chargerons des fichiers CSV distants à partir d'URL et analyserons des chaînes CSV en mémoire avec io.StringIO.