Lire des fichiers CSV

CSV (valeurs séparées par des virgules) est le format le plus utilisé pour échanger des données tabulaires. Il est lisible par l’être humain, pris en charge par toutes les bases de données, feuilles de calcul et outils d’analyse, et ne nécessite aucune définition de schéma. pd.read_csv() est la fonction Pandas la plus souvent appelée en analyse de données, car pratiquement tous les jeux de données publics, exports d’API ou vidages de bases de données sont disponibles au format CSV.

Le seul argument obligatoire est le chemin du fichier (chaîne ou objet Path). Par défaut, Pandas suppose que la première ligne est l’en-tête (noms des colonnes), que le séparateur est une virgule et que les valeurs permettent de déduire les dtypes appropriés. Le DataFrame obtenu possède un RangeIndex entier par défaut. Appelez toujours df.info() immédiatement après le chargement afin de repérer les problèmes d’inférence des types.

Utilisez le paramètre sep= pour spécifier un séparateur autre qu’une virgule. Les fichiers séparés par des tabulations (TSV) utilisent sep='\t'. Certains exports européens utilisent des points-virgules comme séparateurs (sep=';'), car les virgules servent de séparateurs décimaux. Transmettez sep=None, engine='python' pour laisser Pandas détecter automatiquement le séparateur à partir du contenu du fichier.

Si un CSV ne comporte pas de ligne d’en-tête, définissez header=None et Pandas attribuera des noms de colonnes entiers (0, 1, 2, ...). Fournissez des noms personnalisés avec names=['a', 'b', 'c']. Utilisez skiprows=n pour ignorer les n premières lignes (contenant des métadonnées ou des commentaires en haut du fichier). skiprows accepte également une liste de numéros de lignes précis à ignorer.

index_col= indique la colonne à utiliser comme index des lignes. Transmettez un nom de colonne ou une position entière. La définition d’un index pertinent (par exemple une colonne de dates ou un ID unique) permet un accès rapide par étiquette avec .loc et est nécessaire avant les opérations sur les séries temporelles. Transmettez une liste pour créer un MultiIndex.

parse_dates=True indique à Pandas d’essayer de convertir l’index en date et heure. Transmettez une liste de noms de colonnes à parse_dates=['col1', 'col2'] pour analyser des colonnes qui ne sont pas l’index comme des dates. Pandas essaie automatiquement les formats courants ; pour les formats inhabituels, utilisez date_format=. L’analyse des dates lors du chargement évite de répéter les appels à pd.to_datetime() ultérieurement.

usecols=['col1', 'col2'] charge uniquement les colonnes spécifiées et ignore toutes les autres. C’est essentiel pour les fichiers CSV volumineux : inutile de lire un fichier de 200 colonnes si vous n’en avez besoin que de 5. Cela réduit considérablement le temps d’entrée-sortie et l’utilisation de la mémoire. Transmettez une fonction pour sélectionner les colonnes selon un modèle de nom.

Pandas déduit les types de données, mais cette déduction peut être incorrecte : une colonne d’identifiants composée uniquement de chaînes numériques devient int64, ou une colonne de prix contenant des valeurs manquantes devient float64 de manière inattendue. Utilisez dtype={'col': str} pour imposer les types. Cette méthode est également plus efficace : la spécification préalable des types évite l’étape de déduction et peut accélérer de 20 à 30 % le chargement des fichiers volumineux.

Par défaut, Pandas reconnaît de nombreuses représentations des valeurs manquantes : cellules vides, 'NA', 'NaN', 'N/A', 'null', etc. Utilisez na_values=['?', '-', 'missing'] pour ajouter des marqueurs personnalisés. Utilisez keep_default_na=False pour désactiver la liste intégrée et ne traiter comme manquantes que les valeurs que vous spécifiez. Vous éviterez ainsi de considérer par erreur des chaînes légitimes comme 'NA' (un acronyme) comme des valeurs NaN.

nrows=100 charge uniquement les 100 premières lignes, ce qui est idéal pour vérifier rapidement le schéma d’un fichier immense. chunksize=10000 renvoie un itérateur TextFileReader qui fournit des DataFrames de 10 000 lignes chacun, ce qui permet de traiter par blocs les fichiers qui ne tiennent pas dans la RAM. La lecture par blocs est étudiée en détail dans la leçon avancée sur les performances.

Surveillez ces problèmes fréquents : erreurs d’encodage (utilisez encoding='utf-8' ou 'latin-1'), espaces en début de nom de colonne (utilisez skipinitialspace=True), séparateurs de milliers dans les nombres (utilisez thousands=',') et virgules décimales dans les nombres européens (utilisez decimal=',' et sep=';'). Si vous les ignorez, chacun de ces problèmes transforme silencieusement les colonnes numériques en objets.

Vérifiez votre compréhension de la lecture des fichiers CSV avec Pandas à partir du contenu de cette leçon.

Dans cette leçon, vous avez appris que pd.read_csv() est la fonction principale pour charger des données tabulaires et propose de nombreux paramètres de configuration, que sep, header, index_col et parse_dates contrôlent l’interprétation du fichier, et que usecols et dtype améliorent les performances et la fiabilité des types pour les fichiers volumineux. Nous allons maintenant lire des fichiers Excel et JSON, qui possèdent leurs propres paramètres spécifiques au format.