Læsning af CSV-filer

CSV (Comma-Separated Values) er det mest udbredte format til udveksling af tabeldata. Det er let at læse for mennesker, understøttes af alle databaser, regneark og analyseværktøjer og kræver ingen skemadefinition. pd.read_csv() er den Pandas-funktion, der kaldes oftest i dataanalyse, fordi stort set alle offentlige datasæt, API-eksporter og databaseudtræk findes i CSV-format.

Det eneste påkrævede argument er filstien (en streng eller et Path-objekt). Som standard antager Pandas, at den første række er overskriften (kolonnenavne), at skilletegnet er et komma, og at værdierne kan tildeles passende dtypes. Den resulterende DataFrame har et standardheltalsbaseret RangeIndex. Kald altid df.info() umiddelbart efter indlæsning for at opdage problemer med typebestemmelsen.

Brug parameteren sep= til at angive et skilletegn, der ikke er et komma. Tabulatorseparerede filer (TSV) bruger sep='\t'. Nogle europæiske eksporter bruger semikolon som skilletegn (sep=';'), fordi komma bruges som decimaltegn. Send sep=None, engine='python' med for at lade Pandas registrere skilletegnet automatisk ud fra filens indhold.

Hvis en CSV-fil ikke har en overskriftsrække, skal du angive header=None, hvorefter Pandas tildeler heltalsbaserede kolonnenavne (0, 1, 2, ...). Angiv brugerdefinerede navne med names=['a', 'b', 'c']. Brug skiprows=n til at springe de første n rækker over (for metadata eller kommentarer øverst i filen). skiprows accepterer også en liste med bestemte rækkenumre, der skal springes over.

index_col= angiver, hvilken kolonne der skal bruges som rækkeindeks. Send et kolonnenavn eller en heltalsposition med. Et meningsfuldt indeks (f.eks. en datokolonne eller et entydigt ID) muliggør hurtig etiketbaseret adgang med .loc og er påkrævet før tidsserieoperationer. Send en liste med for at oprette et MultiIndex.

parse_dates=True fortæller Pandas, at den skal forsøge at konvertere indekset til datetime. Send en liste med kolonnenavne til parse_dates=['col1', 'col2'] for at fortolke bestemte kolonner, der ikke er indekset, som datoer. Pandas forsøger automatisk med almindelige formater; brug date_format= til usædvanlige formater. Fortolkning af datoer ved indlæsning undgår gentagne kald af pd.to_datetime() senere.

usecols=['col1', 'col2'] indlæser kun de angivne kolonner og ignorerer alle andre. Det er afgørende for store CSV-filer – der er ingen grund til at læse en fil med 200 kolonner, hvis du kun har brug for 5. Det reducerer både I/O-tiden og hukommelsesforbruget betydeligt. Send en callable for at vælge kolonner ud fra et navnemønster.

Pandas udleder datatyper, men udledningen kan være forkert – en ID-kolonne med udelukkende numeriske strenge bliver til int64, eller en priskolonne med manglende værdier bliver uventet til float64. Brug dtype={'col': str} for at gennemtvinge typer. Det er også mere effektivt: Når datatyperne angives på forhånd, springes udledningen over, og indlæsningen af store filer kan blive 20-30 % hurtigere.

Som standard genkender Pandas mange repræsentationer af manglende værdier: tomme celler, 'NA', 'NaN', 'N/A', 'null' osv. Brug na_values=['?', '-', 'missing'] for at tilføje brugerdefinerede tokens. Brug keep_default_na=False for at deaktivere den indbyggede liste og kun behandle de værdier, du angiver, som manglende. Det forhindrer, at legitime strengværdier som 'NA' (en forkortelse) ved en fejl behandles som NaN.

nrows=100 indlæser kun de første 100 rækker – perfekt til et hurtigt skematjek af en enorm fil. chunksize=10000 returnerer en TextFileReader-iterator, der leverer DataFrames med 10000 rækker ad gangen, så du kan behandle filer i bidder, selv når de ikke kan være i RAM. Indlæsning i bidder gennemgås grundigt i den avancerede lektion om ydeevne.

Vær opmærksom på disse hyppige problemer: kodningsfejl (brug encoding='utf-8' eller 'latin-1'), indledende mellemrum i kolonnenavne (brug skipinitialspace=True), tusindtalsseparatorer i tal (brug thousands=',') og decimal-kommaer i europæiske tal (brug decimal=',' og sep=';'). Hvis de ignoreres, omdanner de hver især lydløst numeriske kolonner til objekter.

I denne lektion lærte du, at pd.read_csv() er den primære funktion til indlæsning af tabeldata og har mange konfigurationsparametre, at sep, header, index_col og parse_dates styrer, hvordan filen fortolkes, og at usecols og dtype forbedrer ydeevnen og typesikkerheden for store filer. Derefter læser vi Excel- og JSON-filer, som har deres egne formatspecifikke parametre.