テーブルに潜むNaNを見つける

実際のデータセットには、欠損がたくさんあります。分析を始める前に、欠損値がどこにあるかを把握する必要があります。欠損値は、信頼しているすべての結果を気づかないうちにゆがめるためです。🔎

pandasでは、空のセルは通常NaNとして表示されます。これはNot a Numberの略で、値が存在しないことを示す標準的なマーカーです。

よくある落とし穴は、NaNを0として扱うことです。0は実際に測定された値ですが、NaNは測定値がまったくないことを意味します。両者はまったく異なる情報を示します。

isna()メソッドは、DataFrame全体で値が欠損している場所を正確に示す、セルごとにTrueまたはFalseが入った表を返します。

isna().sum()を連結すると、すべての列の欠損セル数を一度に数えられます。Trueは1として数えられるため、それぞれの合計がその列の欠損数になります。

表内の欠損をすべて合計したい場合は、さらにsum()を追加して、列ごとの数を1つの数値にまとめます。

大きな表では、単純な件数だけでは判断を誤ることがあります。len(df)で割ると、各列のうちどの程度が欠損しているかが分かり、どれほど深刻に対処すべきか判断できます。

isnaの反対はnotna()で、値が入っているセルを示します。完全な行だけを残したい場合に便利です。

isna()のヒートマップを使うと、欠損を画像として確認できます。そのため、欠損した行や列のまとまりを数値の一覧よりもはるかに速く見つけられます。

問題のある行を調べるには、各行でanyの値が欠損しているかどうかを条件にしてフィルタリングします。どのレコードに対処が必要かを正確に確認できます。

何かを修正する前に欠損状況を可視化すると、思い込みを避けられます。欠損がどれほど深刻かを推測するのではなく、evidenceに基づいて対処方法を決められます。

これでisnaを使って欠損データを見つけ、列ごとに数え、割合で確認し、視覚的に可視化できるようになりました。欠損を確認することが、修正への第一歩です。