削除か補完か：賢く選ぶ

欠損データに出会ったら、大きな選択を迫られます。影響を受けた行をdropするか、値を補うかです。どちらが適切かは、それぞれの方法でどれだけ失うかによって決まります。🛣️

dropna()メソッドは、欠損値が1つでもある行を削除します。すっきりして簡単ですが、大量のデータを気付かないうちに削除してしまう可能性があります。

ある列の大部分が空なら、axis=1を使って列全体を削除します。1つの問題のある列を残すほうが、その列が含まれる行を削除するより悪影響になる場合があります。

欠損がまれで、あちこちに散らばっている場合は、削除がうまく機能します。大きなデータセットのごく一部を失っても、結論が変わることはほとんどありません。

多くの行に1つでも欠損があると、削除によってデータが大幅に減る可能性があります。さらに、失われる行がrandomではない場合、結果に偏りが生じます。

別の方法として、fillna()を使って欠損セルを適切な値でfillできます。すべての行を残せますが、一部の数値を作ることになります。

補った値はすべてestimateであることを覚えておきましょう。よい補完とは、妥当で記録に残されているものです。いい加減な補完は欠損を隠し、統計値を歪めます。

threshを使うと、実際のデータが十分にある行だけを残せます。これは、行に含まれる欠損していない値の最小数を設定するものです。

subsetを使うと、特定の重要な列が欠損している場合だけ行を削除できます。不要な削除から、ほかのデータを守れます。

判断する前に、なぜ値が欠けているのかを考えましょう。randomに欠損しているデータは補完しても問題ありませんが、規則的な欠損自体が意味のあるシグナルである場合もあります。

便利な目安は、欠損が少なければ削除し、行が貴重なら補完することです。どちらを選ぶ前にも、それぞれの方法でdistributionがどう変わるかを必ず検討してください。

これで、どれだけデータを失うか、そしてなぜ値が欠損しているかに基づいて、dropとfillを比較できるようになりました。dropna、thresh、subsetを使って、慎重に削除しましょう。