データクレンジング

データクレンジングとは？

データクレンジングとは、データの誤記や欠損、重複などの不備を修正し、データの正確性や品質を高める作業のことです。
昨今、データ活用はビジネスを発展させる上で欠かせないものとなりました。データから得られる確かな情報を活用することで、勘や経験に頼らない意思決定を行うことができます。一方で、企業が保有しているデータに誤記や欠損、重複があると、正しい分析結果を得られないことや、誤った意思決定をしてしまう可能性があります。
より精度の高い分析や意思決定をするためにも、データクレンジングを行い、データの品質を確保することは非常に重要です。

データクレンジングの処理内容

データの正規化　:
データを一貫性のあるフォーマットに統一する処理（例：異なる日付形式を統一する）
欠損補完　　　　:
欠損しているデータを特定し、適切に補填する処理
重複データの削除:
同じ情報が重複しているデータを削除する処理
誤記修正　　　　：
データに含まれる誤字脱字や入力ミスなどを修正する処理
表記揺れの統一　：
同じ内容を表す言葉が、異なる表記になっているものを統一する処理

データクレンジングと名寄せの違い

また、データクレンジングと合わせてよく行われる処理に、名寄せというものがあります。
名寄せとは、重複しているデータを削除し、1つにまとめる作業のことです。氏名や住所、電話番号などをマッチングキーとして、同一と思われるデータをまとめます。
一方でデータクレンジングは、一般的に名寄せの前処理としてデータの修正を行う作業です。
データクレンジングと名寄せを併せて行うことで、過不足のない正確なデータを提供することができます。