डेटा क्लीनिंग और प्रीप्रोसेसिंग

डेटा सफाई और पूर्व-प्रसंस्करण

कच्चा डेटा अक्सर अव्यवस्थित होता है और उसका विश्लेषण करने से पहले उसे साफ़ करने तथा पूर्व-प्रसंस्करण की आवश्यकता होती है। आपके विश्लेषण की गुणवत्ता और सटीकता सुनिश्चित करने के लिए ये चरण अत्यंत महत्वपूर्ण हैं।

इस पाठ में आप अनुपस्थित डेटा को संभालने, दोहराव हटाने और विश्लेषण के लिए डेटा का पूर्व-प्रसंस्करण करने की तकनीकों के बारे में जानेंगे।

डेटा सफाई में डेटा-संग्रह की त्रुटियों की पहचान करना और उन्हें ठीक करना शामिल है। सामान्य कार्यों में शामिल हैं:

• अनुपस्थित मानों को संभालना।
• दोहराव हटाना।
• प्रारूपों का मानकीकरण करना।

अनुपस्थित डेटा विभिन्न कारणों से हो सकता है। आप इसे इन तरीकों से संभाल सकते हैं:

• अनुपस्थित मानों को किसी डिफ़ॉल्ट मान या mean/माध्यिका से भरना।
• बहुत अधिक अनुपस्थित मानों वाली पंक्तियों या स्तंभों को हटाना।

# Example: Handling missing data
import pandas as pd

data = {'Name': ['Alice', 'Bob', None], 'Age': [25, None, 30]}
df = pd.DataFrame(data)
df['Age'].fillna(df['Age'].mean(), inplace=True)
print(df)

दोहराया गया डेटा आपके विश्लेषण को विकृत कर सकता है। दोहराव हटाने के लिए Pandas का उपयोग करें:

# Example: Removing duplicates
data = {'Name': ['Alice', 'Bob', 'Alice'], 'Age': [25, 30, 25]}
df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

डेटा का मानकीकरण एकरूपता सुनिश्चित करता है। उदाहरण के लिए, आप तारीख के प्रारूप या पाठ के अक्षर-रूप को मानकीकृत कर सकते हैं:

# Example: Standardizing text case
data = {'Name': ['Alice', 'BOB', 'alice']}
df = pd.DataFrame(data)
df['Name'] = df['Name'].str.capitalize()
print(df)

स्केल के अनुसार बदलना और कोड-रूपांतरण जैसी प्रक्रियाएँ पूर्व-प्रसंस्करण का हिस्सा हैं:

• मापानुसार रूपांतरण: संख्यात्मक मानों का मानकीकरण करना।
• कोड-रूपांतरण: वर्गीय डेटा को संख्यात्मक रूप में बदलना।

# Example: Encoding categorical data
from sklearn.preprocessing import LabelEncoder

data = {'Category': ['A', 'B', 'A']}
df = pd.DataFrame(data)
encoder = LabelEncoder()
df['Category'] = encoder.fit_transform(df['Category'])
print(df)

पैमानीकरण यह सुनिश्चित करता है कि संख्यात्मक डेटा एक ही पैमाने पर हो, जो मशीन अधिगम के एल्गोरिदम के लिए आवश्यक है:

# Example: Scaling data
from sklearn.preprocessing import StandardScaler

values = [[10], [20], [30]]
scaler = StandardScaler()
scaled_values = scaler.fit_transform(values)
print(scaled_values)

सत्यापन यह सुनिश्चित करता है कि डेटा गुणवत्ता मानकों को पूरा करता है। उदाहरण के लिए, असामान्य मानों या अमान्य मानों की जाँच करें:

# Example: Validating data
import numpy as np

data = [10, 20, 1000]  # 1000 might be an outlier
mean = np.mean(data)
std_dev = np.std(data)
outliers = [x for x in data if abs(x - mean) > 2 * std_dev]
print("Outliers:", outliers)

यहाँ कुछ ऐसी गलतियाँ दी गई हैं जिनसे बचना चाहिए:

• अनुपलब्ध डेटा को अनदेखा करना, जिससे विश्लेषण गलत हो सकता है।
• प्रारूपों को मानकीकृत न करना, जिससे असंगतियाँ उत्पन्न होती हैं।
• सत्यापन की अनदेखी करना, जिससे आगे के कार्यों में त्रुटियाँ हो सकती हैं।

इस पाठ में आपने सीखा:

• अनुपलब्ध डेटा को संभालना और दोहराई गई प्रविष्टियों को हटाना।
• विश्लेषण के लिए डेटा को मानकीकृत, रूपांतरित और पैमाने पर लाना।
• डेटा की गुणवत्ता का सत्यापन करना और असामान्य मानों की पहचान करना।
• सटीक विश्लेषण के लिए डेटा शोधन का महत्व।

बहुत अच्छा! अब अगले विषय पर चलते हैं।