Menyiapkan Data untuk Kecerdasan Buatan

Bayangkan Anda sedang memasak hidangan lezat. Anda tentu tidak akan menggunakan bahan yang sudah busuk, bukan?

Hal yang sama berlaku untuk AI! Persiapan data adalah proses membersihkan dan mengubah data mentah menjadi format yang bersih dan dapat digunakan oleh model AI.

Langkah ini sangat penting karena kualitas data Anda berdampak langsung pada kinerja dan akurasi AI.

Data mentah jarang berada dalam kondisi sempurna. Data ini sering memiliki masalah yang dapat menyesatkan model AI.

• Nilai yang Hilang: Bagian yang seharusnya berisi data tetapi kosong.
• Ketidakkonsistenan: Format berbeda untuk informasi yang sama.
• Duplikat: Entri yang tercatat berulang.
• Pencilan: Nilai ekstrem yang dapat menyimpangkan hasil.

Mengidentifikasi masalah ini adalah langkah pertama.

Nilai yang hilang dapat menyebabkan kesalahan atau hasil yang bias. Berikut beberapa strategi umum:

• Penghapusan: Hapus baris atau kolom yang terlalu banyak memiliki data yang hilang (gunakan dengan hati-hati!).
• Imputasi: Isi nilai yang hilang. Anda dapat menggunakan rata-rata, median, atau modus kolom tersebut.
• Prediksi: Gunakan fitur lain untuk memprediksi dan mengisi nilai yang hilang (lebih lanjut).

Metode terbaik bergantung pada data dan tugas AI Anda.

Entri duplikat berarti informasi yang sama dicatat beberapa kali. Hal ini dapat memperbesar kumpulan data dan membuat model Anda bias.

Contohnya, seorang pelanggan muncul dua kali dalam daftar 'pendaftar baru'.

Solusinya sederhana: identifikasi dan hapus baris yang berlebih tersebut. Sebagian besar alat data memiliki fungsi bawaan untuk melakukannya.

Ketidakkonsistenan terjadi ketika data yang sama direpresentasikan secara berbeda. Misalnya, 'USA', 'U.S.A.', dan 'United States' semuanya berarti negara yang sama.

Hal ini juga berlaku untuk format tanggal (misalnya, '10/01/2023' dibandingkan dengan 'Jan 10, 2023') atau satuan (misalnya, 'kg' dibandingkan dengan 'lbs').

Penyeragaman ini memastikan model AI menafsirkannya dengan benar.

Beberapa algoritme AI, seperti K-Nearest Neighbors, peka terhadap skala fitur numerik. Fitur dengan nilai dari 1-1000 mungkin mendominasi fitur dengan nilai dari 0-1.

• Normalisasi: Menskalakan nilai ke rentang tetap, biasanya 0 hingga 1.
• Standardisasi: Mengubah data sehingga memiliki rata-rata 0 dan simpangan baku 1.

Hal ini membantu mencegah fitur dengan nilai lebih besar memengaruhi model secara tidak proporsional.

Model AI bekerja paling baik dengan angka. Data kategorikal (seperti 'Merah', 'Hijau', 'Biru' atau 'Kecil', 'Sedang', 'Besar') perlu dikonversi.

• Pengodean One-Hot: Membuat kolom biner baru (0 atau 1) untuk setiap kategori. Misalnya, 'Color_Red', 'Color_Green'.
• Pengodean Label: Menetapkan bilangan bulat unik untuk setiap kategori. Misalnya, Red=0, Green=1, Blue=2. Gunakan dengan hati-hati karena cara ini menyiratkan adanya urutan.

Terkadang, fitur mentah belumlah cukup. Rekayasa fitur adalah proses membuat fitur baru dari fitur yang sudah ada untuk meningkatkan kinerja model.

Contoh:

• Menggabungkan 'tinggi' dan 'berat' untuk membuat 'BMI'.
• Mengekstrak 'bulan' atau 'hari dalam minggu' dari kolom 'tanggal'.
• Membuat 'kelompok usia' dari kolom 'usia'.

Hal ini membantu model menemukan pola dengan lebih mudah.

Sebelum melatih model AI, Anda harus membagi data yang telah disiapkan ke dalam beberapa set:

• Set Pelatihan: Digunakan untuk mengajari model.
• Set Validasi: Digunakan untuk menyesuaikan hiperparameter model dan mencegah overfitting selama pengembangan.
• Set Pengujian: Kumpulan data yang sama sekali belum pernah dilihat, yang digunakan untuk mengevaluasi kinerja model pada tahap akhir.

Hal ini memastikan model Anda dapat melakukan generalisasi dengan baik pada data baru di dunia nyata.

Anda telah mempelajari berbagai langkah persiapan data. Sekarang, mari uji pemahaman Anda.

Kerja bagus! Dalam pelajaran ini, kita telah mempelajari proses penting berupa persiapan data.

Anda telah mempelajari:

• Membersihkan data (nilai yang hilang, duplikat, inkonsistensi).
• Mentransformasi data (penskalaan fitur, pengodean data kategorikal).
• Dasar-dasar rekayasa fitur.
• Pentingnya pembagian data untuk evaluasi model.

Data berkualitas tinggi adalah fondasi AI yang efektif. Teruslah berlatih mengembangkan keterampilan ini!