Preparazione dei dati per l’IA

Immagini di preparare un pasto delizioso. Non userebbe ingredienti avariati, vero?

Lo stesso vale per l’IA! La preparazione dei dati è il processo di pulizia e trasformazione dei dati grezzi in un formato pulito e utilizzabile dai modelli di IA.

È un passaggio fondamentale, perché la qualità dei dati influisce direttamente sulle prestazioni e sulla precisione dell’IA.

I dati grezzi raramente si presentano in condizioni perfette. Spesso contengono problemi che possono trarre in inganno i modelli di IA.

• Valori mancanti: Dati assenti nei punti in cui dovrebbero essere presenti.
• Incoerenze: Formati diversi per la stessa informazione.
• Duplicati: Voci ripetute.
• Valori anomali: Valori estremi che possono distorcere i risultati.

Identificare questi problemi è il primo passo.

I valori mancanti possono causare errori o risultati distorti. Ecco alcune strategie comuni:

• Eliminazione: Rimuova le righe o le colonne con troppi dati mancanti (utilizzi questo metodo con cautela!).
• Imputazione: Inserisca i valori mancanti. Può utilizzare la media, la mediana o la moda della colonna.
• Previsione: Utilizzi altre caratteristiche per prevedere e riempire i valori mancanti (metodo più avanzato).

Il metodo migliore dipende dai dati e dall’attività di IA.

Le voci duplicate indicano che la stessa informazione è stata registrata più volte. Questo può gonfiare il set di dati e introdurre distorsioni nel modello.

Per esempio, un cliente che compare due volte in un elenco di «nuove iscrizioni».

La soluzione è semplice: identifichi e rimuova le righe ridondanti. La maggior parte degli strumenti per i dati dispone di funzioni integrate per farlo.

Le incoerenze si verificano quando gli stessi dati vengono rappresentati in modi diversi. Consideri «USA», «U.S.A.» e «United States»: indicano tutti lo stesso Paese.

Lo stesso vale per i formati delle date (ad es. «10/01/2023» rispetto a «Jan 10, 2023») o per le unità di misura (ad es. «kg» rispetto a «lbs»).

La standardizzazione garantisce che il modello di IA li interpreti correttamente.

Alcuni algoritmi di IA, come K-Nearest Neighbors, sono sensibili alla scala delle caratteristiche numeriche. Una caratteristica con valori da 1 a 1000 potrebbe dominare una con valori da 0 a 1.

• Normalizzazione: Ridimensiona i valori in un intervallo fisso, solitamente da 0 a 1.
• Standardizzazione: Trasforma i dati affinché abbiano una media pari a 0 e una deviazione standard pari a 1.

Questo aiuta a evitare che le caratteristiche con valori più elevati influenzino il modello in modo sproporzionato.

I modelli di IA funzionano al meglio con i numeri. I dati categoriali (come «Red», «Green», «Blue» oppure «Small», «Medium», «Large») devono essere convertiti.

• One-Hot Encoding: Crea nuove colonne binarie (0 o 1) per ogni categoria. Ad es. «Color_Red», «Color_Green».
• Label Encoding: Assegna un numero intero univoco a ogni categoria. Ad es. Red=0, Green=1, Blue=2. Utilizzarlo con cautela, poiché implica un ordine.

A volte, le feature grezze non sono sufficienti. L’ingegneria delle feature consiste nel creare nuove feature a partire da quelle esistenti per migliorare le prestazioni del modello.

Esempi:

• Combinare «height» e «weight» per creare «BMI».
• Estrarre «month» o «day of week» da una colonna «date».
• Creare un «age group» a partire da una colonna «age».

In questo modo, il modello può individuare più facilmente i pattern.

Prima di addestrare il modello di intelligenza artificiale, è necessario suddividere i dati preparati in diversi insiemi:

• Training Set: utilizzato per insegnare al modello.
• Validation Set: utilizzato per ottimizzare gli iperparametri del modello e prevenire l’overfitting durante lo sviluppo.
• Test Set: un insieme di dati completamente mai visto prima, utilizzato per la valutazione finale delle prestazioni del modello.

In questo modo, il modello riesce a generalizzare correttamente a dati nuovi e provenienti dal mondo reale.

Ha appreso diverse fasi della preparazione dei dati. Ora verifichi la Sua comprensione.

Ottimo lavoro! In questa lezione abbiamo esplorato l’importante processo di preparazione dei dati.

Ha imparato a conoscere:

• La pulizia dei dati (valori mancanti, duplicati, incoerenze).
• La trasformazione dei dati (scaling delle feature, codifica dei dati categorici).
• I concetti di base dell’ingegneria delle feature.
• L’importanza della suddivisione dei dati per la valutazione del modello.

Dati di alta qualità sono alla base di un’intelligenza artificiale efficace. Continui a esercitarsi con queste competenze!