Mallin suorituskyvyn arviointi

Mallin suorituskyvyn arviointi

Koneoppimismallin suorituskyvyn arviointi on ratkaisevan tärkeää sen tehokkuuden varmistamiseksi. Luokitteluongelmissa käytämme mittareina esimerkiksi tarkkuutta, täsmällisyyttä, herkkyyttä ja F1-tulosta.

Tarkkuus mittaa oikein ennustettujen havaintojen suhdetta kaikkien havaintojen kokonaismäärään:

Accuracy = (True Positives + True Negatives) / Total Instances

Vaikka tarkkuus on hyödyllinen, se ei yksin välttämättä riitä epätasapainoisten aineistojen arviointiin.

Täsmällisyys keskittyy positiivisten ennusteiden oikeellisuuteen:

Precision = True Positives / (True Positives + False Positives)

Suuri täsmällisyys tarkoittaa, että vääriä positiivisia tuloksia on vähemmän.

Herkkyys mittaa mallin kykyä tunnistaa oikein kaikki positiiviset havainnot:

Recall = True Positives / (True Positives + False Negatives)

Suuri herkkyys tarkoittaa, että vääriä negatiivisia tuloksia on vähemmän.

F1-tulos on täsmällisyyden ja herkkyyden harmoninen keskiarvo:

F1 Score = 2 * (Precision * Recall) / (Precision + Recall)

Se tasapainottaa täsmällisyyttä ja herkkyyttä, ja on erityisen hyödyllinen epätasapainoisilla aineistoilla.

Scikit-learn tarjoaa funktioita näiden mittareiden laskemiseen:

from sklearn.metrics import precision_score, recall_score, f1_score

precision = precision_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)

print(f"Precision: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")

Sekaannusmatriisi tarjoaa yksityiskohtaisen kuvan mallin suorituskyvystä:

• Oikeat positiiviset (TP): Oikein ennustetut positiiviset tapaukset.
• Väärät positiiviset (FP): Väärin ennustetut positiiviset tapaukset.
• Oikeat negatiiviset (TN): Oikein ennustetut negatiiviset tapaukset.
• Väärät negatiiviset (FN): Väärin ennustetut negatiiviset tapaukset.

Mittarin valinta riippuu ongelmasta:

• Tarkkuus: Toimii hyvin tasapainoisilla aineistoilla.
• Täsmällisyys: Tärkeä, kun väärät positiiviset tulokset ovat kalliita.
• Herkkyys: Ratkaisevan tärkeä, kun väärät negatiiviset tulokset ovat kalliita.
• F1-tulos: Tasapainoinen mittari epätasapainoisille aineistoille.

Tässä oppitunnissa käsittelimme:

• Mallin suorituskyvyn arviointimittarit: tarkkuus, täsmällisyys, herkkyys ja F1-tulos.
• Miten nämä mittarit lasketaan scikit-learnin avulla.
• Miten sekaannusmatriisia tulkitaan.

Seuraavaksi tutustumme ohjaamattoman oppimisen menetelmiin, kuten klusterointiin.