Grundlæggende dimensionalitetsreduktion

Der er to primære tilgange:

• Udvælgelse af egenskaber: Udvælgelse af de vigtigste egenskaber (f.eks. ved hjælp af korrelations- eller vigtighedsscorer).
• Udtræk af egenskaber: Oprettelse af nye egenskaber ved at kombinere eksisterende egenskaber (f.eks. Principal Component Analysis).

PCA er en populær teknik til dimensionsreduktion. Den omdanner data til et sæt nye ortogonale egenskaber, der kaldes hovedkomponenter, og som maksimerer variansen.

PCA bruges i vid udstrækning til støjreduktion, visualisering og egenskabsudtræk.

t-SNE er en anden metode til dimensionsreduktion, der fokuserer på visualisering. Den afbilder højdimensionelle data i et 2D- eller 3D-rum, samtidig med at datapunkternes struktur bevares.

t-SNE er særligt effektiv til at forstå klynger i komplekse datasæt.

PCA:

• Fokuserer på at bevare varians.
• Er nyttig til støjreduktion og udtræk af egenskaber.

t-SNE:

• Fokuserer på at bevare struktur til visualisering.
• Er mere beregningskrævende end PCA.

Almindelige udfordringer omfatter:

• Tab af fortolkelighed, når egenskaber transformeres.
• Fastlæggelse af det optimale antal komponenter.
• Beregningsomkostninger for store datasæt.

Dimensionsreduktion bruges i vid udstrækning til:

• Billedbehandling: Reduktion af billeders dimensioner med henblik på komprimering.
• Tekstanalyse: Forenkling af mangedimensionelle tekstdata.
• Datavisualisering: Kortlægning af mangedimensionelle data i et 2D- eller 3D-rum.

I denne lektion gennemgik vi:

• det grundlæggende i dimensionsreduktion.
• de vigtigste teknikker: PCA og t-SNE.
• udfordringer og anvendelser af dimensionsreduktion.

Dernæst anvender vi PCA på et datasæt i Python for at se, hvordan det fungerer i praksis.