Multipel linjär regression och egenskapernas betydelse

Verkliga prediktionsproblem har nästan alltid flera relevanta indata. Huspriset beror på boyta, antal sovrum, läge, ålder och dussintals andra faktorer. Multipel linjär regression utökar linjen med en enda feature så att alla tillgängliga features används samtidigt:

ŷ = w₁x₁ + w₂x₂ + ... + wₙxₙ + b

Varje feature får sin egen vikt, och modellen lär sig alla vikter samtidigt genom att minimera MSE. Att lägga till fler relevanta features förbättrar nästan alltid prediktionens träffsäkerhet – så länge dessa features faktiskt innehåller information om målet.

API:t i scikit-learn är identiskt för en feature eller hundra features – du skickar helt enkelt in hela featurematrisen. Modellen anpassar automatiskt en koefficient per kolumn i X.

Med flera features ökar R² vanligtvis jämfört med modellen med en enda feature, eftersom varje ytterligare informativ feature ger modellen mer signal att arbeta med. Att lägga till irrelevanta eller brusiga features kan däremot faktiskt försämra prestandan genom att orsaka överanpassning, särskilt på små dataset.

Efter att en modell med flera features har anpassats är model.coef_ en array med ett värde per feature. Varje värde är den förutsagda förändringen i y vid en ökning med en enhet i den feature-funktionen, under antagandet att alla andra features hålls konstanta.

En koefficient på 150 för sqft betyder till exempel följande: när antal sovrum, ålder och alla andra features hålls konstanta förutsägs ytterligare en kvadratfot öka priset med 150 dollar. Denna tolkning av partiell effekt är det som gör linjär regression så användbar för att förklara vilka faktorer som driver en förutsägelse.

Råa koefficienter är inte direkt jämförbara när features har olika enheter och skalor. I bostadsmodellen varierar sqft från 600 till 4000, medan bathrooms varierar från 1 till 5. En koefficient på 150 för sqft och 8000 för bedrooms betyder inte att bedrooms är 53 gånger viktigare – det betyder att en förändring med en enhet i bedrooms (en stor förändring) har 53 gånger så stor effekt som en förändring med en enhet i sqft (en liten förändring).

För att jämföra feature-vikt på ett rättvist sätt måste du först standardisera alla features till samma skala (medelvärde noll, varians ett). Då visar koefficienterna effekten av en förändring på en standardavvikelse i varje feature, vilket kan jämföras mellan features.

Genom att visualisera standardiserade koefficienter som ett stapeldiagram får intressenter en intuitiv bild av vilka features som driver modellens förutsägelser. Positiva staplar höjer förutsägelsen och negativa staplar sänker den. Ju längre stapeln är, desto större är effekten av en förändring på en standardavvikelse i den featuren.

Detta diagram är ett av de mest övertygande verktygen för att kommunicera modellens beteende till icke-tekniska målgrupper. Det besvarar frågan ”vad spelar roll?” i ett enda lättläst diagram.

Vanligt R² ökar alltid (eller förblir detsamma) när du lägger till fler features, även om dessa features bara består av slumpmässigt brus. Därför är det ett missvisande mått vid modellval med olika antal features.

Justerad R² korrigerar detta genom att införa en straffavgift för varje ytterligare feature: Adj R² = 1 - (1-R²)(n-1)/(n-p-1), där n är antalet sampel och p är antalet features. Om en tillagd feature inte förbättrar modellen tillräckligt för att motivera dess komplexitet minskar justerad R². Använd justerad R² när du jämför modeller med olika antal features.

Multikollinearitet uppstår när två eller fler features är starkt korrelerade med varandra. Till exempel förändras sqft och number_of_rooms ofta tillsammans – större hus har fler rum. När features är starkt korrelerade kan modellen inte på ett tillförlitligt sätt uppskatta individuella koefficienter, eftersom den inte kan avgöra vilken feature som faktiskt ligger bakom effekten på y.

Symptom är bland annat koefficienter som förändras kraftigt när du lägger till eller tar bort en enda feature, mycket stora koefficientvärden med motsatta tecken eller högt R² samtidigt som alla koefficienter har stora standardfel. Variance Inflation Factor (VIF) är det etablerade diagnostiska måttet för multikollinearitet.

Alla features förbättrar inte modellens prestanda. Att lägga till irrelevanta features ökar komplexiteten och kan försämra generaliseringen. Ett disciplinerat tillvägagångssätt för featureselektion innebär att jämföra modeller med olika delmängder av features med hjälp av korsvaliderad justerad R².

Iterativ framåtriktad selektion lägger till en feature i taget och behåller den bara om den förbättrar valideringspoängen. Rekursiv featureeliminering (RFE) tar iterativt bort den minst viktiga featuren. Scikit-learn tillhandahåller båda metoderna.

När du har tränat en modell med flera egenskaper är det enkelt att göra förutsägelser på nya data: skapa en DataFrame eller array med samma egenskapskolumner i samma ordning och anropa model.predict(). Modellen returnerar ett förutsagt pris per rad.

Om du använde en Pipeline med en scaler ska du skicka in rådata (utan skalning) – pipelinen tillämpar automatiskt samma skalningstransformering som anpassades till träningsdata. Detta är ytterligare en anledning till att Pipelines är det professionella sättet att arbeta.

Linjär regression är begränsad till linjära samband, men du kan modellera icke-linjära mönster genom att skapa polynomegenskaper. PolynomialFeatures i scikit-learn skapar automatiskt kvadrerade termer, kubiska termer och interaktionstermer från dina ursprungliga egenskaper.

Ett polynom av grad 2 med två egenskaper x₁ och x₂ ger: x₁, x₂, x₁², x₂², x₁x₂. Modellen är fortfarande linjär i sina parametrar (vilket är anledningen till att den fortfarande kallas ”linjär regression”), men den kan anpassa sig till böjda samband i det ursprungliga egenskapsrummet. Använd korsvalidering för att välja optimal grad.

Viktiga slutsatser om att använda koefficienter för att mäta egenskapernas betydelse:

• Råkoefficienter beror på egenskapernas skala – en koefficient på 150 för sqft kan inte direkt jämföras med 8000 för bedrooms om inte båda har standardiserats.
• Standardiserade koefficienter (från en modell som tränats på skalade egenskaper) mäter effekten av en förändring på en standardavvikelse i varje egenskap, vilket gör dem direkt jämförbara.
• Stora absolutbelopp anger inflytelserika egenskaper; små värden (nära noll) anger svaga eller redundanta egenskaper.
• Bekräfta alltid att egenskaper med hög betydelse har ett kausalt eller meningsfullt samband med målet, inte bara en statistisk korrelation i träningsdata.

I den här lektionen lärde du dig att multipel linjär regression tilldelar en vikt per egenskap i ekvationen ŷ = w₁x₁ + ... + wₙxₙ + b, att råkoefficienter måste standardiseras innan betydelsen jämförs mellan egenskaper med olika skalor och att justerat R² bestraffar tillagda egenskaper för att förhindra överanpassning vid modellval. Nästa steg är att gå från att förutsäga tal till att förutsäga kategorier med logistisk regression och klassificering baserad på tröskelvärden.