De vergelijking van een rechte: richtingscoëfficiënt, snijpunt en voorspellingen

Veel relaties uit de echte wereld zijn ongeveer lineair: naarmate het vloeroppervlak toeneemt, stijgt de huizenprijs evenredig; als de reclame-uitgaven stijgen, stijgt de verkoop. Lineaire regressie modelleert deze relaties door de rechte lijn te vinden die het beste bij de gegevens past.

Voordat je het algoritme behandelt, moet je het wiskundige object dat het probeert te vinden goed begrijpen: de vergelijking van een lijn. Elk lineair regressiemodel is uiteindelijk een lijn (in 2D) of een hypervlak (in hogere dimensies), en de twee parameters die dit bepalen — helling en snijpunt — hebben een betekenisvolle interpretatie voor het probleem dat je oplost.

De vergelijking van een lijn in 2D is y = mx + b, waarbij:

• y — de afhankelijke variabele (wat we willen voorspellen, bijvoorbeeld de huizenprijs)
• x — de onafhankelijke variabele of feature (bijvoorbeeld het vloeroppervlak)
• m — de helling: hoeveel y verandert bij elke toename van x met één eenheid
• b — het snijpunt: de waarde van y wanneer x nul is

In de notatie van machine learning wordt dit vaak geschreven als ŷ = w₁x + w₀ of ŷ = θ₁x + θ₀, waarbij w of θ de gewichten (parameters) zijn die het model leert.

De helling m geeft de veranderingssnelheid aan: bij elke toename van x met één eenheid verandert y met m eenheden. Het teken is belangrijk: een positieve helling betekent dat x en y samen bewegen (positieve correlatie), terwijl een negatieve helling betekent dat ze in tegengestelde richtingen bewegen.

In een huizenprijsmodel waarin x het vloeroppervlak is en y de prijs in dollars, betekent een helling van 150 dat elke extra vierkante voet 150 dollar toevoegt aan de voorspelde prijs. Deze interpreteerbaarheid is een van de grootste sterke punten van lineaire regressie: je kunt precies uitleggen wat de voorspelling bepaalt.

Het snijpunt b is de waarde van y wanneer x gelijk is aan nul. Het verankert de lijn op een specifieke y-waarde op de verticale as. Bij het interpreteren van het snijpunt is voorzichtigheid nodig: soms heeft het een fysieke betekenis en soms niet.

In het voorbeeld van de huizenprijs zou een snijpunt van 50.000 dollar betekenen dat een huis met nul vierkante voet 50.000 dollar kost, wat fysiek betekenisloos is. Je kunt het snijpunt het beste zien als een kalibratieconstante die de hele lijn omhoog of omlaag verschuift zodat die bij de gegevens past, in plaats van als een grootheid met in elke context een directe betekenis in de echte wereld.

Voordat je een model aanpast, moet je je gegevens altijd plotten om te controleren of er daadwerkelijk een lineair verband bestaat. Als het spreidingsdiagram een gebogen of niet-lineair patroon laat zien, is een lineair model de verkeerde keuze. Het visualiseren van de aangepaste lijn boven op het spreidingsdiagram is de eerste validatiestap na het trainen.

De regplot() van Seaborn berekent en plot de regressielijn met een betrouwbaarheidsinterval in één aanroep, waardoor dit tijdens verkennende data-analyse een snelle plausibiliteitscontrole is.

Zodra je een lijn hebt (helling m en intercept b), is een voorspelling voor een nieuwe invoer x gewoon rekenwerk: vul x in de vergelijking in en bereken y. Dit heet inferentie of voorspellen.

Het belangrijkste inzicht is dat het model de werkelijke uitvoer voor een nieuwe invoer niet kent — het schat deze op basis van de patronen die het uit de trainingsgegevens heeft geleerd. De kwaliteit van deze voorspellingen hangt volledig af van hoe goed de trainingsgegevens de nieuwe invoer vertegenwoordigen en hoe lineair het werkelijke verband is.

Geen enkele echte gegevensverzameling valt perfect op een lijn. Het residu voor elk gegevenspunt is het verschil tussen de werkelijke waarde en de door het model voorspelde waarde: residual = y_actual - y_predicted. Een positief residu betekent dat het model te laag heeft voorspeld; een negatief residu betekent dat het te hoog heeft voorspeld.

Residuen zijn het ruwe materiaal voor het evalueren en verbeteren van een lineair model. Als residuen een systematisch patroon vertonen (bijvoorbeeld altijd positief zijn voor grote x-waarden), wijst dat erop dat het werkelijke verband niet-lineair is en dat een complexer model nodig is.

Een negatieve helling modelleert een inverse relatie: als x toeneemt, neemt y af. Hoe ouder een auto bijvoorbeeld is, hoe lager de doorverkoopwaarde. Of hoe meer concurrenten een bedrijf heeft, hoe kleiner het marktaandeel.

Lineaire regressie verwerkt negatieve hellingen vanzelf — het algoritme vindt de helling (positief, negatief of nul) die het beste bij de trainingsgegevens past. Een helling van precies nul betekent dat x geen informatie over y bevat en dat de beste voorspelling voor elke invoer simpelweg het gemiddelde van y is.

In werkelijkheid hebben we bijna altijd meerdere invoerkenmerken, niet slechts één. Wanneer je de lijnvergelijking uitbreidt naar meerdere kenmerken, wordt het model een hypervlak in een ruimte met veel dimensies:

ŷ = w₁x₁ + w₂x₂ + ... + wₙxₙ + b

Elke wᵢ is een afzonderlijke coëfficiënt (gewicht) voor het bijbehorende kenmerk xᵢ. De voorspelling is nog steeds gewoon een lineaire combinatie van invoerwaarden plus een bias. Deze uitbreiding — van een lijn naar een hypervlak — is het enige wat verandert wanneer je van enkelvoudige naar meervoudige lineaire regressie gaat.

Lineaire regressie vindt statistische correlaties, geen causale verbanden. Een grote helling tussen de verkoop van ijs en het aantal verdrinkingsgevallen betekent niet dat ijs verdrinking veroorzaakt — beide worden veroorzaakt door warm weer. De helling van een model vertelt je iets over het verband in de trainingsgegevens, niet over het onderliggende causale mechanisme.

Dit onderscheid is uiterst belangrijk wanneer je ML-modellen inzet voor besluitvorming. Een model dat wanbetalingen op leningen voorspelt, kan ontdekken dat postcode een sterke voorspeller is — maar het gebruik van postcode als beslisfactor kan rassendiscriminatie vastleggen in plaats van echt kredietrisico. Onderzoek altijd waarom een kenmerk zoveel voorspellende kracht heeft.

Nu je begrijpt wat een lijn is en wat de parameters ervan betekenen, ben je klaar om scikit-learn te gebruiken om automatisch de optimale helling en intercept uit gegevens te leren. Het algoritme minimaliseert de totale voorspellingsfout over alle trainingsvoorbeelden en vindt de best passende lijn zonder dat je m en b handmatig hoeft af te stellen.

In de volgende les leer je precies hoe deze optimalisatie werkt — wat 'beste passing' wiskundig betekent en hoe de kostenfunctie Mean Squared Error het aanpassen van een lijn omzet in een probleem waarbij een wiskundige uitdrukking moet worden geminimaliseerd.

In deze les heb je geleerd: de vergelijking y=mx+b definieert een lijn met helling m (veranderingssnelheid) en intercept b (y-waarde bij x=0), residuen meten het verschil tussen werkelijke en voorspelde waarden en meervoudige lineaire regressie breidt de lijn uit naar een hypervlak met één gewicht per kenmerk. Hierna verkennen we kostenfuncties en kleinste kwadraten — het wiskundige raamwerk dat definieert wat 'beste passing' betekent en hoe het algoritme de optimale parameters vindt.