Először bevezettelek benneteket a regresszió elméletébe. Itt most képletek nélkül összefoglalom a lényeget. Az Y függő változót szeretnénk az X_1,...,X_p változók függvényével közelíteni úgy, hogy az Y és a becslés közötti várható négyeztes eltérés minimális legyen. Mondtam, hogy elméletileg a probléma megoldott, a feltételes várható érték, mint függvény (változók a feltételben) minimalizálja a várható négyzetes eltérést. Ezt követően lineáris regresszióval foglalkoztunk, ami annyiban különbözik az általános regressziótól, hogy csak lineáris függvények körében keressük az előbbi minimumot. Elméletileg ez a probléma is megoldott, a korrelációk és várható értékek segítségével könnyen ki lehet számolni a lineáris függvény együtthatóit és konstansát. Természetesen más a lineáristól eltérő függvényosztályokon is lehet vizsgálni a minimalizáló függvény kérdését. Fontos tény, hogy ha a vizsgált változók együttes eloszlása normális, akkor a legjobb közelítő függvény lineáris, vagyis ugyanaz az általános és lineáris regressziós probléma megoldása.
Fontos megérteni azt is, hogy még az elméleti regresszió sem ad mindig jó közelítést. Például ha Y független az (X_1, ..., X_p) változó vektortól, akkor a legjobb közelítés az E(Y).
A gyakorlatban nem ismerjük az elméleti eloszlást, csak az (Y, X_1, ... , X_p) valószínűségi vektorváltozóról vannak megfigyeléseink. Így az elmélet helyett a legkissebb négyzetek módszerével határozzuk meg a minimalizálandó függvényt (általában egy függvényosztály függvényei közül, nálunk most a lineáris függvények közül, ekkor az elméleti képlet empirikus változata adódik megoldásképpen). Azt, hogy egy így kapott becslőmodell mennyire ad jó közelítést az R^2 statisztika alapján döntöttük el, amit az Y empirikus szórása és az Y és a becsült érték közötti eltérések segítségével számoltunk ki (a kiemelt tétel jobb oldalának mintából való közelítése). Lineáris regressziónál, abban az esetben ha szerepel konstans a modellben, akkor az R^2 statisztika megegyezik az Y és a kapott legjobb lineáris közelítés empirikus korrelációjának a négyzetével (empirikus többszörös korrelációs együttható). Ha egyetlen magyarázó változónk van akkor az empirikus többszörös korrelációs együttható megegyezik az egyetlen magyarázó változó és a célváltozó empirikus korrelációjával. Mindez kvantitatívan alátámasztja azt a korábbi kijelentésemet, hogy a korreláció a lineáris összefüggőség mérőszáma.
Ezután elmondtam a determinisztikus magyarázó változók modell változatot. Megjegyeztem, hogy több hipotézisvizsgálati eszköz használata ekkor jogos matematikailag (ennek ellenére egyéb helyzetekben is szokták őket használni).
Ezután a fenti használt autók adathalmazon közelítettük a Price változót a Mileage, Cylinder, Sound és Leather változók segítségével. Többek között láttuk, hogy a summary függvénnyel különböző statisztikákat kaphatunk. Ezután a summary() függvény outputjához hozzáadtuk a béta oszlopot majd néhány dologra felhívtam a figyelmet. Láttuk az R^2 statisztikát és annak a hipotézisvizsgálatnak a p-értékét, amely azt vizsgálja, hogy az egyes együtthatók 0-nak tekinthetőek-e. Szóba került az is, hogy nem a regressziós együtthatók nagysága a döntő abban, hogy melyik változó mennyire fontos, hiszen az a mértékegység függvénye. Ennek eldöntésében vagy a p-érték vagy a külön hozzáadott béta oszlop nyújt hasznos segítséget (a standardizált változókra lefuttatott regresszió együtthatóiról van szó, így bizonyos értelemben mértékegységtől függetlenül hasonlíthatjuk össze az egyes változók szerepét). Azt is megjegyeztem, hogy a magyarázó változók közötti összefüggések befolyásolhatják a változók fontosságot, szignifikáns voltát és a kapott együtthatók előjelét (multikollinearitás vizsgálat foglalkozik ezzel a kérdéskörrel részletesebben). Ehhez kötődően lefuttattuk a modellt a Cylinder helyett a Liter-rel majd mindkettővel együtt.
Ezután lefuttattuk a Cylinder változót faktorrá alakító as.factor() (a nominális és ordinális változók objektuma az R-ben) és újra felépítettük az előző órai modellt. Így a Cylinder változó faktor lett a lineáris regressziót végző lm() parancs kicsit mást adott végeredményül. Technikailag az történt, hogy létrejött két új bináris (0-1 értékű) változó (a Cylinder lehetséges értékei - 1 darab változó): Cylinder6 és Cylinder8. Ezek akkor 1-ek ha a Cylinder értéke 6 illetve 8 volt, egyébként 0-k. A regresszióba az eredeti Cylinder változó helyett ez a két új bináris változó került be. Azt mondhatjuk erre, hogy ez az átalakítás megengedi, hogy az eltérő Cylinder értékek esetén más legyen a lineáris regresszió konstans tagja.
Végül illusztrációként lefuttattam egy a célváltozót jobban közelítő modellt.