Röviden bevezettelek benneteket a regresszió elméletébe (lásd a belinkelt többváltozós statisztika kiegésztést). Itt most képletek nélkül összefoglalom a lényeget. Az Y függő változót szeretnénk az X_1,...,X_p független változók függvényével közelíteni úgy, hogy az Y és a becslés közötti várható négyeztes eltérés minimális legyen. Mondtam, hogy elméletileg a probléma megoldott, a feltételes várható érték, mint függvény (változók a feltételben) minimalizálja a várható négyzetes eltérést. Ezt követően lineáris regresszióval foglalkoztunk, ami annyiban különbözik az általános regressziótól, hogy csak lineáris függvények körében keressük az előbbi minimumot. Elméletileg ez a probléma is megoldott, a korrelációk és várható értékek segítségével könnyen ki lehet számolni a lineáris függvény együtthatóit és konstansát. Természetesen más a lineáristól eltérő függvényosztályokon is lehet vizsgálni a minimalizáló függvény kérdését. Fontos tény, hogy ha a vizsgált változók együttes eloszlása normális, akkor a legjobb közelítő függvény lineáris, vagyis ugyanaz az általános és lineáris regressziós probléma megoldása.
Fontos megérteni azt is, hogy még az elméleti regresszió sem ad mindig jó közelítést. Például ha Y független az (X_1, ..., X_p) változó vektortól, akkor a legjobb közelítés az E(Y).
Volt szó a többszörös korrelációs együtthatóról (legjobb lineáris közelítés és a célváltozó közti korreláció). Egy átírás után láttuk, hogy azt mutatja, hogy mennyire jó a lineáris közelítés. Az áírás speciálisan 1 magyarázó változó esetén mutatta, hogy a korreláció tényleg a lineáris összefüggőség mérőszáma.
A gyakorlatban nem ismerjük az elméleti eloszlást, csak az (Y, X_1, ... , X_p) valószínűségi vektorváltozóról vannak megfigyeléseink. Így az elmélet helyett a legkisebb négyzetek módszerével határozzuk meg a minimalizálandó függvényt (általában egy függvényosztály függvényei közül, nálunk most a lineáris függvények közül). A lineáris esetben ez éppen az elméleti képletet adja csak becsült kovarianciákkal. Azt, hogy egy így kapott becslőmodell mennyire ad jó közelítést az R^2 statisztika alapján döntöttük el, ami esetünkben (lineáris regresszió konstanssal) a többszörös korrelációs együtthatóak az adatokból való becslése.
Ezután a fenti hazar.sav-ban a házak eladási árát közelítettük a négyzetláb, műszaki cikkszám és adó változókkal. Beszéltünk az output R^2-t tartalamzó táblázatáról, illetve az együtthatókat tartalmazóról. Utóbbinál a tényleges együtthatókon kívül fontos a Beta oszlop, ami a sztenderdizált változókra lefuttatott regresszió együtthatóit tartalmazza. Ez az oszlop jobban segít összehasonlítani az együtthatókat, mert nem függ az egyes változók nagyságrendjétől. Az utolsó oszlopban láthatjuk annak a statisztikai vizsgálatnak az eredményét, ami azt vizsgálja, hogy igaz-e az, hogy a változó együtthatója 0. Ezzel óvatosan kell bánni normalitási feltételek miatt. Megjegyzem, hogy a magyarázó változók közötti összefüggések befolyásolhatják a változók fontosságot, szignifikáns voltát és a kapott együtthatók előjelét (multikollinearitás vizsgálat foglalkozik ezzel a kérdéskörrel részletesebben).