Ebben a fejezetben véletlen vektorok és mátrixok várható értékét és kovarianciáját tárgyaljuk. Ezek fontosak a többváltozós statisztikai eljárásokban és a többdimenziós normális eloszlás vizsgálatánál. A fejezet megértéséhez szükséges némi alapszintű lineáris algebrai ismeretanyag.
Jelölje az összes méretű, valós elemű mátrixok terét. Azonosítsuk -et -el, azaz egy rendezett szám -esre úgy gondolunk, mint egy méretű "oszlopvektorra". Az mátrix transzponáltját jelölje . Mint általában, tekintsünk egy eseménytéren egy véletlen kísérletet és egy valószínűségi mértéket.
Legyen egy valós értékű valószínűségi változókból álló méretű mátrix, és az elemét jelölje . Más szóval azt is mondhatjuk, hogy egy méretű véletlen mátrix. Kézenfekvő módon definiáljuk várható értékét: legyen az az méretű mátrix, melynek eleme épp , azaz az valószínűségi változó várható értéke.
Sok, a valós értékű valószínűségi változók várható értékére vonatkozó állítás megfelelője igaz véletlen mátrixok várható értékére is, csak az összefüggéseket mátrixműveletekkel kell felírni. Lássunk néhány példát!
Igazoljuk, hogy , ha és méretű véletlen mátrixok.
Igazoljuk, hogy , ha egy determinisztikus méretű mátrix , pedig egy méretű véletlen mátrix.
Igazoljuk, hogy , ha egy méretű, pedig egy méretű véletlen mátrix, továbbá és függetlenek.
Legyen egy értékű, egy értékű véletlen vektor. Ekkor és kovariancia mátrixa az az méretű mátrix, amelynek eleme , azaz és kovarianciája.
Igazoljuk, hogy .
Igazoljuk, hogy
Igazoljuk, hogy
Igazoljuk, hogy pontosan akkor, ha minden eleme korrelálatlan minden elemével (ez speciálisan teljesül, ha és függetlenek).
Igazoljuk, hogy , ha és -beli, pedig -beli véletlen vektor.
Igazoljuk, hogy , ha -beli, és pedig -beli véletlen vektorok.
Igazoljuk, hogy , ha -beli véletlen vektor, -beli véletlen vektor, és egy -beli determinisztikus mátrix.
Igazoljuk, hogy ha -beli véletlen vektor, -beli véletlen vektor, és egy -beli determinisztikus mátrix.
Legyen most egy -beli véletlen vektor. Az vektor önmagával vett kovariancia mátrixát variancia-kovariancia mátrixának nevezik:
Igazoljuk, hogy szimmetrikus méretű mátrix, melynek diagonális elemei .
Igazoljuk, hogy , ha és értékű véletlen vektorok.
Igazoljuk, hogy ha -beli véletlen vektor, pedig egy -beli determinisztikus mátrix.
Vegyük észre, hogy ha , akkor nem más, mint az és az vektorok skaláris- vagy belső szorzata, és így koordinátáinak lineáris kombinációja:
Igazoljuk, hogy ha -beli véletlen vektor, és . Tehát pozitív szemidefinit, így a sajátértékei nemnegatívak.
Igazoljuk, hogy pontosan akkor pozitív szemidefinit, de nem pozitív definit, ha létezik és , hogy majdnem biztosan
Tehát ha pozitív szemidefinit, de nem pozitív definit, akkor egyik koordinátáját a többi affin transzformáltjaként felírhatjuk, és így általában a modellünkből is száműzni tudjuk. Ezzel ellentétben, ha pozitív definit, akkor ezt nem tehetjük meg: összes sajátértéke (és így a determinánsa is) pozitív, tehát invertálható mátrix.
Legyen ismét -beli véletlen vektor, pedig -beli véletlen vektor. Keressük azon lineáris (azaz affin)
függvényét, amely a legjobban közelíti -t olyan értelemben, hogy minimális az átlagos négyzetes hiba. Ez a kérdés rendkívül fontos a statisztikában, hisz előfordulhat, hogy , az úgynevezett magyarázó változók vagy jósló változók vektora megfigyelhető, az vektor - melynek neve magyarázott változók vagy jósolt változók vektora - nem figyelhető meg. Ez az általánosítása az egy dimenziós esetnek, azaz, amikor és valós értékű valószínűségi változók (ezt az esetet a kovariancia és korreláció fejezetben tárgyaltuk). Tegyük fel, hogy pozitív definit, azaz egyik eleme sem írható fel a többi elemének affin kombinációjaként.
Igazoljuk, hogy akkor minimális, ha és .
Tehát -hoz következő lineáris függvénye van a legközelebb (azaz ennél minimális az átlagos négyzetes hiba):
Az
függvényt, mint függvényét, nevezik lineáris regressziós függvénynek. Ha a megfigyelésünk szerint , akkor -t -el becsüljük.
Az egy magyarázó változó esetén tekintett Nemlineáris regresszió feladatára gondolhatunk úgy, mint a többváltozós lineáris regresszió speciális esetére: legyen magyarázó, magyarázott változó, pedig valós értékű függvények sorozata. A 17. feladat segítségével megtalálhatjuk azon lineáris függvényét, amely a legközelebb van -hoz olyan értelemben, hogy minimális az átlagos négyzetes hiba: egyszerűen helyébe -t írunk minden -re.
Legyen az pár együttes sűrűségfüggvénye . Határozzuk meg a következőket: