Ebben a fejezetben véletlen vektorok és mátrixok várható értékét és kovarianciáját tárgyaljuk. Ezek fontosak a többváltozós statisztikai eljárásokban és a többdimenziós normális eloszlás vizsgálatánál. A fejezet megértéséhez szükséges némi alapszintű lineáris algebrai ismeretanyag.
Általános elmélet
Jelölje
az összes
méretű, valós elemű mátrixok terét. Azonosítsuk
-et
-el, azaz egy rendezett szám
-esre úgy gondolunk, mint egy
méretű "oszlopvektorra". Az
mátrix transzponáltját jelölje
.
Mint általában, tekintsünk egy eseménytéren egy véletlen kísérletet és egy
valószínűségi mértéket.
Véletlen mátrixok várható értéke
Legyen
egy valós értékű valószínűségi változókból álló
méretű mátrix, és az
elemét jelölje
.
Más szóval azt is mondhatjuk, hogy
egy
méretű véletlen mátrix. Kézenfekvő módon definiáljuk
várható értékét: legyen az az
méretű mátrix, melynek
eleme épp
,
azaz az
valószínűségi változó várható értéke.
Sok, a valós értékű valószínűségi változók várható értékére vonatkozó állítás megfelelője igaz véletlen mátrixok várható értékére is, csak az összefüggéseket mátrixműveletekkel kell felírni. Lássunk néhány példát!
Igazoljuk, hogy
,
ha
és
méretű véletlen mátrixok.
Igazoljuk, hogy
,
ha
egy determinisztikus
méretű mátrix ,
pedig egy
méretű véletlen mátrix.
Igazoljuk, hogy
,
ha
egy
méretű,
pedig egy
méretű véletlen mátrix, továbbá
és
függetlenek.
Kovariancia mátrixok
Legyen
egy
értékű,
egy
értékű véletlen vektor. Ekkor
és
kovariancia mátrixa az az
méretű
mátrix, amelynek
eleme
,
azaz
és
kovarianciája.
Igazoljuk, hogy
.
Igazoljuk, hogy
Igazoljuk, hogy
Igazoljuk, hogy
pontosan akkor, ha
X
minden eleme korrelálatlan
Y
minden elemével (ez speciálisan teljesül, ha
X
és
Y
függetlenek).
Igazoljuk, hogy
XYZXZYZ,
ha
X
és
Ym
-beli,
Z
pedig
n
-beli véletlen vektor.
Igazoljuk, hogy
XYZXYXZ,
ha
Xm
-beli,
Y
és
Z
pedig
n
-beli véletlen vektorok.
Igazoljuk, hogy
AXYAXY,
ha
Xm
-beli véletlen vektor,
Yn
-beli véletlen vektor, és
A
egy
km
-beli determinisztikus mátrix.
Igazoljuk, hogy
XAYXYA
ha
Xm
-beli véletlen vektor,
Yn
-beli véletlen vektor, és
A
egy
kn
-beli determinisztikus mátrix.
Variancia-kovariancia mátrixok
Legyen most
XX1X2Xn
egy
n
-beli véletlen vektor. Az
X
vektor önmagával vett kovariancia mátrixát
X
variancia-kovariancia mátrixának nevezik:
VCXXX.
Igazoljuk, hogy
VCX
szimmetrikus
nn
méretű mátrix, melynek diagonális elemei
X1X2Xn.
Igazoljuk, hogy
VCXYVCXXYYXVCY,
ha
X
és
Yn
értékű véletlen vektorok.
Igazoljuk, hogy
VCAXAVCXA
ha
Xn
-beli véletlen vektor,
A
pedig egy
mn
-beli determinisztikus mátrix.
Vegyük észre, hogy ha
an,
akkor
aX
nem más, mint az
a
és az
X
vektorok skaláris- vagy belső szorzata, és így
X
koordinátáinak lineáris kombinációja:
aXi1naiXi>
.
Igazoljuk, hogy
aXaVCXa
ha
Xn
-beli véletlen vektor, és
an.
Tehát
VCX
pozitív szemidefinit, így a sajátértékei nemnegatívak.
Igazoljuk, hogy
VCX
pontosan akkor pozitív szemidefinit, de nem pozitív definit, ha létezik
an
és
c,
hogy majdnem biztosan
aXi1naiXic.
Tehát ha
VCX
pozitív szemidefinit, de nem pozitív definit, akkor
X
egyik koordinátáját a többi affin transzformáltjaként felírhatjuk, és így általában a modellünkből is száműzni tudjuk. Ezzel ellentétben, ha
VCX
pozitív definit, akkor ezt nem tehetjük meg:
VCX
összes sajátértéke (és így a determinánsa is) pozitív, tehát invertálható mátrix.
Legjobb lineáris becslők
Legyen ismét
XX1X2Xmm
-beli véletlen vektor,
YY1Y2Yn
pedig
n
-beli véletlen vektor. Keressük
X
azon lineáris (azaz affin)
AXb, Anm, bn
függvényét, amely a legjobban közelíti
Y
-t olyan értelemben, hogy minimális az átlagos négyzetes hiba. Ez a kérdés rendkívül fontos a statisztikában, hisz előfordulhat, hogy
X,
az úgynevezett magyarázó változók vagy jósló változók vektora megfigyelhető, az
Y
vektor - melynek neve magyarázott változók vagy jósolt változók vektora - nem figyelhető meg. Ez az általánosítása az egy dimenziós esetnek, azaz, amikor
X
és
Y
valós értékű valószínűségi változók (ezt az esetet a kovariancia és korreláció fejezetben tárgyaltuk). Tegyük fel, hogy
VCX pozitív definit, azaz
X
egyik eleme sem írható fel a többi elemének affin kombinációjaként.
Igazoljuk, hogy
YAXb2
akkor minimális, ha
AYXVCX
és
bYYXVCXX.
Tehát
Y
-hoz
Y
következő lineáris függvénye van a legközelebb (azaz ennél minimális az átlagos négyzetes hiba):
LYXYYXVCXXX.
Az
LYXxYYXVCXxX
függvényt, mint
x
függvényét, nevezik lineáris regressziós függvénynek. Ha a megfigyelésünk szerint
Xx,
akkor
Y
-t
LYXx
-el becsüljük.
Az egy magyarázó változó esetén tekintett Nemlineáris regresszió feladatára gondolhatunk úgy, mint a többváltozós lineáris regresszió speciális esetére: legyen
X
magyarázó,
Y
magyarázott változó,
g1g2gn
pedig valós értékű függvények sorozata. A 17. feladat segítségével megtalálhatjuk
g1Xg2XgnX
azon lineáris függvényét, amely a legközelebb van
Y
-hoz olyan értelemben, hogy minimális az átlagos négyzetes hiba: egyszerűen
Xi
helyébe
giX
-t írunk minden
i-re.
Példák, alkalmazások
Legyen az
XY
pár együttes sűrűségfüggvénye
fxyxy, 0x1, 0y1.
Határozzuk meg a következőket:
XY,
VCXY.
Legyen az
XY
pár együttes sűrűségfüggvénye
fxy2xy, 0xy1.
Határozzuk meg a következőket:
XY,
VCXY.
Legyen az
XY
pár együttes sűrűségfüggvénye
fxy6x2y, 0x1, 0y1.
Határozzuk meg a következőket:
XY,
VCXY.
Legyen az
XY
pár együttes sűrűségfüggvénye
fxy15x2y, 0xy1.
Határozzuk meg a következőket:
XY
VCXY,
LYX,
LYXX2.
Ábrázoljuk a regressziós függvényeket közös koordináta rendszerben!
Legyen az
XYZ
vektor egyenletes eloszlású a következő halmazon:
xyz30xyz1
Határozzuk meg a következőket:
XYZ,
VCXYZ,
LZXY,
LYXZ,
LXYZ.
Legyen
X
egyenletes eloszlású a
01
intervallumon, és adott
X
esetén
Y
egyenletes eloszlású
0X
-en. Határozzuk meg a következőket: