]> Részletösszegek és centrális határeloszlás tétele
  1. Virtuális laboratóriumok
  2. 5. Véletlen minták
  3. 1
  4. 2
  5. 3
  6. 4
  7. 5
  8. 6
  9. 7

4. Részletösszegek és centrális határeloszlás tétele

A centrális határeloszlás tétele és a nagy számok törvénye a valószínűségszámítás két alapvető tétele. Nagyjából, a központi határeloszlás tétele nagy számú független, azonos eloszlású változók összegének az eloszlása, mely közelítőleg normális, tekintet nélkül az alapeloszlásra. A központi határeloszlás tétel fontosságát nehéz lenne túlértékelni; valóban, ez az alapja annak, hogy számos statisztikai eljárás működik.

Részletösszeg folyamatok

Definíciók

Tételezzük fel, hogy X X 1 X 2 független, azonos eloszlású, valós értékű véletlen váltóknak egy sorozata közös f valószínűségsűrűség függvénnyel, melynek várható értéke μ , és szórásnégyzete σ 2 . Legyen

Y n i 1 n X i ,  n

Megállapodunk abban, hogy Y 0 0 , mivel az indexhalmaz üres halmaz. A Y Y 0 Y 1 Y 2 véletlen folyamatot az X -hez tartozó részletösszegek folyamatának nevezzük. A részletösszeg folymatok speciális típusait ebben a projektben több helyen tanulmányozzuk, a részleteket lásd

Emlékeztetünk arra, hogy a statisztikai szóhasználatban az X sorozat megfelel egy alapeloszlásból vett mintavételnek. Speciálisan X 1 X 2 X n egy az alapeloszlásból vett n elemű véletlen minta, melynek mintabeli átlaga

M n Y n n 1 n i 1 n X i

A nagy számok törvénye miatt M n μ ha n 1 valószínűséggel.

Stacionaritás, független növekmények

Mutassuk meg, hogy ha m n akkor Y n Y m változónak ugyanaz az eloszlása, mint az Y n m változónak. Így az Y folyamat stacionáris növekményű.

Mutassuk meg, hogy ha n 1 n 2 n 3 akkor Y n 1 Y n 2 Y n 1 Y n 3 Y n 2 független véletlen változóknak egy sorozata. Így az Y folyamat független növekményű.

Fordítva, tegyük fel, hogy V V 0 V 1 egy stacionárius, független növekményű véletlen folyamat az 1. gyakorlat és 2. gyakorlat szerint. Definíció szerint legyen U i V i V i 1 i 1 2 esetén. Mutassuk meg, hogy U független, azonos eloszlású változóknak egy sorozata és hogy V az U -hoz tartozó részletöszeg folyamat.

Így a részletösszeg folyamatok egyedüli diszkrét idejű véletlen folyamatok, amelyek stacionáriusak és független növekményűek. Érdekes és jóval nehezebb probléma a folytonos idejű, stacionárius, független növekményű folyamatok jellemzése. A Poisson féle számláló folymat stacionárius, független növekményű, mimt a Brown mozgás folyamat.

Momentumok

Tételezzük fel, hogy n . A várható érték és a szórásnégyzet alaptulajdonságait felhasználva mutassuk meg, hogy

  1. Y n n μ
  2. Y n n σ 2

Tételezzük fel, hogy n és m úgy, hogy m n . Felhasználva a kovariancia, a stacionaritás és a függetlenség tulajdonságait, ellenőrizzük a következő eredményeket. Útmutatás: Emlékezzünk arra, hogy Y n Y m Y n Y m .

  1. Y m Y n m σ 2
  2. Y m Y n m n
  3. Y m Y n m σ 2 m n μ

Tételezzük fel, hogy X -nek van momentum generáló függvénye: G . Mutassuk meg, hogy Y n -nek is van momentum generáló függvénye: G n

Eloszlások

Tételezzük fel, hogy X diszkrét eloszlású vagy folytonos eloszlású f sűrűségfüggvénnyel. Emlékeztetünk arra, hogy Y n valószínűségi sűrűségfüggvénye f n f f f , ami f n -ed rendű konvolúciós hatványa.

Általában felhasználhatjuk a stacionaritás és függetlenség tulajdonságait arra, hogy megadjuk a részletösszeg folyamatok együttes eloszlásait:

Tételezzük fel, hogy n 1 n 2 n k . Mutassuk meg, hogy Y n 1 Y n 2 Y n k -nek van együttes sűrűségfüggvénye

f n 1 n 2 n k y 1 y 2 y k f n 1 y 1 f n 2 n 1 y 2 y 1 f n k n k 1 y k y k 1 ,  y 1 y 2 y k k

A centrális határeloszlás tétel

Most precizen belátjuk a centrális határeloszlás tételt. Nem várhatjuk, hogy a - 4. gyakorlatban szereplő - Y n változónak magának legyen határeloszlása. Megjegyezzük, hogy

Ahhoz, hogy megkapjuk a nem elfajult határeloszlást, nem Y n -t kell vizsgálnunk, hanem Y n standardizáltját. Így legyen

Z n Y n n μ n σ

Mutassuk meg, hogy

  1. Z n 0
  2. Z n 1

Mutassuk meg, hogy Z n az M n mintaátlagnak is a standardizáltja:

Z n M n μ σ n

A centrális határeloszlás tétel kimondja, hogy Z n konvergál a standard normális eloszláshoz ha n . A centrális határeloszlás tételének egy speciális esete (a Bernoulli kísérletekhez) Abraham De Moivre nevéhez fűződik. A centrális határeloszlás tétel kifejezést Pólya György vezette be 1920-ban.

A Centrális Határeloszlás tételének bizonyítása

Meg kell mutatnunk, hogy F n z Φ z ha n minden z , esetén, ahol F n Z n eloszlásfüggvénye és Φ a standard normális eloszlásfüggvény. Ugyanígy megmutatjuk, hogy

χ n t 12 t 2  ha   n  minden   t

-re, ahol χ n Z n karakterisztikus függvénye és a kifejezés jobboldala a standard normális eloszlás karakterisztikus függvénye.

A következő gyakorlatok vázolják a centrális határeloszlás tétel bizonyítását. Végül, a bizonyítás az analízisből ismert határérték általánosításán múlik.

Tételezzük fel, hogy a n a ha n . Mutassuk meg, hogy

1 a n n n a  ha   n

Jelölje χ az X mintaváltozó standardizáltjának karakterisztikus függvényét és jelölje χ n Z n standardizáltjának karakterisztikus függvényét:

χ t exp t X μ σ ,  χ n t exp t Z n ,  t

Mutassuk meg, hogy

  1. χ 0 1
  2. χ 0 0
  3. 2 χ 0 1

Mutassuk meg, hogy

Z n 1 n i 1 n X i μ σ

A karakterisztikus függvény tulajdonságait felhasználva mutassuk meg, hogy

χ n t χ t n n ,  t

Felhasználva a Taylor tételt (a tétel névadója Brook Taylor) mutassuk meg, hogy

χ t n 1 12 2 χ s n t 2 n  ahol   s n t n

Az előző gyakorlattal összefüggésben mutassuk meg, hogy s n 0 és innen, hogy 2 χ s n 1 ha n .

Végül mutassuk meg, hogy

χ n t 1 12 2 χ s n t 2 n n 12 t 2  ha   n

Normális approximációk

A centrális határeloszlás tétel magába foglalja, hogy ha az n elemű minta nagy, akkor az Y n részletösszeg eloszlása közelítőleg normális eloszlású n μ várható értékkel és n σ 2 szórásnégyzettel. Ezzel analóg módon az M n mintaátlag közelítőleg normális eloszlású μ átlaggal és σ 2 n szórásnégyzettel. A központi határeloszlás tétel alapfontosságú, mivel azt jelenti, hogy bizonyos statisztikák eloszlását képesek vagyunk közelíteni még akkor is, ha az alapminta eloszlásáról keveset tudunk.

Természetesen, a nagy kifejezés relatív. Minél inkább eltér a normális eloszlástól az alapeloszlás, annál nagyobb n érték szükséges, hogy a normálissal való közelítés megfelelő legyen. Hozzávetőleges számítás szerint legalább 30 elemű minta általában elegendő; bár sok eloszlás esetén ennél kisebb minta is jó.

Jelölje Y a 0 1 intervallumon egyenletes eloszlásból vett 30 elemű véletlen mintában a változók összegét. Adjuk meg az alábbi esetek mindegyikére a normális közelítéseket:

  1. 13 Y 18
  2. Y 90%-os percentilise.

Jelölje M az f x 3 x 4 ,  x 1 sűrűségfüggvényű eloszlásból vett 50 elemű véletlen minta mitaátlagát. Ez az un. Pareto eloszlás, az eloszlást Vilfredo Pareto-ról nevezték el. Adjuk meg az alábbiak mindegyikére a normális közelítéseket:

  1. M 1.6
  2. M 60%-os percentilise.

Folytonossági korrekció

Egy kis technikai probléma merül fel, amikor a mintaeloszlás diszkrét. Ebben az esetben a részletösszeg is diszkrét eloszlású és ezért a diszkrét elsozlást folytonossal közelítjük.

Tételezzük fel, hogy X egész értékű, így részletösszege Y n szintén egész értékű. Mutassuk meg, hogy minden h 0 1 esetén és k esetén az k h Y n k h esemény ekvivalens az Y n k eseménnyel.

Az előző gyakorlattal összefüggésben h különböző értékei különböző normális approximációkhoz vezetnek, annak ellenére, hogy az események ekvivalensek. A legkisebb approximáció 0, ekkor h 0 és az approximáció nő, ha h nő. Normális approximáció esetén a szokásos feosztás h 0.5 Ezt néha folytonossági korrekciónak hívjuk. A folytonossági korrekciót más eseményekre is kiterjesztjük a valószínűség additivitását felhasználva.

Jelölje Y 20 szabályos dobokocka feldobása esetén a dobott számok összegét. Számítsuk ki 60 Y 75 normális közelítését.

A kockakísérletben legyen a kocka szabályos, és legyen a dobott számok összege az Y változó és n 20 . Futtassuk le a szimulációt 1000-szer, mindegyik 10 futás után frissítve. Számítsuk ki a következő valószínűségeket és hasonlítsuk össze az előző gyakorlat eredményével:

  1. 60 Y 75
  2. Az 60 Y 75 esemény relatív gyakorisága.

Normális approximáció a Gamma eloszláshoz

Ha Y k gamma eloszlású k és b 0 paraméterekkel, akkor

Y k i 1 k X i

ahol X 1 X 2 X k független változóknak egy sorozata, mindegyik exponenciális eloszlású b skála-paraméterrel. Mivel X i b és X i b 2 , következik hogy, ha k nagy, a gamma eloszlást közelíteni tudjuk k b átlagú és k b 2 szórásnégyzetű normális eloszlással. Tulajdonképpen hasonló állítás érvényes, amikor k nem egész; pontosabban a következő standardizált változó eloszlása konvergál a standard normális eloszláshoz, ha k .

Z k Y k k b k b

A gamma kísérletben változtassuk k , b értékeit és figyeljük meg a valószínűségi sűrűségfüggvény formáját. k 10 -re és b 2 , re végezzük el a kísérletet 1000-szer mindegyik 10 futás után frissítve és figyeljük meg az empirikus sűrűségfüggvény nyilvánvaló konvergenciáját az elméleti sűrűségfüggvényhez.

Tételezzük fel, hogy Y gamma eloszlású k 10 alak-paraméterrel és b 2 skála-paraméterrel. Adjunk az alábbiak mindegyikére normális approximációt:

  1. 18 Y 23
  2. Y 80%-os percentilise.

Normális approximáció a khi-négyzet eloszláshoz

Az n paraméterű (szabadságfokú) khi-négyzet eloszlás egy k n 2 alakparaméterű és b 2 alak-paraméterű gamma eloszlás. Az előző alfejezetből következik, hogy ha n nagy, akkor a khi-négyzet eloszlás közelíthető n várható értékű és 2 n szórásnégyzetű normális eloszlással. Pontosabban, ha Y n khi-négyzet eloszlású n szabadságfokkal. akkor az alábbi standardizált változó standard normális eloszlású, ha n

Z n Y n n 2 n

A khi-négyzet eloszlásban változtassuk n értékét és figyeljük meg a sűrűségfüggvény formáját. n 20 esetén végezzük el a kísérletet 1000-szer mindegyik 10 futás után frissítve és figyeljük meg az empirikus sűrűségfüggvény nyilvánvaló konvergenciáját az elméleti sűrűségfüggvényhez.

Tételezzük fel, hogy Y khi-négyzet eloszlású n 20 szabadságfokkal. Adjuk meg az alábbi esetekre a normális approximációt:

  1. 18 Y 25
  2. Y 75%-os percentilise.

A binomiális eloszlás közelítése normális eloszlással

Ha Y n binomiális eloszlású n és p 0 1 paraméterekkel, akkor

Y n i 1 n X i

ahol X 1 X 2 X n egy Bernoulli kísérletsorozat p független indikátor változóknak egy sorozata X i 1 p minden i esetén. Ebből következik, hogy ha n nagy, akkor az n , p paraméterű binomiális eloszlás n p várható értékű és n p 1 p szórásnégyzetű normális eloszlással közelíthető. Hozzávetőlegesen n akkor elegendően nagy, ha n p 5 és n 1 p 5 . Pontosabban az alábbiakban megadott Z n standardizált változó eloszlása a standard normális eloszláshoz konvergál, ha n :

Z n Y n n p n p 1 p

Az binomiális idővonal kísérletben változtassuk n és p értékeit és figyeljük meg a valószínűségi sűrűségfüggvény alakját. n 50 és p 0.3 értékekre 1000-szer végezzük el a kísérletet 10-esével frissítve. Számítsuk ki a következőket:

  1. 12 Y 16
  2. Az 12 Y 16 esemény relatív gyakoriságát.

Tételezzük fel, hogy X binomiális eloszlású n 50 és p 0.3 paraméterekkel. Számítsuk ki a 12 Y 16 normális approximációját (ne feledkezzünk meg a folytonossági korrekcióról) és hasonlítsuk össze az eredményeket az előző gyakorlat eredményével!

A Poisson eloszlás normális approximációja

Ha Y n Poisson eloszlású n paraméterrel, akkor

Y n i 1 n X i

ahol X 1 X 2 X n független változóknak egy sorozata, melyek mindegyike 1 paraméterű Poisson eloszlású. Mivel X i X i 1 , a centrális határeloszlás tételéből következik, hogy ha n nagy, akkor az n paraméterű Poisson eloszlás n várható értékű és n szórásnégyzetű normális eloszlással approximálható. Hasonló állítás igaz, amikor n nem egész; pontosabban az alábbi standardizált változó eloszlása a standard normális eloszláshoz konvergál, ha n .

Z n Y n n n

Tételezzük fel, hogy Y 20 várható értékű Poisson eloszlású.

  1. Számítsuk ki a 16 Y 23 valószínűség pontos értékét.
  2. Számítsuk ki a 16 Y 23 valószínűség normális approximációját.

A Poisson kísérletben, változtassuk a t idő és az r mérték (az adott idő alatt bekövetkező események száma) paramétereket. A Poisson eloszlás paramétere a kísérletben az r t szorzat. Figyeljük meg a sűrűségfüggvény alakját. Az r 5 és t 4 értékekkel végezzük el a kísérletet 1000-szer, 10-esével frissítve a gyakoriságot, látható az empirikus sűrűségfüggvény konvergenciája az elméleti sűrűségfüggvényhez.

A Negatív binomiális eloszlás normális approximációja

Ha Y k negatív binomiális eloszlás k paraméterrel és p 0 1 valószínűséggel, akkor

Y k i 1 k X i

ahol X 1 X 2 X k független változóknak egy sorozata, ahol mindegyik változó geometriai eloszlású az halmazon, p paraméterrel. Mivel X i 1 p és X i 1 p p 2 , következik, hogy ha k nagy, akkor a negatív binomiális eloszlás k p várható értékű és k 1 p p 2 szórásnégyzetű normális eloszlással approximálható. Pontosabban, az alábbi standardizált változó eloszlása standard normális eloszláshoz konvergál, ha k .

Z k p Y k k k 1 p

A negatív binomiális kísérletben változtassuk k és p értékét és figyeljük meg a sűrűségfüggvény alakját. k 5 és p 0.4 értékekkel végezzük el a kísérletet 1000-szer, 10-esével frissítve a gyakoriságot, látható az empirikus sűrűségfüggvény konvergenciája az elméleti sűrűségfüggvényhez.

Tételezzük fel, hogy Y negatív binomiális eloszlású k 10 paraméterrel és p 0.4 valószínűséggel. Adjuk meg a következők normális approximációját:

  1. 20 Y 30
  2. Y 80%-os percentilise.

Véletlen tagszámú részletösszegek

Tételezzük fel, hogy N egy véletlen (egész értéket felvevő) változó, mely az értékeit az halmazból veszi, várható értéke és szórásnégyzete véges. Ekkor

Y N i 1 N X i

egy független, azonos eloszlású véletlen tagszámú összeg. Azaz, a tagok természetesen véletlen változók, de a tagok száma, N is az. Minket elsősorban Y N momentumai érdekelnek.

Független tagszámok

Tételezzük fel először, hogy N , a kifejezések száma független az X változótól, azaz az összegben szereplő tagoktól. Számítsuk ki gyakorlatként Y N momentumát a feltételes várható érték segítségével.

Mutassuk meg, hogy

  1. Y N N N μ
  2. Y N N μ

Mutassuk meg, hogy

  1. Y N N N σ 2
  2. Y N N σ 2 N μ 2

Jelölje H az N valószínűségi generátorfüggvényét. Mutassuk meg, hogy Y N momentum generálófüggvénye H G .

  1. t Y N N G t N
  2. t Y N H G t

Wald azonosság

A következő eredmények némelyike a véletlen tagszámú összegekre vonatkozó általánosítás, ahol N a megállási idő az X sorozatra. Ez azt jelenti, hogy az N n esemény csak X 1 X 2 X n -től függ minden n esetén (csak ezen sorozat figyelembevételével mérhető).

Bizonyítsuk be a Wald azonosságot, amely Abraham Wald-ról van elnevezve: Y N N μ .

  1. Mutassuk meg, hogy Y N i 1 X i i N
  2. Mutassuk meg, hogy X i és i N független minden i -re.
  3. Következtessünk arra, hogy X i i N μ N i
  4. Tételezzük fel, hogy X i 0 minden i -re. Vegyük az (a) kifejezésben a várható értékeket tagonként, hogy kimutassuk a Wald azonosságot ebben a speciális esetben. Az összeg és a várható érték felcserélhetőségét a monoton konvergencia tétel biztosítja.
  5. Most igazoljuk az általános Wald azonosságot felhasználva a dominált konvergencia tételt.