]> Bayes becslések
  1. Virtual Laboratories
  2. 6. Pontbecslések
  3. 1
  4. 2
  5. 3
  6. 4
  7. 5
  8. 6

4. Bayes becslések

A módszer

Tegyük fel ismét, hogy van egy megfigyelhető X valószínűségi változónk egy kísérlethez, ami S halmazbeli értékeket vesz fel. Tegyük fel azt is, hogy X eloszlása függ egy θ paramétertől, ami Θ paramétertérbeli értékeket vesz fel. Az X sűrűségfüggvényét g x θ -val fogjuk jelölni az x S és θ Θ esetén. Természetesen az X adatváltozónk majdnem mindig vektor értékű. A θ paraméter szintén lehet vektor értékű.

A Bayes-i analízisben a θ paramétert valószínűségi változóként kezeljük, ami egy adott h θ ,  θ Θ , sűrűségfüggvénnyel rendelkezik. A megfelelő eloszlást a θ a-priori eloszlásának hívjuk, arra utalva, hogy tükrözi tudásunkat a paraméterről (ha van ilyen), mielőtt adatokat gyűjtenének. Miután megfigyeltük x S -et, Bayes tételét használjuk - ami Thomas Bayes-ről van elnevezve -, hogy kiszámoljuk θ feltételes sűrűségfüggvényét adott X x esetén:

h θ x h θ g x θ g x ,  θ Θ ,  x S

ahol g az X marginális sűrűségfüggvénye. Emlékeztetünk arra, hogy rögzített x S esetén

g x θ Θ h θ g x θ

ha a paraméter diszkrét eloszlású, vagy

g x θ Θ h θ g x θ

ha a paraméter folytonos eloszlású. Ezzel ekvivalensen g x mindössze h θ g x θ - mint θ függvénye - normalizáló konstansa. Adott X x esetén θ feltételes eloszlását a-posteriori eloszlásnak hívjuk, ez egy módosított eloszlás, az adatokban lévő információt tükrözi.

Ha θ egy valós paraméter, az θ X feltételes várható érték a θ Bayes becslése. Emlékeztetünk arra, hogy θ X X függvénye, X függvényei közül a θ -hoz legközelebbi négyzetes közép értelemben.

Nevezetes eloszlások

Konjugált családok

Sok fontos speciális esetben találhatunk egy paraméteres eloszláscsaládot a következő tulajdonsággal: Ha θ a-priori eloszlása a családhoz tartozik, akkor θ a-posteriori eloszlása is adott X x esetén. Ekkor a családot X eloszlására nézve konjugáltnak nevezzük. A konjugált családok számolási szempontból kedvezőek, mivel gyakran ki tudjuk számítani az a-posteriori eloszlást egy egyszerű képlet segítségével bevonva a család paramétereit, anélkül, hogy a Bayes-tételt közvetlenül kellene használni.

A Bernoulli eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta ismeretlen p 0 1 sikerparaméterű Bernoulli eloszlásból. A megbízhatóság szokásos nyelvén az X i 1 azt jelenti, hogy az i -edik próba sikeres volt, és az X i 0 azt jelenti, hogy az i -edik próba sikertelen volt. Példaként tegyük fel, hogy van egy érménk, amelyiknél a fej ismeretlen valószínűsége p . Feldobjuk az érmét n -szer, a fej legyen a siker és az írás a hiba. Minden esetben a sikerek száma n próba során

Y i 1 n X i

Tételezzük fel, hogy p a-priori eloszlása béta eloszlás a bal- és b jobb-paraméterrel, ahol a -t és b -t úgy választjuk, hogy tükrözzék kezdeti információnkat p -ről. Például, ha nem tudunk semmit, lehet a b 1 , azaz p a-priori eloszlása egyenletes a 0 1 paramétertérben. Másrészt, ha azt hisszük, hogy p körülbelül 23 , feltehetjük, hogy a 4 és b 2 (azaz az a-priori eloszlás várható értéke 23 ).

Mutassuk meg, hogy p a-posteriori eloszlása adott X mellett béta eloszlás a Y bal-paraméterrel és b n Y jobb-paraméterrel!

Tehát a béta eloszlás konjugált a Bernoulli eloszláshoz. Megjegyezzük, hogy az a-posteriori eloszlás az X adatvektortól csak a sikerek Y számán át függ. Ez azért áll fenn, mert Y elégséges statisztika p -re. Speciálisan, a jobb-paraméter a sikerek számával, a bal-paraméter a hibák számával nő.

A béta érme kísérletben legyen n 10 és p 0.7 , és legyen a b 1 (egyenletes előzetes feltételezés). Futtassuk a szimulációt százszor, minden futásnál frissítve! Figyeljük meg p a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden futás során!

Mutassuk meg, hogy p Bayes becslése adott X esetén

U a Y a b n

A béta érme kísérletben legyen n 20 és p 0.3 , valamint a 4 és b 2 . Futtassuk a szimulációt százszor, minden futásnál frissítve! Figyeljük meg p becslését és p a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden futás során!

Igazoljuk, hogy U torzítását adott p esetén a következő képlet adja meg! Mutassuk meg, hogy U aszimptotikusan torzítatlan!

bias U p a 1 p b p a b n

Megjegyezzük, hogy a -t és b -t nem választhatjuk meg úgy, hogy U torzítatlan legyen, mivel egy ilyen választás felhasználná p igazi értékét, amit nem ismerünk.

A béta érme kísérletben változtassuk a paramétereket és figyeljük meg a torzítás változását! Most legyen n 20 és p 0.8 , valamint a 2 és b 6 . Futtassuk a szimulációt ezerszer, tízes frissítési gyakorisággal! Figyeljük meg p becslését és p a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden frissítés esetén! Figyeljük meg a tapasztalati torzítás szemmel látható konvergenciáját az igazi torzításhoz!

Igazoljuk, hogy U átlagos négyzetes hibáját adott p esetén a következő képlet adja meg! Mutassuk meg, hogy U konzisztens!

MSE U p p n 2 a a b p 2 a b 2 n a 2 a b n 2

A béta érme kísérletben változtassuk a paramétereket és figyeljük meg az átlagos négyzetes hiba változását! Legyen n 10 és p 0.7 , és a b 1 . Futtassuk a szimulációt ezerszer, tízes frissítési gyakorisággal! Figyeljük meg p becslését és p a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden frissítés esetén! Figyeljük meg a tapasztalati MSE szemmel látható konvergenciáját az igazi MSE-hoz!

Érdekes módon, megválaszthatjuk a -t és b -t úgy, hogy U átlagos négyzetes hibája független p -től:

Mutassuk meg, hogy ha a b n 2 , akkor tetszőleges p esetén:

MSE U p n 4 n n 2

A béta érme kísérletben legyen n 36 és a b> 3 . Változtassuk p -t és figyeljük meg, hogy az átlagos négyzetes hiba nem változik! Most legyen p 0,8 és futtassuk a szimulációt ezerszer, tízes frissítési gyakorisággal! Figyeljük meg p becslését és a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden frissítés esetén! Figyeljük meg a tapasztalati torzítás és MSE szemmel látható konvergenciáját az igazi értékekhez!

Emlékeztetünk arra, hogy p momentumok módszerével nyert és maximum likelihood becslése a mintaátlag (a fejek aránya):

M Y n 1 n i 1 n X i

Ennek a becslésnek az átlagos négyzetes hibája MSE M p 1 n p 1 p .

Rajzoljuk le MSE U p grafikonját a 7. feladat-ból és MSE M p grafikonját, mint p függvényét, ugyanabban a koordináta-rendszerben!

A Bernoulli eloszlás - ismét

Tekintsük az előző részbeli Bernoulli kísérlet érmés megvalósítását, de tegyük fel, hogy az érme vagy szabályos, vagy mindkét oldala fej. Legyen p az a-priori eloszlás, aminek sűrűségfüggvénye h - h 1 a , h 12 1 a -, ahol a 0 1 -et úgy választjuk, hogy tükrözze előzetes tudásunkat annak valószínűségéről, hogy az érme két fejjel rendelkezik.

Mutassuk meg, hogy p a-posteriori eloszlása adott X X 1 X 2 X n esetén a következő. Értelmezzük az eredményt!

h 1 X 2 n a 2 n a 1 a Y n 0 Y n h 12 X 1 h 1 X 1 a 2 n a 1 a Y n 1 Y n

Mutassuk meg, hogy p Bayes becslése

U p n Y n 12 Y n , ahol  p n 2 n 1 a 1 a 2 n 1 a 2 1 a

Igazoljuk, hogy U torzítását adott p mellett a következő képlet adja meg! Mutassuk meg, hogy U aszimptotikusan torzítatlan!

bias U p 1 p n p 1 12 n 12 p n p 12

Igazoljuk, hogy U átlagos négyzetes hibáját adott p mellett a következő képlet adja meg! Mutassuk meg, hogy U konzisztens!

MSE U p 1 p n 2 p 1 12 n 12 p n 2 p 12

A geometriai eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta a geometriai eloszlásból, ismeretlen p sikerparaméterrel. Szokás szerint a mintaértékek összegét jelölje

Y i 1 n X i

Emlékeztetünk arra, hogy a mintaváltozót értelmezhetjük úgy, mint a kísérletek számát egymást követő sikerek közt egy Bernoulli kísérlet sorozatban. Így Y az n -edik siker száma. Adott p esetén, Y negatív binomiális eloszlású n és p paraméterrel. Tegyük fel, hogy p a-priori eloszlása béta eloszlás a 0 és b 0 paraméterekkel, mint az előzőekben.

Mutassuk meg, hogy p a-posteriori eloszlása adott X esetén béta eloszlás a n bal- és b Y n jobb-paraméterrel!

Azaz a béta eloszlás konjugált a geometriai eloszláshoz.

Mutassuk meg, hogy p Bayes becslése

V a n a b Y

A Poisson eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta egy θ paraméterű Poisson eloszlásból. Továbbá tegyük fel, hogy θ a-priori eloszlása gamma eloszlás k 0 alakparaméterrel és b 0 skálaparaméterrel. Szokás szerint a mintaelemek öszegét jelölje

Y i 1 n X i

Mutassuk meg, hogy θ a-posteriori eloszlása adott X mellett gamma eloszlás k Y alakparaméterrel és b n b 1 skálaparaméterrel!

Ebből következik, hogy a gamma eloszlás konjugált a Poisson eloszláshoz.

Mutassuk meg, hogy θ Bayes becslése

V k Y b n b 1

Mutassuk meg, hogy V torzítását a következő képlet adja meg, és így V aszimptotikusan torzítatlan:

bias V θ k b θ n b 1

Jegyezzük meg, hogy - az előzőekhez hasonlóan - nem választhatjuk meg k -t és b -t úgy, hogy V torzítatlan legyen θ ismerete nélkül!

Mutassuk meg, hogy V átlagos négyzetes hibáját a következő képlet adja meg, és így V konzisztens:

MSE V θ θ n b 2 2 k b θ 2 k 2 b 2 n b 1 2

A normális eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű normál eloszlású véletlen minta ismeretlen μ várható értékkel és ismert σ 2 0 szórásnégyzettel. Továbbá, tegyük fel, hogy μ a-priori eloszlása normális a várható értékkel és b 2 0 szórásnégyzettel, természetesen mindettő ismert. Jelölje a mintaértékek összegét

Y i 1 n X i

Mutassuk meg, hogy μ a-posteriori eloszlása adott X mellett normális

μ X Y b 2 a σ 2 σ 2 n b 2 ,  μ X σ 2 b 2 σ 2 n b 2

várható értékkel és szórásnégyzettel!

Ennek következtében a normális eloszlás konjugált az ismeretlen várható értékű és ismert szórásnégyzetű normális eloszláshoz. Továbbá ebből következik, hogy μ Bayes becslése

U Y b 2 a σ 2 σ 2 n b 2

Mutassuk meg, hogy U torzítását a következő képlet adja meg, és így U aszimptotikusan torzítatlan:

bias U μ σ 2 a μ σ 2 n b 2

Mutassuk meg, hogy U átlagos négyzetes hibáját a következő képlet adja meg, és így U konzisztens:

MSE U μ n σ 2 b 4 σ 4 a μ 2 σ 2 n b 2 2
  1. Virtual Laboratories
  2. 6. Pontbecslések
  3. 1
  4. 2
  5. 3
  6. 4
  7. 5
  8. 6