]>
Tegyük fel ismét, hogy van egy megfigyelhető valószínűségi változónk egy kísérlethez, ami halmazbeli értékeket vesz fel. Tegyük fel azt is, hogy eloszlása függ egy paramétertől, ami paramétertérbeli értékeket vesz fel. Az sűrűségfüggvényét -val fogjuk jelölni az és esetén. Természetesen az adatváltozónk majdnem mindig vektor értékű. A paraméter szintén lehet vektor értékű.
A Bayes-i analízisben a paramétert valószínűségi változóként kezeljük, ami egy adott , sűrűségfüggvénnyel rendelkezik. A megfelelő eloszlást a a-priori eloszlásának hívjuk, arra utalva, hogy tükrözi tudásunkat a paraméterről (ha van ilyen), mielőtt adatokat gyűjtenének. Miután megfigyeltük -et, Bayes tételét használjuk - ami Thomas Bayes-ről van elnevezve -, hogy kiszámoljuk feltételes sűrűségfüggvényét adott esetén:
ahol az marginális sűrűségfüggvénye. Emlékeztetünk arra, hogy rögzített esetén
ha a paraméter diszkrét eloszlású, vagy
ha a paraméter folytonos eloszlású. Ezzel ekvivalensen mindössze - mint függvénye - normalizáló konstansa. Adott esetén feltételes eloszlását a-posteriori eloszlásnak hívjuk, ez egy módosított eloszlás, az adatokban lévő információt tükrözi.
Ha egy valós paraméter, az feltételes várható érték a Bayes becslése. Emlékeztetünk arra, hogy függvénye, függvényei közül a -hoz legközelebbi négyzetes közép értelemben.
Sok fontos speciális esetben találhatunk egy paraméteres eloszláscsaládot a következő tulajdonsággal: Ha a-priori eloszlása a családhoz tartozik, akkor a-posteriori eloszlása is adott esetén. Ekkor a családot eloszlására nézve konjugáltnak nevezzük. A konjugált családok számolási szempontból kedvezőek, mivel gyakran ki tudjuk számítani az a-posteriori eloszlást egy egyszerű képlet segítségével bevonva a család paramétereit, anélkül, hogy a Bayes-tételt közvetlenül kellene használni.
Tegyük fel, hogy egy elemű véletlen minta ismeretlen sikerparaméterű Bernoulli eloszlásból. A megbízhatóság szokásos nyelvén az azt jelenti, hogy az -edik próba sikeres volt, és az azt jelenti, hogy az -edik próba sikertelen volt. Példaként tegyük fel, hogy van egy érménk, amelyiknél a fej ismeretlen valószínűsége . Feldobjuk az érmét -szer, a fej legyen a siker és az írás a hiba. Minden esetben a sikerek száma próba során
Tételezzük fel, hogy a-priori eloszlása béta eloszlás bal- és jobb-paraméterrel, ahol -t és -t úgy választjuk, hogy tükrözzék kezdeti információnkat -ről. Például, ha nem tudunk semmit, lehet , azaz a-priori eloszlása egyenletes a paramétertérben. Másrészt, ha azt hisszük, hogy körülbelül , feltehetjük, hogy és (azaz az a-priori eloszlás várható értéke ).
Mutassuk meg, hogy a-posteriori eloszlása adott mellett béta eloszlás bal-paraméterrel és jobb-paraméterrel!
Tehát a béta eloszlás konjugált a Bernoulli eloszláshoz. Megjegyezzük, hogy az a-posteriori eloszlás az adatvektortól csak a sikerek számán át függ. Ez azért áll fenn, mert elégséges statisztika -re. Speciálisan, a jobb-paraméter a sikerek számával, a bal-paraméter a hibák számával nő.
A béta érme kísérletben legyen és , és legyen (egyenletes előzetes feltételezés). Futtassuk a szimulációt százszor, minden futásnál frissítve! Figyeljük meg a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden futás során!
Mutassuk meg, hogy Bayes becslése adott esetén
A béta érme kísérletben legyen és , valamint és . Futtassuk a szimulációt százszor, minden futásnál frissítve! Figyeljük meg becslését és a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden futás során!
Igazoljuk, hogy torzítását adott esetén a következő képlet adja meg! Mutassuk meg, hogy aszimptotikusan torzítatlan!
Megjegyezzük, hogy -t és -t nem választhatjuk meg úgy, hogy torzítatlan legyen, mivel egy ilyen választás felhasználná igazi értékét, amit nem ismerünk.
A béta érme kísérletben változtassuk a paramétereket és figyeljük meg a torzítás változását! Most legyen és , valamint és . Futtassuk a szimulációt ezerszer, tízes frissítési gyakorisággal! Figyeljük meg becslését és a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden frissítés esetén! Figyeljük meg a tapasztalati torzítás szemmel látható konvergenciáját az igazi torzításhoz!
Igazoljuk, hogy átlagos négyzetes hibáját adott esetén a következő képlet adja meg! Mutassuk meg, hogy konzisztens!
A béta érme kísérletben változtassuk a paramétereket és figyeljük meg az átlagos négyzetes hiba változását! Legyen és , és . Futtassuk a szimulációt ezerszer, tízes frissítési gyakorisággal! Figyeljük meg becslését és a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden frissítés esetén! Figyeljük meg a tapasztalati MSE szemmel látható konvergenciáját az igazi MSE-hoz!
Érdekes módon, megválaszthatjuk -t és -t úgy, hogy átlagos négyzetes hibája független -től:
Mutassuk meg, hogy ha , akkor tetszőleges esetén:
A béta érme kísérletben legyen és . Változtassuk -t és figyeljük meg, hogy az átlagos négyzetes hiba nem változik! Most legyen és futtassuk a szimulációt ezerszer, tízes frissítési gyakorisággal! Figyeljük meg becslését és a-posteriori sűrűségfüggvényének alakját és elhelyezkedését minden frissítés esetén! Figyeljük meg a tapasztalati torzítás és MSE szemmel látható konvergenciáját az igazi értékekhez!
Emlékeztetünk arra, hogy momentumok módszerével nyert és maximum likelihood becslése a mintaátlag (a fejek aránya):
Ennek a becslésnek az átlagos négyzetes hibája .
Rajzoljuk le grafikonját a 7. feladat-ból és grafikonját, mint függvényét, ugyanabban a koordináta-rendszerben!
Tekintsük az előző részbeli Bernoulli kísérlet érmés megvalósítását, de tegyük fel, hogy az érme vagy szabályos, vagy mindkét oldala fej. Legyen az a-priori eloszlás, aminek sűrűségfüggvénye - , -, ahol -et úgy választjuk, hogy tükrözze előzetes tudásunkat annak valószínűségéről, hogy az érme két fejjel rendelkezik.
Mutassuk meg, hogy a-posteriori eloszlása adott esetén a következő. Értelmezzük az eredményt!
Mutassuk meg, hogy Bayes becslése
Igazoljuk, hogy torzítását adott mellett a következő képlet adja meg! Mutassuk meg, hogy aszimptotikusan torzítatlan!
Igazoljuk, hogy átlagos négyzetes hibáját adott mellett a következő képlet adja meg! Mutassuk meg, hogy konzisztens!
Tegyük fel, hogy egy elemű véletlen minta a geometriai eloszlásból, ismeretlen sikerparaméterrel. Szokás szerint a mintaértékek összegét jelölje
Emlékeztetünk arra, hogy a mintaváltozót értelmezhetjük úgy, mint a kísérletek számát egymást követő sikerek közt egy Bernoulli kísérlet sorozatban. Így az -edik siker száma. Adott esetén, negatív binomiális eloszlású és paraméterrel. Tegyük fel, hogy a-priori eloszlása béta eloszlás és paraméterekkel, mint az előzőekben.
Mutassuk meg, hogy a-posteriori eloszlása adott esetén béta eloszlás bal- és jobb-paraméterrel!
Azaz a béta eloszlás konjugált a geometriai eloszláshoz.
Mutassuk meg, hogy Bayes becslése
Tegyük fel, hogy egy elemű véletlen minta egy paraméterű Poisson eloszlásból. Továbbá tegyük fel, hogy a-priori eloszlása gamma eloszlás alakparaméterrel és skálaparaméterrel. Szokás szerint a mintaelemek öszegét jelölje
Mutassuk meg, hogy a-posteriori eloszlása adott mellett gamma eloszlás alakparaméterrel és skálaparaméterrel!
Ebből következik, hogy a gamma eloszlás konjugált a Poisson eloszláshoz.
Mutassuk meg, hogy Bayes becslése
Mutassuk meg, hogy torzítását a következő képlet adja meg, és így aszimptotikusan torzítatlan:
Jegyezzük meg, hogy - az előzőekhez hasonlóan - nem választhatjuk meg -t és -t úgy, hogy torzítatlan legyen ismerete nélkül!
Mutassuk meg, hogy átlagos négyzetes hibáját a következő képlet adja meg, és így konzisztens:
Tegyük fel, hogy egy elemű normál eloszlású véletlen minta ismeretlen várható értékkel és ismert szórásnégyzettel. Továbbá, tegyük fel, hogy a-priori eloszlása normális várható értékkel és szórásnégyzettel, természetesen mindettő ismert. Jelölje a mintaértékek összegét
Mutassuk meg, hogy a-posteriori eloszlása adott mellett normális
várható értékkel és szórásnégyzettel!
Ennek következtében a normális eloszlás konjugált az ismeretlen várható értékű és ismert szórásnégyzetű normális eloszláshoz. Továbbá ebből következik, hogy Bayes becslése
Mutassuk meg, hogy torzítását a következő képlet adja meg, és így aszimptotikusan torzítatlan:
Mutassuk meg, hogy átlagos négyzetes hibáját a következő képlet adja meg, és így konzisztens: