]>
Ebben a részben két valószínűségi modellt fogunk tanulmányozni, amelyek önmagukban is érdekesek és fontosak. A tény, hogy mély kapcsolat van a két folyamat között, természetesen még inkább fontosabbá teszi őket. A Pólya féle urna elrendezés dichotom mintamodell, ami általánosítja a hipergeometrikus modellt (visszatevés nélküli mintavétel) és a Bernoulli modell (visszatevéses mintavétel). A beta-Berenoulli folyamatot a béta eloszlású Bernoulli kísérletben a
paraméter
randomizálása
által kapjuk meg. A paraméterek bizonyos értékei esetén a két folyamat ekvivalens, ez egy érdekes és meglepő eredmény.
Tételezzük fel, hogy van egy urnánk (mi más!), ami kezdetben piros és zöld golyót tartalmaz, ahol és pozitív egészek. A folyamat mindegyik időegységénél kiválasztunk egy golyót az urnából, majd visszatesszük azt db ugyanolyan színű új golyóval együtt. Általában a paraméter nemnegatív egész. Mégis a modell valójában akkor értelmes, ha negatív egész és ha ezt úgy interpretáljuk, hogy ennek jelentése: inkább eltávolítunk golyót az urnából, mint beleteszünk és feltesszük, hogy az urnában a megfelelő színű golyókból elegendő számú áll rendelkezésre. Ez a véletlen folyamat, mint Pólya féle urnafolyamat néven ismert, Pólya Györgynek köszönhetően.
A kiválasztott golyók színével kapcsolatban a Pólya féle urna séma általánosítja a visszatevés nélküli mintavétel standard modelljeit. Megjegyezzük, hogy
A legfontosabb részhez tételezzük fel, hogy nemnegatív egész úgy, hogy a folyamatot korlátlanul tudjuk folytatni. Alkalmanként vizsgáljuk a esetet, úgy, hogy a visszatevés nélküli mintavétellel kapcsolatban interpretálni tudjuk az eredményeket.
Jelölje az -edik időegységben a kiválasztott golyó színét, ahol 0 a zöld, 1 a piros színt jelöli. Matematikailag az alap véletlen folyamatunk indikátor változóknak a sorozata:
Mint minden véletlen folyamatnál, első célunk, hogy kiszámítsuk véges dimenziós eloszlásait. Azaz, ki akarjuk számolni együttes eloszlását minden -re.
Néhány további megjegyzés valóban segíteni fog. Emlékeztetünk arra, hogy a kombinatorikus struktúrák tanulmányozásakor az általánosított permutációs formulát így definiáltuk: , , és , esetén
Szokás szerint elfogadjuk azt a konvenciót (megállapodást), hogy az üreshalmaz feletti szorzat 1. Ezért minden és esetén.
Emlékeztetünk arra, hogy
A véges dimenziós eloszlásokat könnyű kiszámolni, felhasználva a feltételes valószínűség szorzási szabályát. Ha bármely időpontban ismerjük az urna tartalmát, akkor egy kimenet valószínűsége a következő időpontban triviálisan számolható.
Legyen és legyen Mutassuk meg, hogy
Az előző gyakorlatban az együttes valószínűség pontosan a piros golyók számától függ. Így, az együttes eloszlás invariáns a koordináták permutációjára és ezért egy cserélhető sorozat. Természetesen, az együttes eloszlást egy korábban kapott formulává redukálja a visszatevéses mintavétel speciális eseteiben () , vagy a visszatevés nélküli mintavétel speciális eseteiben (), annak ellenére, hogy az utóbbi esetben kell, hogy igaz legyen.
Mutasuk meg, hogy minden -re.
Így azonos eloszlású változóknak egy sorozata, először teljesen meglepő, de természetesen elkerülhetetlen minden cserélhető sorozat esetén. Hasonlítsuk össze az együttes és a marginális eloszlásokat! Megjegyezzük, hogy akkor és csak akkor független sorozat, ha , amikor a minta visszatevéses. A Pólya urna a véletlen folyamatok leghíresebb példáinak egyike, amelyben az eredményváltozók cserélhetők, ám (általában) nem függetlenek.
A következőkben számoljuk ki a páronként vett eredményváltozók kovarianciáját és korrelációját.
Tételezzük fel, hogy és különböző indexek. Mutassuk meg, hogy
Így a változók pozitívan korreláltak, ha , negatívan korreláltak, ha , és korrelálatlanok (valójában függetlenek), ha . Ezek az eredmények bizonyosan értelmet kapnak, ha felelevenítjük a Pólya féle urna dinamikáját.
A Pólya urna indikátor változók egy sorozata által írható le. Tanulmányozni szeretnénk ugyanazokat a származtatott véletlen folyamatokat, amelyeket a Bernoulli kísérleteknél tanulmányoztunk: az első kísérletben a piros golyók számát, a -adik piros golyó kíhúzásának a számát, és így tovább.
Az első kísérletben a kiválasztott piros golyók száma
Megjegyezzük, hogy
Természtesen részletösszeg folyamat, amely -szel kapcsolatos. Az alapvető elemzése könnyen következik az -szel kapcsolatos eredményeinkből.
Mutassuk meg, hogy
Ezen sűrűségfüggvény által definiált eloszlás ismert, ( megfelelően elegendő módon) mint Pólya eloszlás. Természetesen, az eloszlás binomiális eloszlássá redukálódik a visszatevéses mintavétel esetében () és hipergeometrikus eloszlássá a visszatevés nélküli mintavétel esetén (), bár ebben az esetben is újra szükséges, hogy legyen. Az az eset, amikor a három paraméter egyenlő, különösen érdekes.
Tételezzük fel, hogy . Mutassuk meg, hogy egyenletes eloszlású a halmazon.
A Pólya féle eloszlások családja változatos formák gyűjteménye.
Indítsuk el a Pólya urna kísérlet szimulációját. Változtassuk a paramétereket, és figyeljük meg a sűrűségfüggvény alakját. Különösen jegyezzük meg, amikor a függvény aszimmetrikus, amikor a függvény szimmetrikus, amikor a függvény egycsúcsú, amikor a függvény monoton, amikor a függvény U-alakú. A paraméterek különböző értékeire végezzük el a kísérletet 1000-szer és figyeljük meg az empirikus sűrűségfüggvénynek az elméleti sűrűségfüggvényhez való nyilvánvaló konergenciáját.
Oldjuk meg a egyenlőtlenséget -ra. Speciálisan mutassuk meg, hogy
A következőkben találjuk meg a várható értéket és a szórásnégyzetet. Szokás szerint fő eszközeink: a tény, hogy egy összeg várható értéke egyenlő a várható értékek összegével és hogy összeg szórásnégyzete a páronként vett kovarianciák összege. Érdekes módon, a várható érték nem függ a paramétertől.
Mutassuk meg, hogy
Indítsuk el a Pólya urna kísérlet szimulációját! Változtassuk a paramétereket és figyeljük meg a tapasztalati várható érték/tapasztalati standard szórás grafikonjának helyét és alakját. A paraméterek különböző értékeire végezzük el a kísérletet 1000-szer és figyeljük meg az empirikus átlagnak és a standard szórásnak a megfelelő elméleti értékekez való nyilvánvaló konvergenciáját.
Számítsuk ki sűrűségfüggvényét, várható értékét és szórásnégyzetét, amikor , , és következő értékeire. Vázoljuk fel mindegyik esetben a sűrűségfüggvény grafikonját!
Rögzítsük le , , és , értékét és legyen . Mutassuk meg, hogy
Így határeloszlása 0-ra és -re koncentrálódik. A határvalószínűségek éppen a zöld és piros golyók kezdeti hányadosai. Interpretáljuk ezt az eredményt a Pólya féle urna elrendezés dinamikájával kapcsolatban.
Tételezzük fel, hogy nemnegatív, így a folyamat korlátlanul folytatódik. Az első kísérletben a kiválasztott piros golyók aránya
Ez egy érdekes változó, mivel egy kis elmélkedés azt a látszatot kelti, hogy lehet határéték ha növekedik. Valóban, ha , akkor épp az Bernoulli kísérletnek megfelelő mintaátlag. Így, a nagy számok törvénye miatt az -hez tart, ha 1 valószínűséggel.
Másrészt, a piros golyók aránya urnakísérlet után
Amikor , akkor természetesen úgy, hogy és határértékei hasonlóan viselkednek.
Tételezzük fel, hogy . Mutassuk meg, hogy -nek akkor és csak akkor van határértéke, ha -nek van határértéke és ebben az esetben a határértékek ugyanazok.
Tételezzük fel, hogy . Mutassuk meg, hogy eloszlása a intervallumon egyenletes eloszlású valsózínűségi változóhoz konvergál, ha .
Még általánosabban igaz ez, amikor , és 1 valószínűséggel konvergál egy valószínűségi változóhoz, ami beta eloszlású bal és jobb paraméterekkel. Szükségünk lesz a martingálok elméletére, hogy levezessük és megértsük ezeket az eredményeket.
Tételezzük fel újra, hogy nemnegatív, úgy, hogy a folyamat korlátlanul folytatódik. -re legyen
Ekkor a és véletlen folyamatok bizonyos értelemben egymás inverzei. Mutassuk meg, hogy akkor és csak akkor, ha és , -re és -re.
Tételezzük fel, hogy és . Mutassuk meg, hogy
Speciálisan, ha akkor
Ez utóbbi valószínűségek kielégítik a Laplace féle öröklési szabályt, egy másik érdekes összefüggést. A szabály Pierre Simon Laplaceról van elnvezve és a Függetlenség részben külömböző szempontok alapján tanulmányozni fogjuk.
Felhasználva a 7. gyakorlatot, a 17. gyakorlatot, a 18. gyakorlatot, és a feltételes valószínűség szorzási szabályát mutassuk meg, hogy
Természetesen, ez a sűrűségfüggvény negatív binomiális kísérleti paraméterrel és valószínűségparaméterrel, amikor (visszatevéses mintavétel).
Tételezzük fel, hogy . Mutassuk meg, hogy
Fix , , és -ra tegyük fel, hogy . Mutassuk meg, hogy
Így határeloszlása 0-ra és -re koncentrálódik. Ebben a két pontban a határvalószínűségek a piros és zöld golyók kezdeti aránya. Interpretáljuk ezt az eredményt a Pólya féle urnalrendezés dinamikájával kapcsolatban.
Egy érdekes dolog majdnem minden parametrikus modellben az, hogyanrandomizáljunk
egy vagy több paramétert. Bizonyos tekintetben ez gyakran vezet érdekes, új modellekhez és a modellek között nem várt kapcsolatokhoz.Ebben a részfejezetben a Bernoulli kísérleti modellben randomizálni fogjuk a siker paramétert.
Tételezzük fel, hogy béta eloszlású a intervallumban bal és jobb paraméterrel. Így sűrűségfüggvénye
A következőben tételezzük fel, hogy indikátor valószínűségi változóknak egy olyan sorozata, mely olyan tulajdonságú, hogy egy által adott feltétetles független sorozat.
Röviden, adott , paraméterű Bernoulli kísérleteknek egy sorozata. Az -re úgy fogunk hivatkozni, mint egy és paraméterű béta-Bernoulli folyamatra.
Statisztikai alkalmazásoknál feltételezzük, hogy egy Bernoulli kísérlet folyamatunk van (például pénzfeldobások) ismeretlen valószínűséggel. A valószínűséget béta eloszlással modellezzük; az és paramétereket úgy választjuk ki, hogy tartalmazzák erről a valószínűségről ismereteinket (ha van valami).
Mi az első lépésünk? Nos, természetesen szükséges kiszámolnunk végse dimenziós eloszlásait.
Legyen és legyen A -vel kapcsoaltos feltétel mellett mutassuk meg, hogy
Így, ha és egészek, akkor az béta-Bernoulli folyamat ekvivalens az , , és paraméterű Pólya féle urna folyamattal, ez egy szép eredmény. Általában, a folyamatok nem ekvivalensek. A béta-Bernoulli folyamat egy kicsit korlátozó abban az értelemben, hogy az és paramétereknek nem kell egésznek lenni; inkább megszorító abban az értelemben, hogy -nek 1-nek kell lennie.
Ellenőrizzük, hogy azok az alapvető matematikai eredmények a Pólya folyamat esetén is érvényesek, amelyek a béta-Bernoulli folyamat esetén érvényesek, kivéve természetesen azt, amikor és tetszőleges pozitív szám (nem feltétlenül egész) lehet és hogy -nek 1-nek kell lennie.
Felhasználva a Bayes tételt mutassuk meg, hogy feltétel melletti feltételes eloszlása béta eloszlású bal és jobb paraméterekkel.
Így a bal paraméter növekedik a sikeres kísérletek számával, míg a jobb paraméter növekszik a sikertelen kísérletek számával. A Bayes statisztika nyelvén ez azt jelenti, hogy eredeti eloszlása apriori eloszlás, és feltétel melletti feltételes eloszlása aposteriori eloszlás. A tény, hogy a posteriori eloszlás béta eloszlás, valahányszor az apriori eloszlás béta eloszlás, azt jelenti, hogy a béta eloszlások családja konjugált család. Ezeket a fogalmakat altalánosabban tanulmányozzuk a Bayes becslésekről és Pontbecslésekről szóló fejezetekben.
Futtassuk le a béta érme kísérlet szimulációját a paraméter különböző értékeire. Figyeljük meg az apriori sűrűségfüggvényből a posterior sűrűségfüggvénybe történő változást a fejek adott száma mellett.