]>
Tegyük fel ismét, hogy van egy megfigyelhető valószínűségi változónk egy kísérletből; a valószínűségi változó halmazbeli értékeket vesz fel. Tegyük fel még, hogy eloszlása függ egy ismeretlen paramétertől, ami paramétertérbeli értékeket vesz fel. Speciálisan, jelöljük sűrűségfüggvényét felett -val esetén. Természetesen az változónk majdnem mindig vektor értékű. A paraméter szintén lehet vektor értékű.
Az likelihood függvény az a függvény, amit úgy kapunk, hogy a sűrűségfüggvényben felcseréljük és szerepét, azaz -t tekintjük a változónak és -et az adott információnak (becslés esetén pontosan ez a lényeg):
.A maximum likelihood módszer esetén megkísérlünk egy értéket találni a paraméterhez, ami maximalizálja -t minden esetén. Ha ezt meg tudjuk tenni, akkor az statisztikát a maximum likelihood becslésének hívjuk. A módszer ránézésre megfelelő -- megpróbálunk olyan paraméterértékeket találni, amelyek a legnagyobb valószínűséggel vezetnek a ténylegesen megfigyelt adatokhoz.
Mivel a természetes logaritmus függvény szigorúan monoton nő, maximuma, ha létezik, ugyanott van, ahol maximuma. Ez utóbbi függvényt hívjuk log likelihood függvénynek és sok esetben könnyebb dolgozni vele, mint a likelihood függvénnyel (tipikusan mivel az sűrűségfüggvény szorzat alakú).
Fontos speciális eset, mikor valós paraméterből álló vektor, vagyis . Ebben az esetben a maximum likelihood probléma egy többváltozós függvény maximalizálása. Ha egy folytonos halmaz, akkor az analízis módszerei használhatók. Ha maximumát egy pontban veszi fel, ami belsejébe esik, akkor -nek lokális maximuma van -ban. Eszerint, feltételezve, hogy a likelihood függvény differenciálható, ezt a pontot a következő egyenletrendszer megoldásával kaphatjuk meg:
vagy ekvivalensen
Másrészről a maximum lehet egy határpontján, vagy egyáltalán nem létezik.
Következőként tekintsük azt az esetet, amikor az eredményváltozónk egy elemű véletlen minta az valószínűségi változó eloszlásából, ami -beli értékeket vesz fel, és a sűrűségfüggvénye. Ekkor -beli értékeket vesz fel, és együttes sűrűségfüggvénye a marginális sűrűségfüggvények szorzata. Ebben a speciális esetben a likelihood függvény:
és emiatt a log likelihood függvény:
A következőkben klasszikus esetekre vizsgáljuk a maximum likelihood becslést.
Tegyük fel, hogy van egy pénzérménk, a fej valószínűsége legyen ismeretlen, . Feldobjuk az érmét alkalommal és feljegyezzük a fejek és írások sorozatát. Így az adatok egy elemű paraméterű Bernoulli eloszlású véletlen mintát alkotnak. Jelölje
a fejek számát, azaz a fejek aránya (a mintaátlag)
Tegyük fel, hogy a intervallumon változik. Mutassuk meg, hogy a maximum likelihood becslése! Emlékeztetünk arra, hogy -re a momentumok módszerével kapott becslés is .
Tegyük fel, hogy az érme vagy szabályos, vagy mindkét oldala fej, így az értékeket veheti fel. Mutassuk meg, hogy maximum likelihod becslése az alábbi statisztika, és értelmezzük az eredményt:
Az 1. és 2. feladatok azt mutatják, hogy egy paraméter maximum likelihood becslése, mint minden maximalizálási feladat megoldása, kritikus mértékben függ az értelmezési tartománytól.
Mutassuk meg, hogy
Mutassuk meg, hogy
Mutassuk meg, hogy egyenletesen jobb, mint az paramétertéren!
A következő feladatokban felidézzük, hogy ha egy véletlen minta egy várható értékű és szórásnégyzetű eloszlásból, akkor és momentumok módszerével kapott becslései
Természetesen a mintaátlag, és , ahol a korrigált tapasztlati szórásnégyzet. A következő feladatokban néhány eloszláscsalád esetén kiszámítjuk ezen paraméterek maximum likelihood becslését.
Tegyük fel, hogy egy ismeretlen paraméterű Poisson eloszlásból származó véletlen minta. Mutassuk meg, hogy maximum likelihood becslése az mintaátlag! Emlékeztetünk arra, hogy Poisson eloszlás esetén az paraméter a várható érték és a szórásnégyzet is.
Tegyük fel, hogy egy ismeretlen várható értékű és szórásnégyzetű normális eloszlásból származó véletlen minta. Mutassuk meg, hogy és maximum likelihood becslései és .
Tegyük fel, hogy ismert alakparaméterű és ismeretlen skálaparaméterű gamma eloszlásból származó véletlen minta.
Futtassuk a gamma becslés kísérletet ezerszer, tízes frissítési gyakorisággal, néhány különböző mintanagyságra, alakparaméterre, és skálaparaméterre! Mindegyik esetben hasonlítsuk össze momentumok módszerével kapott becslését, amikor ismeretlen, és momentumok módszerével és a maximum likelihood módszerrel kapott becslését, amikor ismert! Az átlagos négyzetes hiba alapján melyik a jobb becslés?
Tegyük fel, hogy egy bal-paraméterű és jobb-paraméterű béta eloszlásból származó véletlen minta. Mutassuk meg, hogy maximum likelihood becslése
Futtassuk a béta becslés kísérletet ezerszer, tízes frissítési gyakorisággal, néhány különböző mintanagyságra és paraméterre! Mindegyik esetben hasonlítsuk össze a momentumok módszerével kapott becslést a maximum likelihood módszerrel kapott becsléssel! Az átlagos négyzetes hiba alapján melyik a jobb becslés?
Tegyük fel, hogy egy paraméterű Pareto eloszlásból származó véletlen minta. Mutassuk meg, hogy maximum likelihood becslése
Futtassuk a Pareto becslés kísérletet ezerszer, tízes frissítési gyakorisággal, néhány különböző mintanagyságra és paraméterre! Mindegyik esetben hasonlítsuk össze a momentumok módszerével kapott becslést a maximum likelihood módszerrel kapott becsléssel! Az átlagos négyzetes hiba alapján melyik a jobb becslés?
Ebben a részben két becslési problémát fogunk tanulmányozni, amelyek jó ellenpéldaként rávilágítanak a becslés lényegére. Bizonyos értelemben az első becslési problémánk a folytonos analógiája a Véges mintavételezési modellek fejezet Rendezett statisztikák részében tanulmányozott becslési problémának. Tegyük fel, hogy egy, a intervallumon egyenletes eloszlásból származó véletlen minta, ahol ismeretlen paraméter.
Mutassuk meg, hogy az momentumok módszerével kapott becslése .
Mutassuk meg, hogy
Mutassuk meg, hogy az maximum likelihood becslése , az -edik rendstatisztika!
Mutassuk meg, hogy
Mutassuk meg, hogy
Legyen .
Mutassuk meg, hogy
Mutassuk meg, hogy -hoz viszonyított aszimptotikus relatív hatékonysága végtelen!
Az utolsó feladat azt mutatja, hogy sokkal jobb becslés, mint ; egy olyan becslést mint , amelynek átlagos négyzetes hibája rendben csökkenő, szuperhatékonynak nevezünk. Most, hogy találtunk egy igazán jó becslést, nézzük, találunk-e egy igazán rosszat. Természetes jelölt egy olyan becslés, ami -en, az első rendstatisztikán alapul.
Mutassuk meg, hogy
Mutassuk meg, hogy , és emiatt torzítatlan!
Mutassuk meg, hogy , így még csak nem is konzisztens!
Futtassuk a egyenletes becslés kísérletetet ezerszer, tízes frissítési gyakorisággal, néhány különböző mintanagyságra és paraméterre! Minden esetben hasonlítsuk össze a becslések tapasztalati torzítását és átlagos négyzetes hibáját az elméleti értékeikkel! Rangsoroljuk a becsléseket az átlagos négyzetes hibájuk alapján!
A következő példák során megmutatjuk, hogy a maximum likelihood becslés nem szükségszerűen egyedi. Tegyük fel, hogy egy, az intervallumon egyenletes eloszlásból származó véletlen minta, ahol ismeretlen paraméter.
Mutassuk meg, hogy momentumok módszerével kapott becslése .
Mutassuk meg, hogy
Mutassuk meg, hogy minden statisztika az maximum likelihood becslése!
Visszatérve az eredeti felállásra, tegyük fel, hogy egy kölcsönösen egyértelmű leképezése a paramétertérnek a halmazra. -t tekinthetjük, mint egy új paramétert, ami térbeli értékeket vesz fel, és a sűrűségfüggvényt könnyen átparaméterezhetjük az új paraméterre. Így legyen:
A megfelelő likelihood függvény:
Tegyük fel, hogy maximalizálja -et esetén. Mutassuk meg, hogy maximalizálja -t esetén!
A 28. feladatból következik, hogy ha a maximum likelihood becslése, akkor a maximum likelihood becslése. Ez az eredmény mint invariáns tulajdonság ismert.
Tegyük fel, hogy egy paraméterű Poisson eloszlásból származó véletlen minta, és legyen . Keressük meg maximum likelihood becslését kétféleképpen:
Ha a függvény nem kölcsönösen egyértelmű, a paramétervektorra vonatkozó maximum likelihood probléma nem jól definiált, mivel nem tudjuk a sűrűségfüggvényt paraméterezni segítségével. Ebben az esetben is létezik azonban a maximum likelihood problémának egy természetes általánosítása. Legyen
Tegyük fel ismét, hogy maximalizálja -et esetén. Mutassuk meg, hogy maximalizálja -t esetén!
Az utolsó feladat eredménye kiterjeszti az invariáns tulajdonságot a paraméter több-az-egyhez transzformációjára: ha a maximum likelihood becslése, akkor maximum likelihood becslés -ra.
Tegyük fel, hogy egy elemű, Bernoulli eloszlásból származó véletlen minta, ismeretlen paraméterrel. Keressük meg (az eloszlás szórásnégyzete) maximum likelihood becslését!
Tegyük fel, hogy egy ismeretlen várható értékű és szórásnégyzetű normális eloszlásból származó véletlen minta. Keressük meg (az eloszlás második momentuma 0 körül) maximum likelihood becslését!