]>
Tekintsük ismét az alap statisztikai modellt, amelyben van egy véletlen kísérlet, ami egy megfigyelhető valószínűségi változót eredményez, ami halmazbeli értékeket vesz fel. A kísérlet tipikusan az, hogy objektumot mintavételezünk a sokaságból és minden elem egy vagy több mérőszámát feljegyezzük. Ebben az esetben a megfigyelhető valószínűségi változó a következő alakú:
ahol az -edik elem mérőszámainak vektora.
Tegyük fel, hogy az eloszlásának egy valós paramétere, ami paramétertérbeli értékeket vesz fel. Jelölje sűrűségfüggvényét esetén. Jegyezzük meg, hogy a várható érték, szórásnégyzet, és kovariancia operátorok szintén függnek -tól, bár ezt néha elhagyjuk a jelölésből, hogy ne legyen túl nehezen kezelhető.
Tegyük fel most, hogy egy érdeklődésre számot tartó paraméter, ami -ból származtatott. Ebben a részben azzal az általános problémával foglalkozunk, hogy megtaláljuk legjobb becslését a torzítatlan becsléseinek egy osztályából. Emlékeztetünk arra, hogy ha torzítatlan becslése, akkor az átlagos négyzetes hiba. Így, ha és torzítatlan becslései és
akkor egyenletesen jobb becslés, mint . Másrészt lehet olyan eset, hogy szórásnégyzete kisebb bizonyos értékekre, míg más értékekre szórásnégyzete kisebb. Ha egyenletesen jobb, mint bármely más torzítatlan becslése, akkor Egyenletesen Minimális Szórásnégyzetű Torzítatlan Becslése (Uniformly Minimum Variance Unbiased Estimator - UMVUE).
Megmutatjuk, hogy gyenge feltételek mellett létezik alsó korlát a paraméter torzítatlan becsléseinek szórásnégyzetére. Így, ha találunk egy becslést, ami eléri ezt az alsó korlátot minden esetén, akkor ez a becslés szükségszerűen UMVUE becslése. A log likelihood függvény deriváltja kritikus szerepet játszik a vizsgálatunkban. Kisebb, de még mindig nagyon fontos szerepe van a log-likelihood függvény második deriváltja ellentettjének. Sokkal könnyebb lesz az életünk, ha elnevezzük ezeket a függvényeket. Így ebben a részben legyen
A következő feltételezést kell tennünk: esetén minden -ra, akkor
Mutassuk meg, hogy ez a feltételezés ekvivalens azzal a feltételezéssel, hogy a deriválás operátor felcserélhető az várható érték operátorral!
Általánosságban az alapfeltételezés teljesül, ha az differenciálható függvénye, a derivált együttesen folytonos -ben és -ban, és ha az halmaz, tartója, nem függ -tól.
Mutassuk meg, hogy Útmutatás: Használjuk az alapfeltételt -sel!
Mutassuk meg, hogy
Igazoljuk a következő azonosságot! Útmutatás: A változó várható értéke 0.
Végül használjuk a Cauchy-Schwarz egyenlőtlenséget, hogy megállapítsuk a Cramér-Rao alsó korlátot, (Harold Cramér és CR Rao után van elnevezve):
Tegyük fel most, hogy egy minket érdeklő paraméter és a torzítatlan becslése. Használjuk a Cramér-Rao alsó korlátot, hogy megmutassuk
Mutassuk meg, hogy a 6. feladatban egyenlőség áll fenn (és így egy UMVUE) akkor és csak akkor, ha létezik egy függvény, melyre (1 valószínűséggel)
Az mennyiséget - ami megjelenik az 5. feladatban és a 6. feladatban szereplő alsó korlátok nevezőjében - Fisher-féle információmennyiségének nevezzük (Sir Ronald Fisherről van elnevezve). A következő feladatokban a 6. feladatban szereplő kifejezésre adunk alternatív változatot, amely általában könnyebben kiszámolható.
Mutassuk meg, hogy ha a megfelelő deriváltak léteznek és a megfelelő felcserélések megengedettek, akkor
Kapcsoljuk össze a 6. feladat és a 8. feladat eredményeit és mutassuk meg, hogy ha egy minket érdeklő paraméter és a torzítatlan becslése, akkor
Tegyük fel, hogy egy elemű véletlen minta az valószínűségi változó eloszlásából, sűrűségfüggvénye és halmazbeli értékeket vesz fel. Így . Kisbetűvel fogjuk jelölni log-likelihood függvényének deriváltját és log-likelihood függvénye második deriváltjának mínusz egyszeresét:
Mutassuk meg, hogy
Igazoljuk a Cramér-Rao alsó korlát következő speciális esetét:
Tegyük fel, hogy egy minket érdeklő paraméter és torzítatlan becslése. Az előző feladat felhasználásával mutassuk meg, hogy
Figyeljük meg, hogy a Cramér-Rao alsó korlát az mintanagysággal fordítottan arányos!
Az előző feladat beállításait feltételezve igazoljuk a következőt (feltesszük, hogy a megfelelő deriváltak léteznek és a megfelelő felcserélések megengedhetőek):
A fenti eredményeket eloszlások különböző paraméteres családjaira fogjuk alkalmazni. Először felidézünk néhány standard jelölést. Tegyük fel, hogy egy elemű véletlen minta a valós értékű, várható értékű, valószínűségi változó eloszlásából. A mintaátlag
A tapasztalati szórásnégyzet és a korrigált tapasztalati szórásnégyzet
Tegyük fel, hogy egy elemű véletlen minta a Bernoulli eloszlásból, ismeretlen sikerparaméterrel. Az alapfeltételezés teljesül.
Mutassuk meg, hogy a Cramér-Rao alsó korlát torzítatlan becslései szórásnégyzetére!
Mutassuk meg, hogy az mintaátlag (ami a sikerek aránya) eléri az előző feladatban adott alsó korlátot, így egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!
Tegyük fel, hogy egy elemű véletlen minta a Poisson eloszlásból, ismeretlen paraméterrel. Az alapfeltételezés teljesül.
Mutassuk meg, hogy a Cramér-Rao alsó korlát torzítatlan becslései szórásnégyzetére!
Mutassuk meg, hogy az mintaátlag eléri az előző feladatbeli alsó korlátot, így egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!
Tegyük fel, hogy egy elemű véletlen minta a normális eloszlásból, várható értékkel és szórásnégyzettel. Az alapfeltételezés teljesül mindkét paraméterre. A negyedik centrális momentum .
Mutassuk meg, hogy a Cramér-Rao alsó korlát torzítatlan becslései szórásnégyzetére!
Mutassuk meg, hogy az mintaátlag eléri az előző feladatbeli alsó korlátot, így egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!
Mutassuk meg, hogy a Cramér-Rao alsó korlát torzítatlan becslései szórásnégyzetére!
Mutassuk meg, hogy a korrigált tapasztalati szórásnégyzet szórásnégyzete , így nem éri el az előző feladatban adott alsó korlátot!
Mutassuk meg, ha ismert, akkor a tapasztalati szórásnégyzet eléri a 20. feladat alsó korlátját, és így egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!
Mutassuk meg, ha ismeretlen, akkor egyetlen torzítatlan becslése sem éri el a 20. feladatbeli Cramér-Rao alsó korlátot! Útmutatás: Használjuk a 7. feladat eredményét!
Tegyük fel, hogy egy elemű véletlen minta a gamma eloszlásból, ismert alakparaméterrel és ismeretlen skálaparaméterrel. Az alapfeltételezés teljesül -re.
Mutassuk meg, hogy a Cramér-Rao alsó korlát torzítatlan becslései szórásnégyzetére!
Mutassuk meg, hogy eléri az előző feladatbeli alsó korlátot és így egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!
Tegyük fel, hogy egy elemű véletlen minta a béta eloszlásból, bal-paraméterrel és jobb-paraméterrel. Az alapfeltételezés teljesül -ra.
Mutassuk meg vagy idézzük fel, hogy az eloszlás várható értéke és szórásnégyzete:
Mutassuk meg, hogy a Cramér-Rao alsó korlát torzítatlan becslései szórásnégyzetére .
Mutassuk meg, hogy az mintaátlag nem éri el az előző feladatbeli Cramér-Rao alsó korlátot és így nem egyenletesen minimális szórásnégyzetű torzítatlan becslés (UMVUE) -re!
Tegyük fel, hogy egy elemű véletlen minta a intervallumon egyenletes eloszlásból, ahol az ismeretlen paraméter.
Mutassuk meg, hogy az alapfeltételezés nem teljesül!
Mutassuk meg, hogy a Cramér-Rao alsó korlát torzítatlan becslései szórásnégyzetére . Természetesen a Cramér-Rao tétel nem alkalmazható az előző feladat eredménye miatt.
Mutassuk meg (vagy emlékezzünk vissza) hogy torzítatlan és szórásnégyzete , ami kisebb, mint az előző feladatbeli Cramér-Rao korlát!
Annak, hogy az alapfeltételezés nem teljesül, az az oka, hogy a halmaz tartója függ -tól.
Tekintsünk egy valamennyire specializált problémát, de olyat, ami illeszkedik ennek a résznek az általános témájához. Tegyük fel, hogy megfigyelhető, valós értékű valószínűségi változók sorozata, melyek korrelálatlanok és ugyanaz a várható értékük: , ami ismeretlen; de esetleg különböző a szórásuk. Legyen
, ahol minden esetén.
Tekintsük olyan becsléseit, amik lineáris kombinációi az eredményváltozóknak. Pontosabban a következő alakú becsléseket tekintjük, ahol a együtthatókat a későbbiekben határozzuk meg:
Mutassuk meg, hogy akkor és csak akkor torzítatlan, ha !
Számítsuk ki szórásnégyzetét és segítségével!
Használjuk a Lagrange-féle multiplikátor módszerét (Joseph-Louis Lagrange-ról van elnevezve), hogy megmutassuk, a szórásnégyzet minimális, feltételezve a torzítatlanságot, amikor
Ez a feladat azt mutatja meg, hogyan konstruáljuk meg Legjobb Lineáris Torzítatlan Becslését - Best Linear Unbiased Estimator (BLUE), feltéve, hogy a szórások vektora, , ismert.
Tegyük fel, hogy minden esetén, azaz az eredményváltozóknak megegyezik a szórásuk. Speciálisan, ez az eset áll fent, ha az eredményváltozók elemű véletlen mintát alkotnak egy várható értékű és szórású eloszlásból.
Mutassuk meg, hogy ebben az esetben a szórásnégyzet minimális, ha minden -re és így , a mintaátlag!
Ez a feladat megmutatja, hogy az mintaátlag a legjobb lineáris torzítatlan becslése (BLUE), mikor a szórások megegyeznek, továbbá ehhez nem kell ismerni a szórást.