]> Legjobb torzítatlan becslések
  1. Virtual Laboratories
  2. 6. Pontbecslések
  3. 1
  4. 2
  5. 3
  6. 4
  7. 5
  8. 6

5. Legjobb torzítatlan becslések

Alapelmélet

Tekintsük ismét az alap statisztikai modellt, amelyben van egy véletlen kísérlet, ami egy megfigyelhető X valószínűségi változót eredményez, ami S halmazbeli értékeket vesz fel. A kísérlet tipikusan az, hogy n objektumot mintavételezünk a sokaságból és minden elem egy vagy több mérőszámát feljegyezzük. Ebben az esetben a megfigyelhető valószínűségi változó a következő alakú:

X X 1 X 2 X n

ahol X i az i -edik elem mérőszámainak vektora.

Tegyük fel, hogy θ az X eloszlásának egy valós paramétere, ami Θ paramétertérbeli értékeket vesz fel. Jelölje f θ X sűrűségfüggvényét θ Θ esetén. Jegyezzük meg, hogy a várható érték, szórásnégyzet, és kovariancia operátorok szintén függnek θ -tól, bár ezt néha elhagyjuk a jelölésből, hogy ne legyen túl nehezen kezelhető.

Tegyük fel most, hogy λ λ θ egy érdeklődésre számot tartó paraméter, ami θ -ból származtatott. Ebben a részben azzal az általános problémával foglalkozunk, hogy megtaláljuk λ legjobb becslését a torzítatlan becsléseinek egy osztályából. Emlékeztetünk arra, hogy ha U λ torzítatlan becslése, akkor θ U az átlagos négyzetes hiba. Így, ha U és V λ torzítatlan becslései és

θ U θ V  minden   θ Θ  esetén  

akkor U egyenletesen jobb becslés, mint V . Másrészt lehet olyan eset, hogy U szórásnégyzete kisebb bizonyos θ értékekre, míg más θ értékekre V szórásnégyzete kisebb. Ha U egyenletesen jobb, mint λ bármely más torzítatlan becslése, akkor U λ Egyenletesen Minimális Szórásnégyzetű Torzítatlan Becslése (Uniformly Minimum Variance Unbiased Estimator - UMVUE).

A Cramér-Rao alsó korlát

Megmutatjuk, hogy gyenge feltételek mellett létezik alsó korlát a λ paraméter torzítatlan becsléseinek szórásnégyzetére. Így, ha találunk egy becslést, ami eléri ezt az alsó korlátot minden θ Θ esetén, akkor ez a becslés szükségszerűen λ UMVUE becslése. A log likelihood függvény deriváltja kritikus szerepet játszik a vizsgálatunkban. Kisebb, de még mindig nagyon fontos szerepe van a log-likelihood függvény második deriváltja ellentettjének. Sokkal könnyebb lesz az életünk, ha elnevezzük ezeket a függvényeket. Így ebben a részben legyen

L x θ θ f θ x ,  x S ,  θ Θ L 2 x θ θ 2 f θ x ,  x S ,  θ Θ

A következő feltételezést kell tennünk: h S esetén θ h X minden θ Θ -ra, akkor

θ θ h X θ h X L X θ ,  θ Θ

Mutassuk meg, hogy ez a feltételezés ekvivalens azzal a feltételezéssel, hogy a θ deriválás operátor felcserélhető az θ várható érték operátorral!

Általánosságban az alapfeltételezés teljesül, ha az f θ x θ differenciálható függvénye, a derivált együttesen folytonos x -ben és θ -ban, és ha az x S f θ x 0 halmaz, f θ tartója, nem függ θ -tól.

Mutassuk meg, hogy θ L X θ 0    θ Θ  esetén!  Útmutatás: Használjuk az alapfeltételt h x 1    x S -sel!

Mutassuk meg, hogy

θ h X L X θ θ θ h X
  1. Először is ismerjük fel, hogy a kovariancia egyszerűen a változók szorzatának várható értéke, mivel a második változó várható értéke 0 a 2. feladat szerint!
  2. Használjuk az alapfeltételt!

Igazoljuk a következő azonosságot! Útmutatás: A változó várható értéke 0.

θ L X θ θ L 2 X θ

Végül használjuk a Cauchy-Schwarz egyenlőtlenséget, hogy megállapítsuk a Cramér-Rao alsó korlátot, (Harold Cramér és CR Rao után van elnevezve):

θ h X θ θ h X 2 θ L 2 X θ

Tegyük fel most, hogy λ θ egy minket érdeklő paraméter és h X a λ θ torzítatlan becslése. Használjuk a Cramér-Rao alsó korlátot, hogy megmutassuk

θ h X θ λ θ 2 θ L 2 X θ

Mutassuk meg, hogy a 6. feladatban egyenlőség áll fenn (és így h X egy UMVUE) akkor és csak akkor, ha létezik egy u θ függvény, melyre (1 valószínűséggel)

h X λ θ u θ L X θ
  1. A Cauchy-Schwarz egyenlőtlenségben akkor és csak akkor áll fenn egyenlőség, ha a valószínűségi változók egymás lineáris transzformáltjai.
  2. Emlékezzünk vissza, hogy L X θ várható értéke 0.

Az θ L 2 X θ mennyiséget - ami megjelenik az 5. feladatban és a 6. feladatban szereplő alsó korlátok nevezőjében - X Fisher-féle információmennyiségének nevezzük (Sir Ronald Fisherről van elnevezve). A következő feladatokban a 6. feladatban szereplő kifejezésre adunk alternatív változatot, amely általában könnyebben kiszámolható.

Mutassuk meg, hogy ha a megfelelő deriváltak léteznek és a megfelelő felcserélések megengedettek, akkor

θ L 2 X θ θ L 2 X θ

Kapcsoljuk össze a 6. feladat és a 8. feladat eredményeit és mutassuk meg, hogy ha λ θ egy minket érdeklő paraméter és h X a λ θ torzítatlan becslése, akkor

θ h X θ λ θ 2 θ L 2 X θ

Véletlen minták

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta az X valószínűségi változó eloszlásából, sűrűségfüggvénye g θ és R halmazbeli értékeket vesz fel. Így S R n . Kisbetűvel fogjuk jelölni X log-likelihood függvényének deriváltját és X log-likelihood függvénye második deriváltjának mínusz egyszeresét:

l x θ θ g θ x ,  x R ,  θ Θ l 2 x θ θ 2 g θ x ,  x R ,  θ Θ

Mutassuk meg, hogy

  1. θ L 2 X θ n θ l 2 X θ
  2. θ L 2 X θ n θ l 2 X θ

Igazoljuk a Cramér-Rao alsó korlát következő speciális esetét:

θ h X θ θ h X 2 n θ l 2 X θ

Tegyük fel, hogy λ θ egy minket érdeklő paraméter és h X λ θ torzítatlan becslése. Az előző feladat felhasználásával mutassuk meg, hogy

θ h X θ λ θ 2 n θ l 2 X θ

Figyeljük meg, hogy a Cramér-Rao alsó korlát az n mintanagysággal fordítottan arányos!

Az előző feladat beállításait feltételezve igazoljuk a következőt (feltesszük, hogy a megfelelő deriváltak léteznek és a megfelelő felcserélések megengedhetőek):

θ h X θ λ θ 2 n θ l 2 X θ

Példák és speciális esetek

A fenti eredményeket eloszlások különböző paraméteres családjaira fogjuk alkalmazni. Először felidézünk néhány standard jelölést. Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta a valós értékű, μ várható értékű, X valószínűségi változó eloszlásából. A mintaátlag

M 1 n i 1 n X i

A tapasztalati szórásnégyzet és a korrigált tapasztalati szórásnégyzet

W 2 1 n i 1 n X i μ 2 ,  S 2 1 n 1 i 1 n X i M 2

A Bernoulli eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta a Bernoulli eloszlásból, ismeretlen p 0 1 sikerparaméterrel. Az alapfeltételezés teljesül.

Mutassuk meg, hogy 1 n p 1 p a Cramér-Rao alsó korlát p torzítatlan becslései szórásnégyzetére!

Mutassuk meg, hogy az M mintaátlag (ami a sikerek aránya) eléri az előző feladatban adott alsó korlátot, így p egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!

A Poisson eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta a Poisson eloszlásból, ismeretlen a 0 paraméterrel. Az alapfeltételezés teljesül.

Mutassuk meg, hogy a n a Cramér-Rao alsó korlát a torzítatlan becslései szórásnégyzetére!

Mutassuk meg, hogy az M mintaátlag eléri az előző feladatbeli alsó korlátot, így a egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!

A normális eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta a normális eloszlásból, μ várható értékkel és σ 2 0 szórásnégyzettel. Az alapfeltételezés teljesül mindkét paraméterre. A negyedik centrális momentum X μ 4 3 σ 4 .

Mutassuk meg, hogy σ 2 n a Cramér-Rao alsó korlát μ torzítatlan becslései szórásnégyzetére!

Mutassuk meg, hogy az M mintaátlag eléri az előző feladatbeli alsó korlátot, így μ egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!

Mutassuk meg, hogy 2 σ 4 n a Cramér-Rao alsó korlát σ 2 torzítatlan becslései szórásnégyzetére!

Mutassuk meg, hogy a korrigált tapasztalati szórásnégyzet S 2 szórásnégyzete 2 σ 4 n 1 , így nem éri el az előző feladatban adott alsó korlátot!

Mutassuk meg, ha μ ismert, akkor a W 2 tapasztalati szórásnégyzet eléri a 20. feladat alsó korlátját, és így σ 2 egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!

Mutassuk meg, ha μ ismeretlen, akkor σ 2 egyetlen torzítatlan becslése sem éri el a 20. feladatbeli Cramér-Rao alsó korlátot! Útmutatás: Használjuk a 7. feladat eredményét!

A gamma eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta a gamma eloszlásból, ismert k alakparaméterrel és ismeretlen b 0 skálaparaméterrel. Az alapfeltételezés teljesül b -re.

Mutassuk meg, hogy b 2 n k a Cramér-Rao alsó korlát b torzítatlan becslései szórásnégyzetére!

Mutassuk meg, hogy M k eléri az előző feladatbeli alsó korlátot és így b egyenletesen minimális szórásnégyzetű torzítatlan becslése (UMVUE)!

A béta eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta a béta eloszlásból, a 0 bal-paraméterrel és b 1 jobb-paraméterrel. Az alapfeltételezés teljesül a -ra.

Mutassuk meg vagy idézzük fel, hogy az eloszlás várható értéke és szórásnégyzete:

  1. μ a a 1
  2. σ 2 a a 1 2 a 2

Mutassuk meg, hogy a Cramér-Rao alsó korlát μ torzítatlan becslései szórásnégyzetére a 2 n a 1 4 .

Mutassuk meg, hogy az M mintaátlag nem éri el az előző feladatbeli Cramér-Rao alsó korlátot és így nem egyenletesen minimális szórásnégyzetű torzítatlan becslés (UMVUE) μ -re!

Az egyenletes eloszlás

Tegyük fel, hogy X X 1 X 2 X n egy n elemű véletlen minta a 0 a intervallumon egyenletes eloszlásból, ahol a 0 az ismeretlen paraméter.

Mutassuk meg, hogy az alapfeltételezés nem teljesül!

Mutassuk meg, hogy a Cramér-Rao alsó korlát a torzítatlan becslései szórásnégyzetére a 2 n . Természetesen a Cramér-Rao tétel nem alkalmazható az előző feladat eredménye miatt.

Mutassuk meg (vagy emlékezzünk vissza) hogy V n 1 n X 1 X 2 X n torzítatlan és szórásnégyzete a 2 n n 2 , ami kisebb, mint az előző feladatbeli Cramér-Rao korlát!

Annak, hogy az alapfeltételezés nem teljesül, az az oka, hogy a x f a x 0 halmaz f a tartója függ a -tól.

Legjobb lineáris torzítatlan becslések

Tekintsünk egy valamennyire specializált problémát, de olyat, ami illeszkedik ennek a résznek az általános témájához. Tegyük fel, hogy X X 1 X 2 X n megfigyelhető, valós értékű valószínűségi változók sorozata, melyek korrelálatlanok és ugyanaz a várható értékük: μ , ami ismeretlen; de esetleg különböző a szórásuk. Legyen

σ σ 1 σ 2 σ n , ahol σ i X i minden i 1 2 n esetén.

Tekintsük μ olyan becsléseit, amik lineáris kombinációi az eredményváltozóknak. Pontosabban a következő alakú becsléseket tekintjük, ahol a c c 1 c 2 c n együtthatókat a későbbiekben határozzuk meg:

Y i 1 n c i X i

Mutassuk meg, hogy Y akkor és csak akkor torzítatlan, ha i 1 n c i 1 !

Számítsuk ki Y szórásnégyzetét c és σ segítségével!

Használjuk a Lagrange-féle multiplikátor módszerét (Joseph-Louis Lagrange-ról van elnevezve), hogy megmutassuk, a szórásnégyzet minimális, feltételezve a torzítatlanságot, amikor

c j 1 σ j 2 i 1 n 1 σ i 2 ,  j 1 2 n

Ez a feladat azt mutatja meg, hogyan konstruáljuk meg μ Legjobb Lineáris Torzítatlan Becslését - Best Linear Unbiased Estimator (BLUE), feltéve, hogy a szórások vektora, σ , ismert.

Tegyük fel, hogy σ i σ minden i 1 2 n esetén, azaz az eredményváltozóknak megegyezik a szórásuk. Speciálisan, ez az eset áll fent, ha az eredményváltozók n elemű véletlen mintát alkotnak egy μ várható értékű és σ szórású eloszlásból.

Mutassuk meg, hogy ebben az esetben a szórásnégyzet minimális, ha c i 1 n minden i -re és így Y M , a mintaátlag!

Ez a feladat megmutatja, hogy az M mintaátlag a μ legjobb lineáris torzítatlan becslése (BLUE), mikor a szórások megegyeznek, továbbá ehhez nem kell ismerni a szórást.

  1. Virtual Laboratories
  2. 6. Pontbecslések
  3. 1
  4. 2
  5. 3
  6. 4
  7. 5
  8. 6