Sztochasztikus folyamatok 1. feladatsor A Markov-tulajdonság

1.1 Kovácsék naponta olvassák az újságot, majd a szoba sarkában lévő újságkupac tetejére teszik a kiolvasott példányt. Esténként 1/3 valószínűséggel, valamelyik családtag fogja a teljes újságkupacot és kidobja a szemétbe. Valahányszor öt újság gyűlik fel a kupacban, Kovács úr fogja magát és kidobja a kupacot (1 valószínűséggel). Tekintsük esténként (tehát az esetleges selejtezés után) a kupacban lévő újságok számát.

(a) Ésszerű-e Markov lánccal modellezni a folyamatot? Ha igen, azonosítsuk a Markov lánc állapotterét és írjuk fel az átmenetvalószínűségek mátrixát.

(b) Vasárnap este üres volt az újságkupac. Mekkora valószínűséggel lesz csütörtök este pontosan egy újság a kupacban? Számítsa ki esetszétválasztással és mátrix hatványozással is.

1.2 Írjuk le egy olyan elágazó folyamat átmenet mátrixát, amelyben az egyes egyedek leszármazottainak száma geometriai eloszlású. (E Markov lánc állapottere nem véges, hanem megszámlálható végtelen — no de sebaj!)

1.3 (Bernoulli-Laplace urnamodell keverésre)

Két urnában vannak golyóink: N darab mindkettőben. A golyók közül N kék és N piros. A golyókat a következő képpen keverjük: időegységenként kiválasztunk véletlenszerűen egy-egy golyót mindkét urnából és a kettőt kicseréljük. (Az egyes urnákban lévő golyók száma nem változik, de a színek eloszlása igen.) Írjuk le a folyamat S állapotterét és P átmenet mátrixát.

1.4 Markov-lánc kontrakció

(a) Az X_{t} diszkrét idejű Markov lánc állapotainak halmaza S = {1, 2, 3}, átmenet mátrixa pedig

P = ( \begin{matrix}3/7 & 3/7 & 1/7 \\ 1/11 & 2/11 & 8/11 \\ 1/11 & 3/11 & 6/11 \end{matrix} ) .

A kezdeti t = 0 időpillanatban a lánc állapotainak eloszlása tetszőleges μ_{0}. Legyen

Y_{t} = \{ \begin{matrix}1 & ha & X_{t} = 1 \\ 2 & ha & X_{t} ≠ 1. \end{matrix}

Mutassuk meg, hogy az Y_{t} folyamat szintén Markov láncot alkot és számítsuk ki az átmenet mátrixát.

(b) Legyen X_{1}, X_{2}, … homogén Markov-lánc az S véges állapottéren, P átmenetmátrixszal. Legyen φ : S → Ŝ, nem feltétlenül injektív leképezés. Fogalmazzon meg egyszerű feltételt P -re, hogy Y_{1}, Y_{2}, … is Markov-lánc legyen, ahol Y_{i} := φ(X_{i}). Adja meg az új Markov-lánc átmenetmátrixát.

(c) Legyen S az a \binom{2n}{n}-elemű halmaz, aminek az elemei a Bernulli-Laplace urna lehetséges konfigurációi. Tekinsük ezen az állapottéren a B-L modell keverési modell dinamikáját. Legyen φ az a függvény, ami megmondja az első n urnában levő piros golyók számát. Mutassuk meg, hogy teljesülnek a Markov-lánc kontrakció feltételei.

1.5 Legyen X_{1}, X_{2}, …, X_{n} olyan valószínűségi változó-sorozat, amire X_{i} ∈ S, ahol S megszámlálható. Lássa be, hogy a következő három feltétel ekvivalens:

(a) X_{1}, X_{2}, …, X_{n} Markov-lánc: Minden k-ra

P(X_{k+1} = s_{k+1}|X_{1} = s_{1}, …, X_{k} = s_{k}) = P(X_{k+1} = s_{k+1}|X_{k} = s_{k})

(b) Vannak olyan P^{1}, …, P^{n−1} sztochasztikus mátrixok (a felső index itt nem hatványt jelöl!), amikre

P(X_{1} = s_{1}, …, X_{k} = s_{k}) = P(X_{1} = s_{1}) ∏_{i=1}^{k−1} P_{s_{i},s_{i+1}}^{i}

(c) A jelen ismeretében múlt és jövő függetlenek, azaz minden k-ra és minden M ⊆ S^{k−1}, J ⊆ S^{n−k} és s_{k} ∈ S esetén

P((X_{1}, …, X_{k−1}) ∈ M és (X_{k+1}, …, X_{n}) ∈ J|X_{k} = s_{k}) = P((X_{1}, …, X_{k−1}) ∈ M|X_{k} = s_{k})P((X_{k+1}, …, X_{n}) ∈ J|X_{k} = s_{k})

1.6 Legyen X_{t}, t ∈ ℕ, Markov lánc, melynek állapottere S véges halmaz. Legyenek A_{1}, A_{2}, …, A_{n} ⊂ S állapotok részhalmazai és 0 ≤ t_{1} < t_{2} < ⋯ < t_{n} rögzített időpontok. Következik-e a Markov tulajdonságból, hogy

P(X_{t_{n}} ∈ A_{n}|X_{t_{1}} ∈ A_{1}, …, X_{t_{n−1}} ∈ A_{n−1}) = P(X_{t_{n}} ∈ A_{n}|X_{t_{n−1}} ∈ A_{n−1})?

1.7 Legyen X_{0}, X_{1}, …, X_{n} homogén, véges állapotterű Markov-lánc μ_{0} kezdeti eloszlással es P átmenetmátrixszal. Mutassuk meg, hogy a Y_{i} = X_{n−i} megfordított folyamat is egy (nem feltétlenül homogén) Markovlánc! Adjuk meg a kezdeti eloszlását és az átmenetmátrixokat (mátrixműveletek segítségével). Mutassuk meg, hogy az átmenetmátrixok valóban sztochasztikusak, azaz a sorösszegeik 1-et adnak.

1.8 Legyen ξ_{1}, ξ_{2}, … független és azonos eloszlású valószínűségi változók sorozata, melyeknek közös eloszlása P(ξ_{j} = 1) = p = 1 − P(ξ_{j} = 0). Legyen X_{n} := ξ_{n} + ξ_{n+1} + ξ_{n+2}. Markov lánc-e az X_{n}, n ∈ ℕ, valószínűségi változó sorozat?

1.9 A ξ_{t}, t = 1, 2, … valószínűségi változók legyenek függetlenek és azonos P(ξ_{t} = 1) = p = 1 − P(ξ_{t} = −1) eloszlásúak. Vizsgáljuk meg, hogy Markov láncot alkotnak-e a következő valószínűségi változó sorozatok:

(a) X_{t} := ξ_{t}ξ_{t+1};

(b) Y_{t} := ξ_{1}ξ_{2} … ξ_{t};

(c) Z_{t} := Φ(ξ_{t}, ξ_{t+1}), ahol Φ(−1, −1) = 1, Φ(−1, 1) = 2, Φ(1, −1) = 3, Φ(1, 1) = 4. A Markov láncokra számítsuk ki az egy lépéses átmenetvalószínűségmátrixokat.

1.10 Osztályozzuk az alábbi Markov láncok állapotait (a)

S = \{1, 2, 3\}, P = ( \begin{matrix}0 & 1/2 & 1/2 \\ 1/2 & 0 & 1/2 \\ 1/2 & 1/2 & 0 \end{matrix} ) .

(b)

S = \{1, 2, 3, 4\}, P = ( \begin{matrix}0 & 0 & 0 & 1 \\ 0 & 0 & 0 & 1 \\ 1/2 & 1/2 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix} ) .

(c)

S = \{1, 2, 3, 4, 5\}, P = ( \begin{matrix}1/2 & 0 & 1/2 & 0 & 0 \\ 1/4 & 1/2 & 1/4 & 0 & 0 \\ 1/2 & 0 & 1/2 & 0 & 0 \\ 0 & 0 & 0 & 1/2 & 1/2 \\ 0 & 0 & 0 & 1/2 & 1/2 \end{matrix} ) .

(d)

S = \{1, 2, 3, 4, 5, 6\}, P = ( \begin{matrix}0 & 1/2 & 1/2 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1/3 & 1/3 & 1/3 \\ 0 & 0 & 0 & 1/3 & 1/3 & 1/3 \\ 1 & 0 & 0 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 & 0 & 0 \end{matrix} ) .

1.11 Bizonyítandó, hogy azonos irreducibilis komponenshez tartozó állapotoknak azonos a periódusa.

1.12 (a) Legyenek X_{1}, X_{2}, … független, azonos eloszlású pozitív egész értékű valószínűségi változók F (z) generátorfüggvénnyel, és legyen S_{n} = X_{1} + X_{2} + … + X_{n}. Legyen

Y_{k} = \begin{cases}1, & ha ∃n, hogy S_{n} = k, \\ 0 & egyébként \end{cases}

Legyen u_{k} = P(Y_{k} = 1). U(z) = ∑_{k=0}^{∞} u_{k}z^{k} =?

(b) ∑_{n=1}^{∞} \binom{2n}{n}x^{n} =?