Cadeias de Markov

1.3. Cadeias de Markov
1.3.1. Cadeias de Markov em tempo discreto

Consideremos um processo estoc´stico a discreto {Xn : n = 0, 1, 2, . . . } que assume um n´mero finito ou inu finito numer´vel de estados. a Se Xn = i, dizemos que o processo se encontra no estado i no instante n .

Admitiremos que existe uma probabilidade fixa pij do processo e transitar para o estado j a partir do estado i, isto ´, pij = P [Xn+1 = j|Xn = i],

n ≥ 0.
1

Defini¸˜o ca 1.3.1.1
Um
processo estoc´stico a
{Xn : n = 0, 1, 2, . . . } ´ uma cadeia de Markov, ou possui e a propriedade markoviana, se
P [Xn+1 = j|Xn = i, Xn−1 = in−1, . . . , X1 = i1, X0 = i0]
= P [Xn+1 = j|Xn = i] = pij , para quaisquer estados i0, i1, . . . , in−1, i, j e n ≥ 0.

A propriedade markoviana pode ser interpretada do seguinte modo: a probabilidade condicional de qualquer estado futuro, conhecidos os estados do presente e do passado, ´ independente e dos estados do passado, ou seja, para predizer o futuro s´ preo cisamos de conhecer o presente.
2

As probabilidades condicionais pij , i, j ≥ 0 s˜o chamadas proa babilidades de transi¸˜o (a um passo). ca Como consequˆncia imediata temos e ∞

pij ≥ 0, , i, j ≥ 0

e

pij = 1. j=0 a
Por outro lado, as probabilidades de transi¸˜o n˜o dependem ca do instante n, ou seja, pij = P [Xn+1 = j|Xn = i] = P [X1 = j|X0 = i] ,

n ≥ 1,

pelo que se dizem estacion´rias ou homog´neas. a e
3

As probabilidades de transi¸˜o s˜o dispostas numa matriz P deca a nominada matriz de transi¸˜o ca 

p00 p01 p02
p
p p 
P =  10 11 12
p20 p21 p22
.
.
.
.
.
.
.
.
.



...
. . .


. . .
...

As cadeias de Markov s˜o importantes porque conseguem moa delar v´rios fen´menos reais. a o
Exemplo 1.3.1.1 Suponhamos que a probabilidade de chover num determinado dia depende apenas das condi¸˜es meteoco rol´gicas do dia anterior, mais especificamente se choveu ou o n˜o no dia anterior.