processo

Processos Markovianos de Decisão

Processos de Markov

Um processo de Markov consiste num conjunto de objectos e num conjunto de estados tais que

i) Em qualquer instante cada objecto deve estar num estado (objectos distintos não estão necessariamente em estados diferentes), ii) A probabilidade de que um objecto passe de um estado para outro (que pode ser o mesmo que o inicial) num período de tempo depende apenas desses dois estados.

O número inteiro de períodos de tempo passados desde o início do processo é o estágio do processo. Esse número pode ser finito ou infinito.
Se o número de estados é finito ou infinito numerável, o processo Markov é uma cadeia de Markov.
Uma cadeia de Markov com um número finito de estados diz-se uma cadeia de Markov finita.
Designaremos a probabilidade de passar do estado para o estado num certo período de tempo por .
Para uma cadeia de Markov de estados (sendo um número inteiro fixo), a matriz (quadrada de ordem ) é a matriz de transição ou estocástica associada ao processo.
Como primeiras propriedades de temos:

i) A soma de todos os elementos de cada linha da matriz é 1,

ii) Toda a matriz estocástica tem 1 como valor próprio (possivelmente com multiplicidade superior a 1) e nenhum dos seus valores próprios excede 1 em valor absoluto.

Seja um vector com coordenadas (neste caso uma linha com elementos.
Recorde-se que os valores próprios de verificam a igualdade

sendo um valor próprio e, como (sendo I a matriz identidade de ordem , eles determinam-se resolvendo a equação

.

Resulta, imediatamente, da segunda propriedade de vista atrás que existe um vector , tal que

que se designa por ponto fixo de .

Exemplo

Os dados de um censo dividem as famílias em populações economicamente estáveis e economicamente em depressão. Depois de um período de 10 anos, a probabilidade de que uma família estável assim permaneça é de , enquanto que a probabilidade de ela ficar em depressão