Algo

Aprendizagem Bayesiana
Francisco Carvalho
DI-UFPE

Métodos Bayesianos
Fornece algoritmos práticos de aprendizagem
 Aprendizagem

Bayesiana ingenua

 Aprendizagem

de Redes Bayesianas

 Combina

conhecimento a priori (probabilidade a priori ou incondicional) com dados de observação

 Requer

probabilidades à priori

Teorema de Bayes
P( D / h ) P( h )
P( h / D ) 
P( D )


P(h): probabilidade a priori da hipótese h



P(D): probabilidade a priori dos dados de treinamento D



P(h/D): probabilidade de h dado D



P(D/h): probabilidade de D dado h

Escolha de hipóteses




Geralmente deseja-se a hipótese mais provável observados os dados de treinamento
Hipótese de maior probabilidade a posteriori hMAP h MAP

 arg max P( h / D) hH P( D / h ) P( h )
 arg max
P( D ) hH  arg max P( D / h )P( h ) hH 

Hipótese de máxima verossimilhança hML h ML  arg max P( D / h i ) h iH

Aplicação do Teorema de Bayes:
Diagnóstico Médico
•Seja
M=doença meningite S= dor de cabeça
•Um Doutor sabe:
P(S/M)=0.5
P(M)=1/50000

P(S)=1/20

P(M/S)=P(S/M)P(M)
P(S)

=0,5*(1/50000)=0,002
1/20
•A probabilidade de uma pessoa ter meningite dado que ela está com dor de cabeça é 0,02% ou ainda
1 em 5000.

Fórmulas Básicas de Probabilidade


Regra do Produto: Probabilidade de uma conjunção de dois eventos A e B
P( A  B)  P( A / B)P( B)  P( B / A)P( A)



Regra da Soma: Probabilidade de uma disjunção de dois eventos A e B
P( A  B)  P( A)  P( B)  P( A  B)



Teorema da Probabilidade Total: Se os eventos A1,,An são mutuamente exclusivos e formam uma partição do evento certo n P( B)   P( B / A i )P( A i ) i 1

Teorema da Probabilidade Total
B1

B3

B6

A

B2

B4

B5


P( A )   P( A / Bk )P( Bk ) k Teorema da Multiplicação de Probabilidades
P( A1    A n )  P( A n / A1    A n1 )P( A1    A n1 )


P( A1    A n )  P( A