ID3 KNN Gen Ticos

Algoritmos de decisão
ID3, KNN e Genéticos

ID3
O algoritmo ID3 foi originalmente desenvolvido por Ross Quinlan. Foi publicado pela primeira vez no livro “Machine Learning “, em 1986.
Este é um algoritmo de classificação supervisionada, que é dizer que ele baseia-se em exemplos já classificadas em um conjunto de classes para determinar um modelo de classificação.

ID3
O algoritmo ID3 é uma arvore de decisão* indutiva utilizada amplamente no campo da inteligência artificial, é um algoritmo que constrói uma árvore de decisão da seguinte forma:
– Cada vértice (nodo) corresponde a um atributo, e cada aresta da árvore a um valor possível do atributo.
– Uma folha da árvore corresponde ao valor esperado da decisão segundo os dados de treino utilizados
(classe).

ID3
As árvores de decisão são representações simples do conhecimento e têm sido aplicadas em sistemas de aprendizado. Elas são amplamente utilizadas em algoritmos de classificação, como um meio eficiente para construir classificadores que predizem classes baseadas nos valores de atributos. Assim, podem ser utilizadas em várias aplicações como diagnósticos médicos, análise de risco em créditos, entre outros exemplos. ID3
O algoritmo ID3 foi um dos primeiros algoritmos de árvore de decisão, tendo sua elaboração baseada em sistemas de inferência e em conceitos de sistemas de aprendizagem. Ele constrói árvores de decisão a partir de um dado conjunto de exemplos, sendo a árvore resultante usada para classificar amostras futuras.

ID3
A explicação de uma determinada decisão está na trajetória que vai da raiz até a folha representativa desta decisão. A seleção dos dados a serem utilizados na árvore é baseada na Teoria da Informação de Shannon, mais especificamente nos conceitos de entropia e ganho de informação. ID3
Entropia
Quantidade necessária de informação para identificar a classe de um caso
Entropia(S) = -(p1 log2 p1 + p2 log2 p2 + ...+ pn log2 pn ) onde: S é o conjunto de amostras (registros) n é o número