lista 1

1) O que é “sobreajuste” (ou overfitting) e como evitá-lo?

O sobre ajuste é a situação onde a RNA perde a capacidade de generalizar bem para novos dados, sobre ajustando os parâmetros. Isto ocorre pela seleção de uma rede com um numero grande de neurônios, numero de parâmetros (pesos) maior do que o necessário. Os ciclos de treinamento quando em quantidade bem elevada também podem favorecer ao sobre ajuste da rede para os dados, também levando a perda da capacidade de generalizar. Para se evitar esta situação, pode-se reduzir o numero de neurônios realizando-se testes para se verificar se a rede ainda mantém a capacidade de prever o sistema e também pode-se dividir os ciclos de treinamentos em conjuntos de amostras para treinamento, para validação e para teste, sendo este método conhecido como verificação cruzada.

2) Sobre o método de aprendizagem baseado em backpropagation:
a) por que pode resultar em mínimos locais?
b) como é sua inicialização usual de pesos e biases?
c) por que as funções de ativação dos neurônios devem ser continuamente diferenciáveis?

a) O algoritmo do back-propagation procura minimizar o erro obtido pela rede ajustando pesos para que eles correspondam aos pontos mais baixos na superfície de erro, usando o método do gradiente descendente. Para superfícies de erro simples e convexas este método certamente encontra como solução o mínimo global. Já para superfícies mais complexas o algoritmo pode levar a convergir para mínimos locais. Devido após se encontrar um mínimo para função objetiva, variação do erro quadrático, a busca é finalizada. Isto ocorre devido a vizinhança apresentar valores para função objetiva maiores do que os valores no mínimo, podendo o ponto de mínimo ser local ou global.

b) Os valores para os pesos e bias iniciais não devem ser muito grandes, de forma que as derivadas das funções de ativação tenham valores muito pequenos, levando a uma região de saturação. Por outro lado, se os pesos iniciais não