Minimos quadrados

Regressão simples

Queremos estimar valores de determinada variável [pic]. Para isso, consideramos os valores de outra variável [pic]que acreditamos ter poder de explicação sobre [pic]conforme a fórmula: [pic] onde: • [pic]: Parâmetro do modelo chamado de constante (porque não depende de [pic]). • [pic]: Parâmetro do modelo chamado de coeficiente da variável [pic]. • [pic]: Erro - representa a variação de [pic]que não é explicada pelo modelo.
Também temos uma base de dados com [pic]valores observados de [pic]e de [pic]. Perceba que, usando a base de dados, [pic]e [pic]são vetores, ou seja, representam uma lista de valores, um para cada observação da base de dados. O método dos mínimos quadrados ajuda a encontrar as estimativas de [pic]e [pic]. Como o nome diz, serão somente estimativas desses parâmetros, porque o valor real dos parâmetros são desconhecidos. Portanto, ao fazer a estimativa, mudamos a notação de algumas variáveis: [pic]
Para ilustrar isso, Heij[5] menciona: We do not know Greek but we can compute Latin Não sabemos grego, mas podemos calcular em latim
Desse modo, ao estimar o modelo usando a base de dados, estamos estimando, na verdade: [pic] onde [pic]indica cada uma das [pic]observações da base de dados e [pic]passa a ser chamado de resíduo, ao invés de erro. Em alguns livros, a notação para as estimativas dos parâmetros é um pouco diferente. Ao invés de substituir a letra, apenas adiciona-se o símbolo chapéu ([pic]).
O método dos mínimos quadrados minimiza a soma dos quadrado dos resíduos, ou seja, minimiza [pic].
A ideia por trás dessa técnica é que, minimizando a soma do quadrado dos resíduos, encontraremos [pic]e [pic]que trarão a menor diferença entre a previsão de [pic]e o [pic]realmente observado.
Substituindo [pic]por [pic], temos: [pic]
A minimização se dá ao derivar [pic]em relação a [pic]e [pic]e igualar a zero: [pic]
Distribuindo e dividindo a primeira expressão