Quadrados mínimos

Mínimos Quadrados
Em 1809, Carl Friedrich Gauss (1777-1855) publicou um artigo no Werke, 4, 1-93, demonstrando que a melhor maneira de determinar um parâmetro desconhecido de uma equação de condições é minimizando a soma dos quadrados dos resíduos, mais tarde chamado de Mínimos Quadrados por Adrien-Marie Legendre (1752-1833). Em abril de 1810, Pierre-Simon Laplace (1749-1827) apresenta no memoir da Academia de Paris, ["Mémoire sur les approximations des formules qui sont fonctions de très-grands nombres, et sur leur application aux probabilités (suite)". Mémoires l'Institut 1809 (1810), 353-415, 559-565. Oeuvres 12 p.301-345, p.349-353] a generalização a problemas com vários parâmetros desconhecidos.
Um programa de mínimos quadrados sempre começa com a minimização da soma: | (1) | onde chamamos de yoi = valores observados de y yi = valores calculados de y ou seja, mínimos quadrados implica em minimizar os quadrados dos resíduos. Estes resíduos podem ser normalizados pelo número de pontos ou pela soma dos pesos empregados.

Por que este critério é considerado um bom critério e não simplismente minimizar os resíduos ou o cubo dos resíduos? A resposta formal é que os mínimos quadrados são corretos se os resíduos tiverem uma distribuição gaussiana (normal).

Distribuição gaussiana (normal) para uma variável x, com média m e desvio padrão s.
É simples notar que se minimizarmos os resíduos diretamente, um grande resíduo negativo pode ser anulado por um grande resíduo positivo, enquanto que com o quadrado minimizamos os módulos das diferenças.
Suponhamos que temos um conjunto de dados y com uma distribuição normal:
P(y) = exp - y - onde P(y) | = | probabilidade de obter o valor y | | y | = | quantidade a ser observada | | | = | valor médio de y | | | = | desvio padrão de y | |

Por exemplo, a probabilidade de se encontrar uma medida entre - e + é de 68,3%, a probabilidade de se encontrar uma medida entre -1,5 e +1,5 é de 86,6%,
a