Int a adm
Em 1993, um aluno do MIT Matthew Gray criou o que é considerado o
primeiro robô, chamado de World Wide Web Wanderer. Foi inicialmente utilizado para a contagem de servidores Web para medir o tamanho da web. The Wanderer funcionou de 1993 a 1995. Mais tarde, foi utilizado para obter URLs, formando o primeiro banco de dados de indexação de sites chamado Wandex.
Um robô é um programa que automaticamente atravessa a estrutura do hipertexto da Web, recuperando todos os documentos que são referenciados. Robôs da Web são por vezes referido como andarilhos da web, crawlers ou spiders. Estes nomes são um pouco enganadores porque dá a impressão que o software se move entre os locais como um vírus, este não é o caso, um robô simplesmente visita sites pora solicitar os documentos deles. "
Inicialmente, os robôs criaram um pouco de controvérsia, como se cosumava grandes quantidades de largura de banda, às vezes causando nos servidores. Os robôs mais recentes são otimizados e agora são usados para a construção de índices nos msites de busca.Fim da conversa no bate-papo | http://mundoestranho.abril.com.br/materia/como-funcionam-os-sites-de-busca-na-internet https://sites.google.com/site/historiasobreossitesdebusca/historia-site
Como funcionam os sites de busca
Há basicamente dois tipos de busca: por catálogos e por indexadores (ou motor de pesquisa “robot”, ou seja, funcionam como robôs).
1- Os mecanismos de busca por catálogo: * Ordenam e classificam endereços na internet, não se preocupando com o conteúdo textual das páginas catalogadas; * Os registros são listados em grandes diretórios e subdiretórios classificados por assunto. Assim, as pastas e