Robots/pragma/seo

UNIVERSIDADE NOVE DE JULHO – UNINOVE

Tecnologia em Analise e Desenvolvimento de Sistemas

ROBOTS/PRAGMA/SEO

São Paulo

2012

|O que é Robots ? | | |

| |
|Robots, ou robôs, são aplicativos que percorrem a internet em busca de conteúdo com o objetivo de indexá-lo ou verificarem alterações ocorridas|
|desde a última "visita" Nem todo o conteúdo de um site deve ser indexado pelos robots. Páginas de login, páginas repetidas, páginas de |
|impressão são alguns desses exemplos. O que é robots.txt, então? Como o próprio nome já diz, é um arquivo no formato txt que funciona como um |
|filtro para os Crawlers, fazendo com que webmasters possam controlar permissões de acesso a determinados pontos dos sites. O robots.txt |
|controla qual informação de um site deve ou não deve ser indexado pelos sites de busca. A sintaxe do arquivo é bem simples, e deve ser colocada|
|pelo webmaster responsável pelo site na raíz da hospedagem. |
| |
|ROBOTS.TXT - SINTAXE |
|O arquivo robots.txt tem o papel de criar uma política de acesso para os Robots. Para a execução dessas tarefas há palavras reservadas, ou |
|seja, palavras com a função de comandos que permitirão ou não o acesso a determinados diretórios ou páginas de um site: |
|User-agent