Questão
ID 1889404Disciplina: Informática
Assunto: Conceitos Básicos de Mecanismos de Busca
Ano: 2012 Banca: FAUEL - Fundação de Apoio ao Desenvolvimento da UEL Órgão: Prefeitura Municipal de Paranaguá
Para evitar que determinados diretórios de um website sejam vasculhados pelos robôs (bots) de busca, o seguinte trecho de código pode ser utilizado:
User-agent: *.
Disallow: /diretorio.
Disallow: /diretorio2.
Para que as instruções sejam respeitadas pelos bots, este trecho de código deverá estar presente no arquivo: