O arquivo Robots.txt serve para fornecer dados valiosos aos sistemas de busca que escaneiam a Web. Antes de examinar as p\u00e1ginas o seu site, os rob\u00f4s de busca executam a verifica\u00e7\u00e3o desse arquivo. Devido a esse procedimento, eles podem aumentar a efici\u00eancia da explora\u00e7\u00e3o. Desta forma, voc\u00ea pode ajudar a procurar sistemas que executem primeiro a indexa\u00e7\u00e3o dos dados mais importantes em seu site. Mas isso s\u00f3 \u00e9 poss\u00edvel se voc\u00ea configurar corretamente o robots.txt.<\/p>\n
Assim como as diretrizes do gerador de arquivos robots.txt, a instru\u00e7\u00e3o noindex nos rob\u00f4s meta-tag n\u00e3o s\u00e3o mais que apenas recomenda\u00e7\u00f5es. Essa \u00e9 a raz\u00e3o pelas qual eles n\u00e3o podem garantir que as p\u00e1ginas fechadas n\u00e3o sejam indexadas e n\u00e3o sejam inclu\u00eddas no \u00edndice. Garantias dessa natureza s\u00e3o descabidas. Se voc\u00ea precisa fechar alguma parte do seu site para indexa\u00e7\u00e3o, voc\u00ea pode usar uma senha para fechar diret\u00f3rios.<\/p>\n
<\/p>\n
Agente Usu\u00e1rio:<\/strong> o rob\u00f4 ao qual ser\u00e3o aplicadas as regras a seguir (por exemplo: \u201cGooglebot<\/a>\u201d)<\/p>\n Proibi\u00e7\u00e3o:<\/strong> as p\u00e1ginas que se deseja fechar para acesso (ao iniciar cada nova linha, voc\u00ea pode incluir uma enorme lista de diretrizes).<\/p>\n Todo Grupo Agente Usu\u00e1rio \/ Proibi\u00e7\u00e3o deve ser dividido com um espa\u00e7o em branco. Mas as cadeias n\u00e3o vazias n\u00e3o devem ocorrer dentro dos grupos (entre agente usu\u00e1rio e a \u00faltima diretiva proibi\u00e7\u00e3o).<\/p>\n Marca Jogo da Velha (#)<\/strong> pode ser usada quando necess\u00e1rio para deixar coment\u00e1rios no arquivo robots.txt na linha corrente. Qualquer coisa mencionada ap\u00f3s a marca jogo da velha ser\u00e1 ignorada. Quando voc\u00ea trabalha com o gerador de arquivos robot txt, este coment\u00e1rio \u00e9 aplic\u00e1vel tanto em toda a linha quanto no final ap\u00f3s as diretrizes.<\/p>\n Cat\u00e1logos e nomes de arquivos s\u00e3o sens\u00edveis ao registro: o sistema de busca reconhece “Cat\u00e1logo”, “cat\u00e1logo” e “CAT\u00c1LOGO” como diretrizes diferentes.<\/p>\n Host:<\/strong> \u00e9 usado pelo Yandex para apontar o principal site-espelho. \u00c9 por isso que se voc\u00ea executar o redirecionamento 301<\/a> por p\u00e1gina para manter dois sites, n\u00e3o haver\u00e1 necessidade de repetir o procedimento para o arquivo robots.txt (no site duplicado). Assim, a Yandex ir\u00e1 detectar a diretriz mencionada no site que precisa estar associado.<\/p>\n Atraso de Rastreamento:<\/strong> voc\u00ea pode limitar a frequ\u00eancia do seu site, o que \u00e9 muito \u00fatil em caso de alta frequ\u00eancia de atendimento em seu site. Essa op\u00e7\u00e3o \u00e9 ativada devido \u00e0 prote\u00e7\u00e3o do gerador de arquivos robot.txt para problemas adicionais com uma carga extra do servidor provocada pelos diversos sistemas de busca que processam as informa\u00e7\u00f5es no site.<\/p>\n Frases Regulares:<\/strong> para fornecer configura\u00e7\u00f5es mais flex\u00edveis de diretrizes, voc\u00ea pode usar dois s\u00edmbolos mencionados abaixo: <\/p>\n <\/p>\n Esta instru\u00e7\u00e3o precisa ser aplicada quando voc\u00ea cria um novo site, usa subdom\u00ednios e quer fornecer acesso a eles. Voc\u00ea testar site<\/a> quanto \u00e0 confiabilidade. <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n Peculiaridades que se deve levar em considera\u00e7\u00e3o ao usar essa diretiva se voc\u00ea estiver constantemente preenchendo seu site com conte\u00fado exclusivo:<\/p>\n porque muitos webmasters desleais analisam o conte\u00fado de outro site, dos seus pr\u00f3prios e os usam para seus pr\u00f3prios projetos.<\/p>\n Verifique as p\u00e1ginas do seu site para o status de indexa\u00e7\u00e3o<\/p>\n Detectar todos os URLs n\u00e3o indexados e descobrir quais p\u00e1ginas do site podem ser rastreadas pelos rob\u00f4s do mecanismo de pesquisa<\/p>\n
\n*<\/strong> (estrela) \u2013 significa qualquer sequ\u00eancia de s\u00edmbolos,
\n$<\/strong> (s\u00edmbolo do d\u00f3lar) \u2013 significa fim de linha.<\/p>\nPrincipais exemplos de uso de gerador Robots.txt<\/h2>\n
Proibir toda indexa\u00e7\u00e3o do site<\/h3>\n
Agente Usu\u00e1rio: *
\nProibi\u00e7\u00e3o: \/<\/code><\/div>\n
\nMuitas vezes, ao trabalhar em um site novo, os desenvolvedores da Web esquecem de fechar alguma parte do site para a indexa\u00e7\u00e3o e, como resultado, os sistemas de index processam uma c\u00f3pia completa dele. Se o erro ocorreu, deu dom\u00ednio principal precisa ser submetido a um redirecionamento 301 por p\u00e1gina. O Gerador Robot.txt pode ser de grande utilidade!<\/p>\nA seguinte constru\u00e7\u00e3o PERMITE a indexa\u00e7\u00e3o de um site inteiro:<\/h3>\n
Agente Usu\u00e1rio: *
\nProibi\u00e7\u00e3o:
\n<\/code><\/div>\nProibir a indexa\u00e7\u00e3o de uma p\u00e1gina espec\u00edfica:<\/h3>\n
Agente Usu\u00e1rio: Googlebot
\nProibi\u00e7\u00e3o: \/ no-index\/
\n<\/code><\/div>\nProibir a visita \u00e0 p\u00e1gina por um determinado rob\u00f4<\/h3>\n
Agente Usu\u00e1rio: Googlebot
\nProibi\u00e7\u00e3o: \/ no-index\/this-page.html
\n<\/code><\/div>\nProibir a indexa\u00e7\u00e3o de certo tipo de arquivo<\/h3>\n
Agente Usu\u00e1rio: *
\nProibi\u00e7\u00e3o: \/*.pdf$
\n<\/code><\/div>\nPermitir a visita a uma determinada p\u00e1gina por um determinado web rob\u00f4<\/h3>\n
Agente Usu\u00e1rio: *
\nProibi\u00e7\u00e3o:\/no-bots\/block-all-bots-except-rogerbot-page.html
\nAgente Usu\u00e1rio: Yandex
\nPermitir: \/no-bots\/block-all-bots-except-Yandex-page.html
\n<\/code><\/div>\nLink do site para o sitemap<\/h3>\n
Agente Usu\u00e1rio: *
\nProibi\u00e7\u00e3o:
\nSitemap: http:\/\/www.example.com\/none-standard-location\/sitemap.xml
\n<\/code><\/div>\n\n