Le fichier Robots.txt joue un r\u00f4le important pour les recherches sur Net, car avant d’examiner les pages de votre site, les moteurs de recherche effectuent une v\u00e9rification de ce fichier. Gr\u00e2ce \u00e0 cette proc\u00e9dure, ils peuvent am\u00e9liorer l’efficacit\u00e9 de la num\u00e9risation. De cette fa\u00e7on, ayant bien configur\u00e9 robots.txt., vous aidez les syst\u00e8mes de recherche \u00e0 effectuer l’indexation des donn\u00e9es les plus importantes sur vos sites.<\/p>\n
Tout comme les directives du g\u00e9n\u00e9rateur de fichiers robots.txt, l’instruction noindex dans les balises meta robots est une simple recommandation pour le robot. C’est la raison pour laquelle ils ne peuvent pas garantir que les pages ferm\u00e9es ne seront pas index\u00e9es et incluses dans l’index. Si vous avez besoin de fermer une partie de votre site pour l’indexation, vous pouvez utiliser un mot de passe pour fermer les r\u00e9pertoires.<\/p>\n
<\/p>\n
User-Agent:<\/strong> le robot auquel les r\u00e8gles suivantes seront appliqu\u00e9es (par exemple, “Googlebot”).<\/p>\n Disallow:<\/strong> t les pages que vous voulez fermer pour l’acc\u00e8s (au d\u00e9but de chaque nouvelle ligne, vous pouvez inclure une grande liste de directives).<\/p>\n Chaque groupe User-Agent \/ Disallow doit \u00eatre s\u00e9par\u00e9e avec une ligne vide. Mais les cha\u00eenes non vides ne doivent pas appara\u00eetre dans le groupe (entre User-Agent et la derni\u00e8re directive Disallow).<\/p>\n Hash mark (#)<\/strong> est utilis\u00e9 pour laisser des commentaires dans le fichier pour la ligne en cours. Tout ce qui est mentionn\u00e9 apr\u00e8s la signe di\u00e8se sera ignor\u00e9. Quand vous travaillez avec un g\u00e9n\u00e9rateur de fichier robot txt, ce commentaire est applicable pour toute la ligne et \u00e0 la fin de celle-ci apr\u00e8s les directives en m\u00eame temps.<\/p>\n Les catalogues et les noms de fichiers sont sensibles au registre: le syst\u00e8me de recherche voit les termes \u00abCatalogue\u00bb, \u00abCatalogue\u00bb et \u00abCATALOGUE\u00bb comme diff\u00e9rentes directives.<\/p>\n Host:<\/strong> est utilis\u00e9 par Yandex pour indiquer le site miroir principal. C’est pourquoi si vous effectuez la redirection 301 par page pour coller deux sites, il n’est pas n\u00e9cessaire de r\u00e9p\u00e9ter la proc\u00e9dure pour le fichier robots.txt (sur le site dupliqu\u00e9). Yandex d\u00e9tectera la directive mentionn\u00e9e sur le site qui doit \u00eatre bloqu\u00e9.<\/p>\n Crawl-delay:<\/strong> vous pouvez limiter la vitesse de votre site, ce qui est tr\u00e8s utile si celui-ci est fr\u00e9quemment visit\u00e9. Cette option est activ\u00e9e pour prot\u00e9ger le g\u00e9n\u00e9rateur de fichiers de ce type des probl\u00e8mes avec le chargement suppl\u00e9mentaire de votre serveur. Cela est caus\u00e9 parce que divers syst\u00e8mes de recherche traitent les informations sur les sites.<\/p>\n Regular phrases:<\/strong> pour fournir des param\u00e8tres de directives plus flexibles, vous pouvez utiliser deux symboles mentionn\u00e9s ci-dessous: <\/p>\n <\/p>\n Cette instruction est appliqu\u00e9e quand vous cr\u00e9ez un nouveau site et utilisez des sous-domaines pour y acc\u00e9der. <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n <\/p>\n Si vous remplissez en permanence votre site avec un contenu unique il y a quelques particularit\u00e9s \u00e0 prendre en compte lors de l’utilisation de cette directive:<\/p>\n Le fait est que beaucoup de webmasters malhonn\u00eates analysent le contenu des autres sites et l\u2019utilisent pour leurs propres projets.<\/p>\n V\u00e9rifiez le statut d'indexation des pages de votre site Web<\/p>\n D\u00e9tecter toutes les URL noindexed et savoir quelles pages du site sont autoris\u00e9es \u00e0 \u00eatre explor\u00e9es par les robots des moteurs de recherche<\/p>\n
\n*<\/strong> (\u00e9toile) \u2013 signifie toute s\u00e9quence de symboles,
\n$<\/strong> (signe de dollar) \u2013 signifie la fin de la ligne.<\/p>\nLes cas principaux de l\u2019utilisation du g\u00e9n\u00e9rateur robots.txt<\/h2>\n
Pour interdire l’indexation compl\u00e8te du site<\/h3>\n
Agent utilisateur: *
\nDisallow: \/<\/code><\/div>\n
\nTr\u00e8s souvent, en cr\u00e9ant un nouveau site, les d\u00e9veloppeurs Web oublient de fermer une partie de celui-ci pour l’indexation et, par cons\u00e9quent, les syst\u00e8mes d’index en traitent une copie. Si une telle erreur a eu lieu, votre master domain est soumis \u00e0 la redirection 301 par page. N’oubliez pas de test redirections<\/a> de page de temps en temps. Le g\u00e9n\u00e9rateur Robot.txt est tr\u00e8s utile!<\/p>\nLa construction suivante PERMET d’indexer l’ensemble du site:<\/h3>\n
User-agent: *
\nDisallow:
\n<\/code><\/div>\nL\u2019interdiction d’indexation d’un dossier particulier<\/h3>\n
User-agent: Googlebot
\nDisallow: \/no-index\/
\n<\/code><\/div>\nL\u2019interdiction pour certains robots de recherche de visiter la page<\/h3>\n
User-agent: Googlebot
\nDisallow: \/no-index\/this-page.html
\n<\/code><\/div>\nL\u2019interdiction d’indexation de certains types de fichiers<\/h3>\n
User-agent: *
\nDisallow: \/*.pdf$
\n<\/code><\/div>\nPour permettre \u00e0 certains robots Web de visiter une page d\u00e9termin\u00e9e<\/h3>\n
User-agent: *
\nDisallow: \/no-bots\/block-all-bots-except-rogerbot-page.html
\nUser-agent: Yandex
\nAllow: \/no-bots\/block-all-bots-except-Yandex-page.html
\n<\/code><\/div>\nWebsite lien \u00e0 sitemap<\/h3>\n
User-agent: *
\nDisallow:
\nSitemap: http:\/\/www.example.com\/none-standard-location\/sitemap.xml
\n<\/code><\/div>\n\n