{"id":16478,"date":"2023-12-08T13:50:06","date_gmt":"2023-12-08T13:50:06","guid":{"rendered":"https:\/\/sitechecker.pro\/?page_id=16478"},"modified":"2026-02-19T14:37:46","modified_gmt":"2026-02-19T14:37:46","slug":"robots-txt-configure","status":"publish","type":"page","link":"https:\/\/sitechecker.pro\/es\/configure-robots-txt\/","title":{"rendered":"Qu\u00e9 es Robots.txt y c\u00f3mo configurarlo | Sitechecker"},"content":{"rendered":"

Los archives Robots.txt sirven para proveer datos valiosos al sistema de escaneo de b\u00fasquedas de una web. Antes de examinar las p\u00e1ginas de tu sitio, los robots de b\u00fasquedas llevan a cabo la verificaci\u00f3n de este archivo. Debido a tal procedimiento, estos pueden mejorar la eficiencia del proceso de escaneo. De esta manera puedes ayudar a los sistemas de b\u00fasquedas<\/a> a ejecutar primeramente la indexaci\u00f3n de los datos m\u00e1s importantes en tu p\u00e1gina. Pero esto s\u00f3lo es posible si configuras correctamente el archivo robots.txt. Al igual que las directrices del generador de archivos robots.txt, la instrucci\u00f3n noindex en la meta etiqueta dirigida a los robots no es m\u00e1s que una recomendaci\u00f3n para los bots. Esa es la raz\u00f3n por la que no pueden garantizar que las p\u00e1ginas cerradas no ser\u00e1n indexadas y no ser\u00e1n incluidas en el \u00edndice. Las garant\u00edas est\u00e1n fuera de lugar en este sentido. Si necesitas cerrar la indexaci\u00f3n de alguna parte de tu sitio, puedes usar una contrase\u00f1a para cerrar ese directorio.<\/p>\n

Sintaxis principal<\/h2>\n

User-Agent:<\/strong> el bot al cual le ser\u00e1n aplicadas las siguientes reglas (por ejemplo: Googlebot<\/a>).<\/p>\n

Disallow:<\/strong> las p\u00e1ginas a las que deseas cerrar el acceso (al inicio de cada l\u00ednea puedes incluir una larga lista de directrices semejantes).
\nCada grupo User-Agent \/ Disallow debe ser dividido con una l\u00ednea en blanco. Pero dentro del grupo no debe haber cadenas vac\u00edas (entre User-Agent y la \u00faltima l\u00ednea del comando Disallow).<\/p>\n

Hash mark o Numeral (#):<\/strong> puede ser usado cuando necesitamos dejar comentarios en el archive robots.txt para esa l\u00ednea. Cualquier cosa mencionada despu\u00e9s del numeral ser\u00e1 ignorada. Cuando trabajar con un generador archivos robots.txt, este comentario es aplicable a ambas,
\ntanto para la l\u00ednea como para el final contenido luego de las directrices.
\nCat\u00e1logos y nombres de archivos son sensibles al registro: los sistemas de b\u00fasquedas aceptan \u00abCatalogo\u00bb, \u00abcatalogo\u00bb, and \u00abCATALOGO\u00bb como instrucciones diferentes.<\/p>\n

Host:<\/strong>: es usado por Yandex se\u00f1alar el sitio espejo. Es por esto que si aplicas una redirecci\u00f3n 301<\/a> por p\u00e1gina para mantener dos sitios juntos, no hay necesidad de repetir el procedimiento para el archivo robots.txt (en el sitio duplicado). En consecuencia, Yandex detectar\u00e1 la directriz mencionada en el sitio web que necesita ser adherido.<\/p>\n

Crawl-delay:<\/strong> puedes limitar la velocidad de desplazamiento de tu sitio web, lo cual es de gran utilidad si tienes una gran audiencia en tu sitio. Tales opciones est\u00e1n disponibles dada la protecci\u00f3n del generador de archivos robots.txt de problemas adicionales con una carga extra de tu servidor, la cual es causada porque diversos sistemas de b\u00fasqueda est\u00e1n procesando informaci\u00f3n de tu sitio web.<\/p>\n

Frases regulares:<\/strong> para configurar de una manera m\u00e1s flexible las directrices, pues usar dos s\u00edmbolos mencionados a continuaci\u00f3n:
\n*<\/strong> (asterisco) \u2013 significa cualquier secuencia de s\u00edmbolos,
\n$<\/strong> (signo de d\u00f3lar) representa en final de la fila.<\/p>\n

Principales ejemplos del uso del generador robots.txt<\/h2>\n

 <\/p>\n

Prohibici\u00f3n de indexaci\u00f3n del sitio entero<\/h3>\n
User-agent: *
\nDisallow: \/<\/code><\/div>\n

Esta instrucci\u00f3n necesita ser aplicada cuando se crea un Nuevo sitio y usa sub dominios para proveer el acceso al mismo. Al trabajar en un sitio nuevo, es muy com\u00fan que los desarrolladores web olviden cerrar para indexaci\u00f3n algunas partes del sitio, y como resultado, los sistemas de indexaci\u00f3n procesar\u00e1n una copia completa del mismo. Si ocurre tal error, tu dominio maestro necesita ser sometido a una redirecci\u00f3n de tipo 301. \u00a1Un Robot.txt puede ser de gran uso aqu\u00ed!<\/p>\n

El siguiente comando permite la indexaci\u00f3n del sitio completo:<\/h3>\n
User-agent: *
\nDisallow:
\n<\/code><\/div>\n

 <\/p>\n

Prohibici\u00f3n de indexaci\u00f3n de una carpeta en particular<\/h3>\n
User-agent: Googlebot
\nDisallow: \/no-index\/
\n<\/code><\/div>\n

 <\/p>\n

Prohibici\u00f3n de visitas a la p\u00e1gina a cierto tipo de robot<\/h3>\n
User-agent: Googlebot
\nDisallow: \/no-index\/this-page.html
\n<\/code><\/div>\n

 <\/p>\n

Prohibici\u00f3n de indexaci\u00f3n de cierto tipo de archivo<\/h3>\n
User-agent: *
\nDisallow: \/*.pdf$
\n<\/code><\/div>\n

 <\/p>\n

Para permitir una visita a la p\u00e1gina determinada para un determinado robot web<\/h3>\n
User-agent: *
\nDisallow: \/no-bots\/block-all-bots-except-rogerbot-page.html
\nUser-agent: Yandex
\nAllow: \/no-bots\/block-all-bots-except-Yandex-page.html
\n<\/code><\/div>\n

 <\/p>\n

Sitio web enlazado al sitemap<\/h3>\n
User-agent: *
\nDisallow:
\nSitemap: http:\/\/www.example.com\/none-standard-location\/sitemap.xml
\n<\/code><\/div>\n

Peculiaridades a tomar en cuenta cuando se usan estas directrices si constantemente est\u00e1s llenando tu sitio con contenido \u00fanico:<\/p>\n