{"id":16478,"date":"2023-12-08T13:50:06","date_gmt":"2023-12-08T13:50:06","guid":{"rendered":"https:\/\/sitechecker.pro\/?page_id=16478"},"modified":"2026-02-19T14:37:46","modified_gmt":"2026-02-19T14:37:46","slug":"robots-txt-configure","status":"publish","type":"page","link":"https:\/\/sitechecker.pro\/it\/configure-robots-txt\/","title":{"rendered":"Che cos’\u00e8 Robots.txt e come configurarlo | Sitechecker"},"content":{"rendered":"

Il file Robots.txt serve a fornire dati preziosi ai sistemi di ricerca che eseguono la scansione del Web. Prima di esaminare le pagine del tuo sito, i robot di ricerca eseguono la verifica di questo file. A causa di tale procedura, possono migliorare l’efficienza della scansione. In questo modo aiuterai i sistemi di ricerca<\/a> a eseguire l’indicizzazione dei dati pi\u00f9 importanti sul tuo sito. Ma questo \u00e8 possibile solo se hai correttamente configurato robots.txt.<\/p>\n

Proprio come le direttive del generatore di file robots.txt, l’istruzione noindex nei robot meta tag non \u00e8 altro che una semplice raccomandazione per i robot. Questo \u00e8 il motivo per cui non possono garantire che le pagine chiuse non saranno indicizzate e non saranno incluse nell’indice. Le garanzie in questa preoccupazione sono fuori luogo. Se \u00e8 necessario chiudere per l’indicizzazione alcune parti del proprio sito, \u00e8 possibile utilizzare una password per chiudere le directory.<\/p>\n

Sintassi principale<\/h2>\n

 <\/p>\n

User-Agent:<\/strong> il robot a cui verranno applicate le seguenti regole (ad esempio, “Googlebot<\/a>\u201d)<\/p>\n

Disallow:<\/strong> le pagine che si desidera chiudere per l’accesso (quando si inizia ogni nuova riga \u00e8 possibile includere una grande lista delle direttive allo stesso modo)
\nOgni gruppo User-Agent \/ Disallow dovrebbe essere diviso con una riga vuota. Ma le stringhe non vuote non dovrebbero verificarsi all’interno del gruppo (tra User-Agent e l’ultima direttiva Disallow).<\/p>\n

Hash mark (#)<\/strong> pu\u00f2 essere utilizzato quando necessario per lasciare commenti nel file robots.txt per la riga corrente. Qualsiasi cosa menzionata dopo il segno cancelletto verr\u00e0 ignorata. Quando si lavora con il generatore di file txt robot, questo commento \u00e8 applicabile sia per l’intera linea che alla fine di esso dopo le direttive.
\nCataloghi e nomi di file sono sensibili al registro: il sistema di ricerca accetta “Catalogo”, “catalogo” e “CATALOGO” come diverse direttive.<\/p>\n

Host:<\/strong> viene utilizzato per Yandex per indicare il sito mirror principale. Ecco perch\u00e8 se esgui il redirect 301 per pagina per incollare due siti, non \u00e8 necessario ripetere la procedura per il file robots.txt (sul sito duplicato). Pertanto, Yandex rilever\u00e0 la direttiva citata sul sito che deve essere bloccata.<\/p>\n

Crawl-delay:<\/strong> puoi limitare la velocit\u00e0 del tuo attraversamento del sito che \u00e8 di grande utilit\u00e0 in caso di alta frequenza di frequenza sul tuo sito. Tale opzione \u00e8 abilitata a causa della protezione del generatore di file robot.txt da ulteriori problemi con un carico aggiuntivo del server causato da diversi sistemi di ricerca che elaborano le informazioni sul sito.<\/p>\n

Frasi regolari:<\/strong> per fornire impostazioni di direttive pi\u00f9 flessibili, puoi utilizzare due simboli menzionati di seguito:
\n*<\/strong> (star) \u2013 significa qualsiasi sequenza di simboli,
\n$<\/strong> (dollar sign) \u2013 sta per la fine del rigo.<\/p>\n

 <\/p>\n

Esempi principali di uso del robots.txt generator<\/h2>\n

 <\/p>\n

Divieto dell’intera indicizzazione del sito<\/h3>\n
User-agent: *
\nDisallow: \/<\/code><\/div>\n

Questa istruzione deve essere applicata quando si crea un nuovo sito e si utilizzano i sottodomini per fornire l’accesso ad esso.
\nMolto spesso quando si lavora su un nuovo sito, gli sviluppatori Web dimenticano di chiudere alcune parti del sito per l’indicizzazione e, di conseguenza, i sistemi di indicizzazione ne elaborano una copia completa. Se si verifica tale errore, il dominio principale deve essere sottoposto a reindirizzamento 301<\/a> per pagina. Il generatore di Robot.txt pu\u00f2 essere di grande utilit\u00e0!<\/p>\n

 <\/p>\n

Il costrutto seguento PERMETTE di indicizzare l\u2019intero sito:<\/h3>\n
User-agent: *
\nDisallow:
\n<\/code><\/div>\n

 <\/p>\n

Escludere l’indicizzazione di una determinata cartella<\/h3>\n
User-agent: Googlebot
\nDisallow: \/no-index\/
\n<\/code><\/div>\n

 <\/p>\n

Divieto di visitare la pagina per un certo robott<\/h3>\n
User-agent: Googlebot
\nDisallow: \/no-index\/this-page.html
\n<\/code><\/div>\n

 <\/p>\n

Divieto di indicizzare determinati tipi di file<\/h3>\n
User-agent: *
\nDisallow: \/*.pdf$
\n<\/code><\/div>\n

 <\/p>\n

Per consentire una visita alla pagina determinata per un determinato robot web<\/h3>\n
User-agent: *
\nDisallow: \/no-bots\/block-all-bots-except-rogerbot-page.html
\nUser-agent: Yandex
\nAllow: \/no-bots\/block-all-bots-except-Yandex-page.html
\n<\/code><\/div>\n

 <\/p>\n

Link sito alla sitemap<\/h3>\n
User-agent: *
\nDisallow:
\nSitemap: http:\/\/www.example.com\/none-standard-location\/sitemap.xml
\n<\/code><\/div>\n

Peculiarit\u00e0 da tenere in considerazione quando si utilizza questa direttiva se si riempie costantemente il proprio sito di contenuti unici:<\/p>\n