{"id":16478,"date":"2023-12-08T13:50:06","date_gmt":"2023-12-08T13:50:06","guid":{"rendered":"https:\/\/sitechecker.pro\/?page_id=16478"},"modified":"2026-02-19T14:37:46","modified_gmt":"2026-02-19T14:37:46","slug":"robots-txt-configure","status":"publish","type":"page","link":"https:\/\/sitechecker.pro\/pl\/configure-robots-txt\/","title":{"rendered":"Co to jest plik Robots.txt i jak go skonfigurowa\u0107 | Sitechecker"},"content":{"rendered":"

Plik Robots.txt s\u0142u\u017cy do dostarczania cennych danych do system\u00f3w wyszukiwania skanuj\u0105cych sie\u0107. Przed sprawdzeniem stron Twojej witryny roboty wyszukuj\u0105ce przeprowadzaj\u0105 weryfikacj\u0119 tego pliku. Dzi\u0119ki takiej procedurze mog\u0105 zwi\u0119kszy\u0107 wydajno\u015b\u0107 skanowania. W ten spos\u00f3b pomagasz przeszukiwa\u0107 systemy, aby najpierw przeprowadzi\u0107 indeksacj\u0119 najwa\u017cniejszych danych w witrynie. Ale jest to mo\u017cliwe tylko wtedy, gdy poprawnie skonfigurowa\u0142e\u015b robots.txt.<\/span><\/p>\n

Podobnie jak dyrektywy generatora plik\u00f3w robots.txt, instrukcja noindex w robotach metatag nie jest niczym innym, jak tylko zaleceniem dla robot\u00f3w. Z tego powodu nie mog\u0105 zagwarantowa\u0107, \u017ce zamkni\u0119te strony nie zostan\u0105 zindeksowane i nie zostan\u0105 uwzgl\u0119dnione w indeksie. Gwarancje w tym zakresie s\u0105 nie na miejscu. Je\u015bli chcesz zamkn\u0105\u0107 indeksacj\u0119 jakiej\u015b cz\u0119\u015bci witryny, mo\u017cesz u\u017cy\u0107 has\u0142a, aby zamkn\u0105\u0107 katalogi.<\/span><\/p>\n

 <\/p>\n

G\u0142\u00f3wna Sk\u0142adnia<\/b><\/h2>\n

User-Agent:<\/b> robot, do kt\u00f3rego zostan\u0105 zastosowane nast\u0119puj\u0105ce regu\u0142y (na przyk\u0142ad \u201eGooglebot\u201d). Ci\u0105g agenta u\u017cytkownika jest parametrem u\u017cywanym przez przegl\u0105darki internetowe jako ich nazwa. Ale zawiera nie tylko nazw\u0119 przegl\u0105darki, ale tak\u017ce wersj\u0119 systemu operacyjnego i inne parametry. Ze wzgl\u0119du na agenta u\u017cytkownika mo\u017cna okre\u015bli\u0107 wiele parametr\u00f3w: nazw\u0119 systemu operacyjnego, jego wersj\u0119; sprawd\u017a urz\u0105dzenie, na kt\u00f3rym jest zainstalowana przegl\u0105darka; zdefiniuj funkcje przegl\u0105darki.<\/span><\/p>\n

Disallow:<\/b> strony, kt\u00f3re chcesz zamkn\u0105\u0107 w celu uzyskania dost\u0119pu (podczas rozpoczynania ka\u017cdej nowej linii mo\u017cesz do\u0142\u0105czy\u0107 du\u017c\u0105 list\u0119 dyrektyw)<\/span><\/p>\n

Ka\u017cda grupa User-Agent \/ Disallow powinna by\u0107 podzielona pust\u0105 lini\u0105. Ale niepusty \u0142a\u0144cuch nie powinien wyst\u0119powa\u0107 w grupie (mi\u0119dzy User-Agent a ostatni\u0105 dyrektyw\u0105 Disallow).<\/span><\/p>\n

Znak skr\u00f3tu (#)<\/b> mo\u017ce by\u0107 u\u017cyty, gdy trzeba zostawi\u0107 komentarze w pliku robot\u00f3w dla bie\u017c\u0105cej linii. Wszystko, co zosta\u0142o wspomniane po znaku skr\u00f3tu, zostanie zignorowane. Podczas pracy z generatorem plik\u00f3w robota txt komentarz ten dotyczy zar\u00f3wno ca\u0142ej linii, jak i jej ko\u0144ca po dyrektywach.<\/span><\/p>\n

Katalogi i nazwy plik\u00f3w s\u0105 sensowne z rejestru: system wyszukiwania akceptuje \u00abKatalog\u00bb, \u00abkatalog\u00bb i \u00abKATALOG\u00bb jako r\u00f3\u017cne dyrektywy.<\/span><\/p>\n

Host:<\/b> jest u\u017cywany przez Yandex do wskazania g\u0142\u00f3wnej strony lustrzanej. Dlatego je\u015bli wykonasz przekierowanie 301 na stron\u0119, aby sklei\u0107 dwie witryny, nie ma potrzeby powtarzania procedury dla pliku robots.txt (na zduplikowanej stronie). Tak wi\u0119c Yandex wykryje wspomnian\u0105 dyrektyw\u0119 na stronie, kt\u00f3ra musi zosta\u0107 zablokowana.<\/span><\/p>\n

Op\u00f3\u017anienie indeksowania plik\u00f3w:<\/b> mo\u017cesz ograniczy\u0107 szybko\u015b\u0107 przechodzenia przez witryn\u0119, co jest bardzo przydatne w przypadku wysokiej cz\u0119stotliwo\u015bci odwiedzin witryny. Taka opcja jest w\u0142\u0105czona ze wzgl\u0119du na ochron\u0119 generatora plik\u00f3w robot.txt przed dodatkowymi problemami z dodatkowym obci\u0105\u017ceniem serwera spowodowanym przez r\u00f3\u017cne systemy wyszukiwania przetwarzaj\u0105ce informacje na stronie.<\/span><\/p>\n

Regularne wyra\u017cenia:<\/b> aby zapewni\u0107 bardziej elastyczne ustawienia dyrektyw, mo\u017cesz u\u017cy\u0107 dw\u00f3ch symboli wymienionych poni\u017cej:<\/span><\/p>\n

* (gwiazda) – oznacza dowoln\u0105 sekwencj\u0119 symboli,<\/span><\/p>\n

$ (znak dolara) – oznacza koniec linii.<\/span><\/p>\n

 <\/p>\n

G\u0142\u00f3wne przyk\u0142ady u\u017cycia generatora robots.txt<\/b><\/h2>\n

Zakaz ca\u0142ej indeksacji witryny<\/b><\/h3>\n
User-agent: *<\/code><\/div>\n
Disallow: \/<\/code><\/div>\n

Instrukcja ta musi by\u0107 stosowana podczas tworzenia nowej witryny i korzystania z subdomen, aby zapewni\u0107 do niej dost\u0119p.<\/span><\/p>\n

Bardzo cz\u0119sto podczas pracy na nowej stronie programi\u015bci zapominaj\u0105 zamkn\u0105\u0107 cz\u0119\u015b\u0107 strony w celu indeksacji, w wyniku czego systemy indeksu przetwarzaj\u0105 jej pe\u0142n\u0105 kopi\u0119. Je\u015bli taki b\u0142\u0105d mia\u0142 miejsce, twoja domena g\u0142\u00f3wna musi przej\u015b\u0107 przekierowanie 301 na stron\u0119. Generator Robot.txt mo\u017ce by\u0107 przydatny!<\/span><\/p>\n

 <\/p>\n

Nast\u0119puj\u0105ce ZEZWOLENIA na budow\u0119 do indeksowania ca\u0142ej witryny:<\/b><\/h3>\n
User-agent: *<\/code><\/div>\n
Disallow:<\/code><\/div>\n

Zakaz indeksowania okre\u015blonego folderu<\/b><\/h3>\n
User-agent: Googlebot<\/code><\/div>\n
Disallow: \/no-index\/<\/code><\/div>\n

Zakaz wizyty na stronie dla pewnego robota<\/b><\/h3>\n
User-agent: Googlebot<\/code><\/div>\n
Disallow: \/no-index\/this-page.html<\/code><\/div>\n

Zakaz indeksowania plik\u00f3w okre\u015blonego typu<\/b><\/h3>\n
User-agent: *<\/code><\/div>\n
Disallow: \/*.pdf$<\/code><\/div>\n

Aby umo\u017cliwi\u0107 wizyt\u0119 na okre\u015blonej stronie dla okre\u015blonego robota internetowego<\/b><\/h3>\n
User-agent: *<\/code><\/div>\n
Disallow: \/no-bots\/block-all-bots-except-rogerbot-page.html<\/code><\/div>\n
User-agent: Google<\/code><\/div>\n
Allow: \/no-bots\/block-all-bots-except-Google-page.html<\/code><\/div>\n

Link do strony internetowej mapy witryny <\/b><\/h3>\n
User-agent: *<\/code><\/div>\n
Disallow:<\/code><\/div>\n
Sitemap: http:\/\/www.example.com\/none-standard-location\/sitemap.xml<\/code><\/div>\n

Osobliwo\u015bci, kt\u00f3re nale\u017cy wzi\u0105\u0107 pod uwag\u0119 podczas korzystania z tej dyrektywy, je\u015bli stale wype\u0142niasz swoj\u0105 witryn\u0119 unikaln\u0105 tre\u015bci\u0105:<\/span><\/p>\n