Robots.txt dosyas\u0131, Web\u2019i tarayan arama sistemlerine de\u011ferli veriler sa\u011flar. Sitenizdeki sayfalar\u0131 incelemeden \u00f6nce, arama robots bu dosyay\u0131 do\u011frularlar. Bu prosed\u00fcr nedeniyle, tarama verimlili\u011fini art\u0131rabilirler. Bu \u015fekilde, sitenizdeki en \u00f6nemli verilerin dizinini olu\u015fturmalar\u0131 i\u00e7in sistemleri aramaya yard\u0131mc\u0131 olursunuz. Ancak bu yaln\u0131zca robots.txt dosyas\u0131n\u0131 do\u011fru bir \u015fekilde yap\u0131land\u0131rd\u0131ysan\u0131z m\u00fcmk\u00fcnd\u00fcr.<\/p>\n
Robots.txt dosya \u00fcreticisinin y\u00f6nergeleri gibi, meta etiketli robotlardaki noindex komutlar\u0131 da robotlar i\u00e7in bir \u00f6neri de\u011fildir. Kapal\u0131 sayfalar\u0131n endekslenmeyece\u011fini ve dizine eklenmeyece\u011fini garanti etmelerinin nedeni budur. Bu konudaki teminatlar yerinde de\u011fildir. Sitenizin bir b\u00f6l\u00fcm\u00fcn\u00fc endekslemek i\u00e7in kapatman\u0131z gerekirse, dizinleri kapatmak i\u00e7in bir \u015fifre kullanabilirsiniz.<\/p>\n
Kullan\u0131c\u0131-Ajan:<\/strong> a\u015fa\u011f\u0131daki kurallar\u0131n uygulanaca\u011f\u0131 robot (\u00f6rne\u011fin, \u201cGooglebot\u201d). User-agent string, web taray\u0131c\u0131lar\u0131n\u0131n isimleri olarak kulland\u0131klar\u0131 bir parametredir. Ancak, yaln\u0131zca taray\u0131c\u0131n\u0131n ad\u0131n\u0131 de\u011fil, i\u015fletim sisteminin s\u00fcr\u00fcm\u00fcn\u00fc ve di\u011fer parametreleri de i\u00e7erir. Kullan\u0131c\u0131 arac\u0131s\u0131 nedeniyle bir\u00e7ok parametreyi belirleyebilirsiniz: i\u015fletim sisteminin ad\u0131, s\u00fcr\u00fcm\u00fc; taray\u0131c\u0131n\u0131n y\u00fckl\u00fc oldu\u011fu cihaz\u0131 kontrol edin; Taray\u0131c\u0131n\u0131n i\u015flevlerini tan\u0131mlar.<\/p>\n \u0130zin vermemek:<\/strong> eri\u015fim i\u00e7in kapatmak istedi\u011finiz sayfalar (her yeni sat\u0131ra ba\u015flarken, benzer y\u00f6nergelerin b\u00fcy\u00fck bir listesini ekleyebilirsiniz) Karma i\u015fareti (#):<\/strong> robot dosyas\u0131nda mevcut sat\u0131r i\u00e7in yorum b\u0131rakmak gerekti\u011finde kullan\u0131labilir. Karma i\u015faretinden sonra belirtilen herhangi bir \u015fey g\u00f6z ard\u0131 edilir. Robot txt dosyas\u0131 olu\u015fturucuyla \u00e7al\u0131\u015f\u0131rken, bu yorum hem t\u00fcm sat\u0131r i\u00e7in hem de talimatlardan sonra uygulan\u0131r. Ana bilgisayar:<\/strong> Yandex i\u00e7in ana yans\u0131tma sitesini i\u015faret etmek i\u00e7in kullan\u0131l\u0131r. Bu nedenle, iki siteyi birbirine yap\u0131\u015ft\u0131rmak i\u00e7in sayfa ba\u015f\u0131na 301 y\u00f6nlendirme yap\u0131yorsan\u0131z, robots.txt dosyas\u0131n\u0131n (yinelenen sitede) prosed\u00fcr\u00fcn\u00fc tekrarlamaya gerek yoktur. Bu nedenle, Yandex bu y\u00f6nergeyi, tak\u0131lmas\u0131 gereken sitede tespit edecektir.<\/p>\n Tarama gecikmesi:<\/strong> Sitenizde y\u00fcksek kat\u0131l\u0131m s\u0131kl\u0131\u011f\u0131 durumunda kullan\u0131mda olan site gezme h\u0131z\u0131n\u0131z\u0131 s\u0131n\u0131rland\u0131rabilirsiniz. Bu se\u00e7enek, robot.txt dosya olu\u015fturucusunun, sitenizdeki \u00e7e\u015fitli arama sistemleri i\u015flem bilgilerinin neden oldu\u011fu sunucunuzun fazladan y\u00fck\u00fcyle ilgili ek sorunlardan korunmas\u0131 nedeniyle etkinle\u015ftirilir.<\/p>\n D\u00fczenli ifadeler:<\/strong> daha esnek y\u00f6nerge ayarlar\u0131 sa\u011flamak i\u00e7in a\u015fa\u011f\u0131da belirtilen iki simgeyi kullanabilirsiniz: Yeni bir site olu\u015fturdu\u011funuzda ve bu siteye eri\u015fim sa\u011flamak i\u00e7in alt alanlar kulland\u0131\u011f\u0131n\u0131zda bu talimat\u0131n uygulanmas\u0131 gerekir. Sitenizi s\u00fcrekli olarak benzersiz bir i\u00e7erikle dolduruyorsan\u0131z, bu y\u00f6nergeyi kullan\u0131rken g\u00f6z \u00f6n\u00fcnde bulundurulmas\u0131 gereken \u00f6zellikler:<\/p>\n Dizin olu\u015fturma durumu i\u00e7in web sitesi sayfalar\u0131n\u0131z\u0131 kontrol edin<\/p>\n Noindexed URL'lerin t\u00fcm\u00fcn\u00fc bulun ve hangi site sayfalar\u0131n\u0131n arama motoru botlar\u0131 taraf\u0131ndan taranmas\u0131na izin verildi\u011fini \u00f6\u011frenin<\/p>\n
\nHer grup Kullan\u0131c\u0131-Ajan \/ Disallow bo\u015f bir sat\u0131ra b\u00f6l\u00fcnmelidir. Ancak bo\u015f olmayan dizeler grup i\u00e7inde ger\u00e7ekle\u015fmemelidir (User-Agent ile son direktif Disallow’u aras\u0131nda).<\/p>\n
\nKatalog ve dosya isimleri kay\u0131t defterine duyarl\u0131d\u0131r: arama sistemi \u00abKatalog, Katalog katalog sistemi ve: KATALOG k\u0131\u00e7\u0131n\u0131 farkl\u0131 talimat olarak kabul eder.<\/p>\n
\n*<\/strong> (y\u0131ld\u0131z) – herhangi bir sembol s\u0131ras\u0131n\u0131 belirtir,
\n$<\/strong> (dolar i\u015fareti) – \u00e7izginin sonu anlam\u0131na gelir.<\/p>\nRobots.txt generator kullan\u0131m\u0131na ana \u00f6rnekler<\/h2>\n
T\u00fcm site dizinine yasaklama<\/strong><\/h3>\n
User-agent: *<\/code><\/div>\nDisallow: \/<\/code><\/div>\n
\n\u00c7ok s\u0131k olarak, yeni bir sitede \u00e7al\u0131\u015f\u0131rken, Web geli\u015ftiricileri, sitenin bir b\u00f6l\u00fcm\u00fcn\u00fc endeksleme amac\u0131yla kapatmay\u0131 unuturlar ve bunun bir sonucu olarak, endeks sistemleri bunun tam bir kopyas\u0131n\u0131 i\u015fler. E\u011fer b\u00f6yle bir hata olmu\u015fsa, ana alan ad\u0131n\u0131z sayfa ba\u015f\u0131na 301 y\u00f6nlendirmeden ge\u00e7melidir. Robot.txt jenerat\u00f6r\u00fc \u00e7ok faydal\u0131 olabilir!<\/p>\nA\u015fa\u011f\u0131daki sitenin tamam\u0131n\u0131 dizine eklemek i\u00e7in PERMITS:<\/h3>\n
User-agent: *<\/code><\/div>\nDisallow: <\/code><\/div>\nBelirli bir klas\u00f6r\u00fcn endekslenmesinde yasaklama<\/h3>\n
User-agent: Googlebot<\/code><\/div>\nDisallow: \/no-index\/<\/code><\/div>\nBelirli robot sayfas\u0131n\u0131 ziyaret etmeyi yasakla<\/h3>\n
User-agent: Googlebot<\/code><\/div>\nDisallow: \/no-index\/this-page.html<\/code><\/div>\nBelirli t\u00fcrdeki dosyalar\u0131n endekslenmesinde yasaklama<\/h3>\n
User-agent: *<\/code><\/div>\nDisallow: \/*.pdf$<\/code><\/div>\nBelirli web robotu i\u00e7in belirlenen sayfaya ziyarete izin vermek i\u00e7in<\/h3>\n
User-agent: *Disallow: \/no-bots\/block-all-bots-except-rogerbot-page.html<\/code><\/div>\nUser-agent: Yandex<\/code><\/div>\nAllow: \/no-bots\/block-all-bots-except-Yandex-page.html<\/code><\/div>\nSite haritas\u0131na ba\u011flant\u0131 veren web sitesi ba\u011flant\u0131s\u0131<\/h3>\n
User-agent: *<\/code><\/div>\nDisallow:<\/code><\/div>\nSitemap: http:\/\/www.example.com\/none-standard-location\/sitemap.xml<\/code><\/div>\n\n