Robots.txt dosyası, Web’i tarayan arama sistemlerine değerli veriler sağlar. Sitenizdeki sayfaları incelemeden önce, arama robots bu dosyayı doğrularlar. Bu prosedür nedeniyle, tarama verimliliğini artırabilirler. Bu şekilde, sitenizdeki en önemli verilerin dizinini oluşturmaları için sistemleri aramaya yardımcı olursunuz. Ancak bu yalnızca robots.txt dosyasını doğru bir şekilde yapılandırdıysanız mümkündür.
Robots.txt dosya üreticisinin yönergeleri gibi, meta etiketli robotlardaki noindex komutları da robotlar için bir öneri değildir. Kapalı sayfaların endekslenmeyeceğini ve dizine eklenmeyeceğini garanti etmelerinin nedeni budur. Bu konudaki teminatlar yerinde değildir. Sitenizin bir bölümünü endekslemek için kapatmanız gerekirse, dizinleri kapatmak için bir şifre kullanabilirsiniz.
Ana Sözdizimi
Kullanıcı-Ajan: aşağıdaki kuralların uygulanacağı robot (örneğin, “Googlebot”). User-agent string, web tarayıcılarının isimleri olarak kullandıkları bir parametredir. Ancak, yalnızca tarayıcının adını değil, işletim sisteminin sürümünü ve diğer parametreleri de içerir. Kullanıcı aracısı nedeniyle birçok parametreyi belirleyebilirsiniz: işletim sisteminin adı, sürümü; tarayıcının yüklü olduğu cihazı kontrol edin; Tarayıcının işlevlerini tanımlar.
İzin vermemek: erişim için kapatmak istediğiniz sayfalar (her yeni satıra başlarken, benzer yönergelerin büyük bir listesini ekleyebilirsiniz)
Her grup Kullanıcı-Ajan / Disallow boş bir satıra bölünmelidir. Ancak boş olmayan dizeler grup içinde gerçekleşmemelidir (User-Agent ile son direktif Disallow’u arasında).
Karma işareti (#): robot dosyasında mevcut satır için yorum bırakmak gerektiğinde kullanılabilir. Karma işaretinden sonra belirtilen herhangi bir şey göz ardı edilir. Robot txt dosyası oluşturucuyla çalışırken, bu yorum hem tüm satır için hem de talimatlardan sonra uygulanır.
Katalog ve dosya isimleri kayıt defterine duyarlıdır: arama sistemi «Katalog, Katalog katalog sistemi ve: KATALOG kıçını farklı talimat olarak kabul eder.
Ana bilgisayar: Yandex için ana yansıtma sitesini işaret etmek için kullanılır. Bu nedenle, iki siteyi birbirine yapıştırmak için sayfa başına 301 yönlendirme yapıyorsanız, robots.txt dosyasının (yinelenen sitede) prosedürünü tekrarlamaya gerek yoktur. Bu nedenle, Yandex bu yönergeyi, takılması gereken sitede tespit edecektir.
Tarama gecikmesi: Sitenizde yüksek katılım sıklığı durumunda kullanımda olan site gezme hızınızı sınırlandırabilirsiniz. Bu seçenek, robot.txt dosya oluşturucusunun, sitenizdeki çeşitli arama sistemleri işlem bilgilerinin neden olduğu sunucunuzun fazladan yüküyle ilgili ek sorunlardan korunması nedeniyle etkinleştirilir.
Düzenli ifadeler: daha esnek yönerge ayarları sağlamak için aşağıda belirtilen iki simgeyi kullanabilirsiniz:
* (yıldız) – herhangi bir sembol sırasını belirtir,
$ (dolar işareti) – çizginin sonu anlamına gelir.
Robots.txt generator kullanımına ana örnekler
Tüm site dizinine yasaklama
User-agent: *Disallow: /Yeni bir site oluşturduğunuzda ve bu siteye erişim sağlamak için alt alanlar kullandığınızda bu talimatın uygulanması gerekir.
Çok sık olarak, yeni bir sitede çalışırken, Web geliştiricileri, sitenin bir bölümünü endeksleme amacıyla kapatmayı unuturlar ve bunun bir sonucu olarak, endeks sistemleri bunun tam bir kopyasını işler. Eğer böyle bir hata olmuşsa, ana alan adınız sayfa başına 301 yönlendirmeden geçmelidir. Robot.txt jeneratörü çok faydalı olabilir!
Aşağıdaki sitenin tamamını dizine eklemek için PERMITS:
User-agent: *Disallow: Belirli bir klasörün endekslenmesinde yasaklama
User-agent: GooglebotDisallow: /no-index/Belirli robot sayfasını ziyaret etmeyi yasakla
User-agent: GooglebotDisallow: /no-index/this-page.htmlBelirli türdeki dosyaların endekslenmesinde yasaklama
User-agent: *Disallow: /*.pdf$Belirli web robotu için belirlenen sayfaya ziyarete izin vermek için
User-agent: *Disallow: /no-bots/block-all-bots-except-rogerbot-page.htmlUser-agent: YandexAllow: /no-bots/block-all-bots-except-Yandex-page.htmlSite haritasına bağlantı veren web sitesi bağlantısı
User-agent: *Disallow:Sitemap: http://www.example.com/none-standard-location/sitemap.xmlSitenizi sürekli olarak benzersiz bir içerikle dolduruyorsanız, bu yönergeyi kullanırken göz önünde bulundurulması gereken özellikler:
- robotlar metin dosyası oluşturucusunda site haritanıza bağlantı eklemeyin;
- sitemap.xml site haritası için bazı standartlaştırılmamış bir ad seçin (örneğin, my-new-sitemap.xml ve daha sonra bu bağlantıyı web yöneticilerini kullanarak arama sistemlerine ekleyin);
- çünkü birçok haksız web yöneticisi, içeriği diğer sitelerden değil kendi sitelerinden ayrıştırıyor ve bunları kendi projeleri için kullanıyor.
Dizin oluşturma durumu için web sitesi sayfalarınızı kontrol edin Noindexed URL'lerin tümünü bulun ve hangi site sayfalarının arama motoru botları tarafından taranmasına izin verildiğini öğrenin
Hangisi daha iyi robots txt generator veya noindex nedir?
Bazı sayfaların dizine alınmasını istemiyorsanız, meta tag robots noindex daha tavsiye edilir. Bunu uygulamak için sayfanızın bölümüne aşağıdaki meta etiketi eklemeniz gerekir:
<meta name=”robots” content=”noindex, follow”>
Bu yaklaşımı kullanarak:
- web robotunun bir sonraki ziyaretinde belirli sayfanın endekslenmesini önle (web yöneticilerini kullanarak sayfayı el ile silmeniz gerekmeyecek);
- sayfanızın link suyunu iletmek için yönetin.
Robots.txt dosya üreteci, bu tür sayfaların kapatılması için daha iyi hizmet eder:
- sitenizin idari sayfaları;
- sitede veri aramak;
- kayıt / yetkilendirme / şifre sıfırlama sayfaları.
Robots.txt SEO stratejinize nasıl yardımcı olabilir?
Her şeyden önce, hepsi emekleme bütçesiyle ilgili. Her sitenin arama motorları tarafından kişisel olarak tahmin edilen kendi tarama bütçesi vardır. Robots.txt dosyası, web sitenizin, yinelenen sayfalar, önemsiz sayfalar ve kaliteli sayfalar gibi gereksiz sayfaları arama botlarıyla taramasını önler. Asıl sorun, arama motorlarının endeksinin orada olmaması gereken bir şey almasıdır – insanlara faydası olmayan ve sadece aramayı sınırlayan sayfalar.
Ama nasıl SEO zarar verebilir? Cevap yeterince kolaydır. Arama botları gezinmek için web sitesine girerken, en önemli sayfaları araştırmak için programlanmamıştır. Genellikle web sitesinin tamamını tüm sayfaları ile tararlar. Bu nedenle en önemli sayfalar, sınırlı tarama bütçesi nedeniyle taranamayabilir. Bu nedenle, Google veya başka herhangi bir arama motoru web sitenizi aldığı bilgilerle ilgili olarak sıralamaya başlar. Bu şekilde, SEO analiz stratejiniz, alakalı olmayan sayfalardan dolayı başarısız olma tehlikesiyle karşı karşıyadır.
