Robots.txt dosyaları hakkında bilgi vereceğimiz bu yazımızın sizlere yardımcı olacağını umuyoruz. Robots.txt dosyaları arama motoru botlarının sitenizi taramaya başladığında botların görmesini istemediğiniz yerleri veya sayfaları gösteren ve sitenin kök dizininde bulunan sabit dosyalardır.
Robots.txt dosyaları bir komut zincirine sahiptir ve Robotları Engelleme Standardı kullanırlar. Bu komutlardan yararlanarak web sitenizin bazı bölümlerine erişimi engelleyebilir veya web tarayıcılarının türüne göre web sitenizi gösterebilirsiniz. Örneğin: Web sitenizi mobilden ziyaret eden kullanıcılar ile masa üstü tarayıcılardan kullanan ziyaretçileriniz web sitenizin farklı versiyonlarını göstermek için kullanabilirsiniz.
Robots.txt dosyaları her web sitesinde muhakkak olmalıdır ve doğru yönergeler içermelidir. Doğru yönergeler içermeyen robots.txt dosyaları arama motoru botları tarafından yok sayılır ve web sitenizdeki tüm dizinleri tarayabilir.
Yazı İçeriği
Robots.txt Ne İçin Kullanılır?
Görsel Olmayan Dosyalar
Arama motoru botlarının sitenizi tararken sunucunuzu çok fazla meşgul etmesini istememniz gayet normal bir durum. Aynı zamanda sitenizdeki önemsiz veya birbirine çok benzeyen sayfaları da arama motoru botlarının tekrar tarayarak bu yoğunluğu arttırmasını istemezsiniz. Resim olmayan statik dosyaları arama motoru botlarının tarama yoğunluğunu dengelemek için kullanabilirsiniz. Robots.txt dosyalarını web sitenizin arama sonuçlarında gösterilmesini engellemek için kullanmamalısınız.
Görsel Dosyaları
Robots.txt dosyaları ile sayfanızdaki görsellerin arama motoru arama sonuçlarında çıkmasını engelleyebilirsiniz. Bu şekilde bir uygulama yapıp sitenizdeki görsellerin arama sonuçlarında çıkmasını engellediğinizde başka kullanıcıların veya web sitelerinin görsellerinize bağlantı vermesini engellemiş olmazsınız.
Kaynak Dosyaları
Önemli olmadığını düşündüğünüz komut dosyası, stil dosyaları veya görseller vb verileri arama motoru botlarının görmesini engellemek için de robots.txt dosyasını kullanabilirsiniz. Yapacağınız engellemelerin arama motoru botlarının sitenizi tanımlamasında bir kayıp olmayacağını düşünüyorsanız uygulayabilirsiniz.
Robots.txt Dosyalarını Hazırlarken Dikkat Edilmesi Gereken Noktalar
- Robots.txt dosyası ile site URL yapısı aynı olmalıdır.
Doğru: http://siteniz.com/robots.txt
Yanlış: http://siteniz.com/anasayfa/robots.txt - Web sitenizin Robots.txt dosyası UTF-8 karakter kodlamasına uygun olmalıdır.
- Robots.txt dosyası web sitenizin kök dizininde yer almalıdır.
Önümüzdeki günlerde Robots.txt dosyalarında kullanılabilen komutlar ve detayları ile ilgili bir yazı ile Robots.txt dosyaları konusunu pekiştireceğiz. En güncel bilgileri sizlerle paylaşmaya devam edeceğiz.
Paylaşımınız için çok teşekkür ederim. Bu makaleniz sayesinde websiteme uygulayacak bir kaç taktik öğrendim.