Robots.txt Nedir?, öncelikle arama motoru yazılımlarına web sitenizin her hangi bölümlerini dizine ekleyeceğini ve hangi dizini taraması gerektiğini, hangi arama motoru yazılımlarının giriş izni olup ve olmadığını söylemeye yarayan oldukça basit bir komut dosyasıdır. Örümcek olarak da isimlendirilen Arama motoru yazılımları web sitenize geldiğinde ilk olarak yaptığı iş bu dosyayı tarar ve daha sonra dosyadaki komutlara göre sitenin izin verilmiş olan bölümlerini otomatik olarak dizine ekler.
Basitçe açıklarsak Robots.txt web sitenizin sınır kapılarını kontrol etme görevini üstlenmiş bir dosyadır. Arama motoru örümcekleri ve robotlarının hangi sınır kapılarından gireceklerini, hangilerinden giremeyeceklerini ve hangi arama motoru robotunun giriş izni olup olmadığını belirlemenizi sağlayan bir dosyadır. Robots.txt dosyası ve içermiş olduğu komutlar oldukça doğru şekilde hazırlanmış ise arama motoru robotları ve örümcekleri bu kurallara uyar ve sitenizi vermiş olduğunuz komutlar doğrultusunda web sitenizi tarar. Bu işlemler Robotları Engelleme Standardı (yada Robot Engelleme Protokolü) olarak isimlendirilir.
Robots.txt dosyası, kurulmuş olan Web sitesinde mutlaka ama mutlaka olması gereken bir dosyadır. Ve doğru şekilde hazırlanmış olması web siteniz için son derecede önem arz eder. Doğru komutlar kullanılarak hazırlanmamış olan bir Robots.txt dosyası arama motorları tarafından hiç dikkate alınmaz ve taranmasını istemediğiniz dizinleri de tarayabilir. Bu sebepten dolayı kendisi küçük ama etkisi büyük olmuş olan bu dosyanın doğru şekilde hazırlanmış olması da gerekmektedir.
Robots.txt Nedir ve Dosyasını ve Komutlarını Nasıl Anlarız
Robots.txt dosyası belirli standartlara uygun olarak hazırlanmalıdır ve sitenizin kök dizinine sorunsuz bir şekilde yüklenmelidir. Robots.txt dosyası hazırlanırken dikkat etmemiz gereken en önemli üç kural şunlardır:
- Robots.txt isimli dosyanın sitenizin kök dizininde bulunuyor olması
- Robots.txt isimli dosyanın UTF-8 karakter kodlamasına uygun bir şekilde hazırlanmış olması
- Robots.txt isimli dosyanın site URL ile aynı formatta olması
Robots.txt isimli dosyanın web sitenizin kök dizininde bulunuyor olması son derecede önemlidir ve gereklidir. Dosya oluşturulurken herhangi bir alt sayfada veya başka bir kategoride yer almaması gerekmektedir. Robots.txt dosyasının URL’si mutlaka ama mutlaka standart olmalıdır;
Örnek olarak:
Doğru: http://www.aramamotoru.com/robots.txt
Yanlış: http://www.aramamotoru.com/main/robots.txt
Robots.txt dosyası düz bir metinden oluşturulmalı ve UTF-8 karakter kodlaması dışında herhangi bir karakter kodlaması kullanılmamalıdır. Robots.txt dosyası dinamik ve oldukça değişken bir içeriğe sahip olabilir, dosyayı istediğiniz zaman ve istediğiniz şekilde değiştirilmektedir ve düzenlenmektedir. Sizlere tavsiyemiz, dosyanın her zaman ama her zaman çalışır halde olması, herhangi bir amaç ve kullanımdan kaldırılmaması ve gizlenmemesi yönündedir.
Ayrıca Robots.txt dosyasının sahip olmuş olduğu URL, sitenizin erişildiği ve URL ile aynı olmalıdır. Eğer ki https protokolü kullanıyorsanız robots.txt dosyasının adresi de https protokolüne uygun olması şekilde düzenlenmelidir.
Örnek Olarak;
Doğru:
Site URL’si: https://www.aramamotoru.com/
Robots.txt URL’si: https://www.aramamotoru.com/robots.txt
Yanlış:
Site URL’si: https://www.aramamotoru.com/
Robots.txt URL’si: http://www.aramamotoru.com/robots.txt
Robots.txt dosyasının içerisinde belli başlı işlemleri gerçekleştirmek için standartlaşmış komutlar kullanılmaktadır. Bu komutlar temel olarak üç adet ana başlıkta toplanmaktadır:
- Grup komutları
- Arama motoru robotu engelleme / izin verme
- Dizin engelleme / izin verme
- Sayfa engelleme / izin verme
- Tarama gecikmesi belirtme
- Grup dışı komutlar
- Site haritası belirtme
- Yorum ve notlar
- Dosyaya eklediğiniz komutlar için yorum ve notlar yazma
