Google’dan John Mueller, periyodik olarak yaptığı Web Yöneticisi Merkezi Hangout (Webmaster Central hangout) yayınlarından birinde yine pek çok kişi tarafından merak edilen bir konu hakkında açıklamalarda bulundu. Özetlemek gerekirse robots.txt tarafından engellenen sayfalara link verilmişse dizine eklenecek, peki bu durum karşısında ne yapmalıyız?
Google’ın Taramasını İstemediğiniz Sayfalar İçin Ne Yapmalısınız?
Sitemizde Google’ın taramasını istemediğimiz sayfalar için kullandığımız yöntemlerden biri olan web robots.txt dosyasına eklediğimiz komutlarla taranması engellenen sayfalar varsa ve bu engellenen sayfalara verilmiş linkler bulunuyorsa Google bu sayfaları tarayıp dizine alınabiliyor. Bu şekilde robots.txt dosyasından engellenen sayfalar sorun teşkil edebilir çünkü Google, bu sayfaların taranmasını engellenmesi nedeniyle sayfalarda içerik yokmuş gibi görür.
John Mueller, yaptığı canlı yayında bu konu hakkında şöyle bir açıklamada bulundu. John Mueller’in açıklamasında sitenizde Google’ın görmesini istemediğiniz herhangi bir içerik olması halinde yapılacak en doğru işlemin noindex meta etiketi kullanmak olduğunu belirtiyor.
Bu konunun başlangıcı Web Yöneticisi Merkezi canlı yayını sırasında bir site sahibinin “indekslenmesi gerekmeyen sayfalara robots.txt’de “disallow” kullanmasının gerekip gerekmediğini sormasıyl ortaya çıktı.
Google İçerikleri Taramadan Kopya Olduğunu Anlayabiliyor
Konuyla İlgili John Muller’in Açıklaması
Mueller’in canlı yayındaki soruya verdiği yanıt:
“Burada akılda tutulması gereken bir şey, eğer bu sayfalar robots.txt tarafından engellendiyse, teorik olarak birinin bu sayfalardan birine rastgele ulaşabileceği olmalıdır. Eğer biri bunu yaparlarsa, o zaman bu URL’yi herhangi bir içerik olmadan indeksleyebildiğimiz için robots.txt tarafından engellenip engellenmediğini bilemeyiz. Dolayısıyla, bu sayfaların aslında dizine eklenmesini isteyip istemediğinizi bilmeyiz.
Robots.txt’de engellemek yerine bu sayfalara bir noindex meta etiketi yerleştirebilirsiniz. Eğer bu sayfalarla bağlantı kuracak olursak, biz bu bağlantıyı tararız ve “belki de burada yararlı bir şey var” diye düşünürüz. Bu sayfaların indekslenmesine gerek olmadığını ve sayfaları indekslemeden atlayabileceğimizi bilebiliriz.
Bu nedenle, bu sayfalarda dizine eklenmek istemedikleriniz varsa onları robots.txt’den engellemek yerine noindex kullanın. ”
Google: Yapılandırılmış Veriler Her Sayfada Özgün Olmalıdır
Tam soru ve tam cevap, aşağıdaki videoda 24:36 işaretinden başlayarak görülebilir, isterseniz canlı yayındaki diğer konuları da izleyebilirsiniz.
