Google, interneti tararken çeşitli yöntemler kullanarak web sayfalarını dizine ekler. Ancak, bazı web yöneticileri belirli sayfaların Google tarafından dizine eklenmesini istemeyebilir ve bu amaçla engelleme yöntemleri kullanırlar. Buna rağmen Google, bazen bu sayfaların URL’lerini dizine ekleyebilir. Peki Google, neden engellenen sayfaların URL’lerini dizine ekler?
Yazı İçeriği
Robots.txt Dosyası ile Engelleme
Web sitelerinde, arama motorlarının belirli sayfaları taramaması için robots.txt dosyası kullanılır. Bu dosya, Google’a hangi sayfaların taranmaması gerektiğini bildirir. Ancak, robots.txt dosyası yalnızca taramayı engeller. Google, başka sitelerden gelen bağlantılar aracılığıyla bu sayfanın URL’sini keşfedebilir ve dizine ekleyebilir. Sayfanın içeriği taranmaz, ancak URL dizine eklenmiş olur.
Meta Robots Etiketi ile Dizine Eklemeyi Engellemek
Bir sayfanın taranmasını sağlarken, dizine eklenmesini önlemek için “meta robots” etiketi kullanılır. Noindex etiketi ile Google’a, sayfanın arama sonuçlarında görünmemesi talimatı verilebilir. Ancak, bu etiketin işlev gösterebilmesi için sayfanın taranması gerekir. Eğer, tarama baştan robots.txt ile engellenmişse Google, bu etiketi göremez ve sayfa dizine eklenebilir.
Dış Bağlantılar Aracılığıyla Keşif
Google, bir sayfanın URL’sini keşfetmek için o sayfaya yapılan dış bağlantıları kullanabilir. Eğer başka siteler, engellenmiş bir sayfaya bağlantı veriyorsa, Google bu bağlantıları takip ederek sayfanın URL’sini öğrenir ve dizine ekleyebilir. Bu durumda, içerik taranmaz ancak URL arama sonuçlarında görüntülenebilir.
Yanlış Engelleme Yöntemleri
Web yöneticilerinin bazen yanlış engelleme yöntemleri kullanması da bu durumun nedenlerinden biridir. Yalnızca, robots.txt dosyasını kullanarak sayfanın dizine eklenmesini tamamen önlemek mümkün değildir. Dizine eklenmeyi kesin olarak engellemek için hem robots.txt dosyası, hem de noindex etiketi birlikte kullanılmalıdır.
Google’ın engellenen sayfaları dizine eklemesi, genellikle robots.txt dosyasının sınırlamaları veya dış bağlantılar aracılığıyla gerçekleşir. Sayfanızın arama sonuçlarında kesinlikle yer almamasını istiyorsanız, doğru engelleme yöntemlerini kullanmanız önemlidir. Robots.txt dosyasını doğru yapılandırmanın yanı sıra, sayfa düzeyinde noindex etiketini eklemek etkili bir çözüm olacaktır.
