Dünyanın en çok kullanılan arama motoru Google, artık robots.txt dosyasında noindex kullanımını desteklemeyecek. Google robots.txt dosyasında yer alan ve sayfaların arama motorları tarafından indekslenmesini engelleyen noindex yönergesini desteklemeyi durduruyor.
Öncelikle robots.txt ve noindex hakkında fikir sahibi olmayanlar daha önce hazırlamış olduğumuz “Robots.txt Nedir?” ve “Noindex Nedir?” başlıklı yazılarımıza göz atabilirler.
Google resmi web yöneticisi blogunda yayınladığı duyuru ile 1 Eylül 2019 tarihinden itibaren geçerli olmak üzere Google botlarına özel protokolü desteklemeyen yönergeleri desteklemeyi bırakmaya başlayacak. Bu kapsamda desteği ilk kesilen yönerge ise noindex. Google’ın yeni aldığı karar ile artık noindex yönergesi robots.txt dosyasında kullanılamayacak yada kullanılsa bile Google botları tarafından gözardı edilecek.
İşte Google’ın yaptığı duyurunun bir kısmı;
“Sağlıklı bir ekosistemi sürdürmek ve gelecekteki açık kaynaklı yayınlar için hazırlık yapmak amacı ile, 1 Eylül 2019 tarihinden itibaren daha önce desteği kesilmiş ve yayınlanmamış kuralları (noindex gibi) ele alan tüm kodları emekli ediyoruz.”
Google’ın açıklamasında yer verdiği “yayınlanmamış kurallar” cümlesi Google’ın indeksleme kuralları arasında hiçbir zaman noindex’in adının geçmemesinden kaynaklanıyor.
Peki Robots.txt Dosyasında noindex Kullanımına Alternatifler Neler?
Google yayınladığı duyuruda robots.txt dosyası içerisinde noindex kullanımına alternatif seçenekleri şöyle sıraladı;
- Robot Meta etiketlerinde noindex: HTML’de kullanılan robot meta etiketleri içerisinde noindex kullanımı URL’leri dizinden kaldırmanın en kolay yolu olarak belirtiliyor.
- 404 veya 410 HTTP durum kodları: Her iki durum kodu da, böyle bir sayfanın bulunmadığı anlamına gelir, bu tür URL’ler taranıp işlendikten sonra Google dizininden çıkarılır.
- Parola koruması: Abonelik sistemi vb. sistemler ile parola koruması sağlayarak arka plandaki sayfalar gizlenirse, bu sayfalar genellikle Google dizininden kaldırılır.
- Robots.txt dosyasında Disallow kullanımı: Arama motorları yalnızca bildikleri sayfaları dizine ekleyebilir, bu nedenle sayfanın taranmasını engellemek içeriğin dizine eklenmeyeceği anlamına gelir. Arama motorları aynı zamanda diğer sayfalarda yer alan bağlantılara dayanarak da sayfaları dizine ekleyebilmektedir. Ancak içeriğin kendisini görmeden dizine eklenen sayfaların çok fazla görünürlüğü olmuyor.
- Google Search Console URL Kaldırma Aracı: Google’ın bu aracı sayesinde bir URL arama sonuçlarından hızlı ve kolay ancak “geçici süre” ile dizinden kaldırılabilir.
Yazıda bahsi geçen ve aynı zamanda bizim de kaynağımız olan, Google resmi webmasters blogunda yer alan duyuruya buraya tıklayarak ulaşabilirsiniz.
