Sayfalarınızın indekslenmesi için Google Search Console Kapsam raporu nasıl kullanılır?

Eğer bir SEO uzmanıysanız ve sitelerin teknik yönlerini de ele alıyorsanız, Google Search Console’un “Kapsam” raporunu mutlaka kullanıyor olmalısınız.

Kapsam raporu;  hangi URL’lerin Google tarafından tarandığını ve indekslendiğini, hangilerinde ise bu işlemlerin yapılmadığını anlamak, ve daha da önemlisi, arama motorunun neden bu seçimi yaptığını anlamak için çok önemli bir araçtır.

Raporu değerlendirmek ise, trafik ışığı renk şeması sayesinde nispeten kolay sayılabilir.

İndekslenme Hızını Arttırma Yolları

Google Search Console Kapsam raporu nasıl kullanılır?

• Kırmızı (Hata): Dur! Sayfalar indekslenmemiş.
• Sarı(Geçerli ancak uyarılar var): Zaman ayırabiliyorsanız, durup incelemeniz tavsiye edilir. Yoksa, devam edin. Sayfalar indekslenmediği takdirde, geriye dönüp hataları giderebilirsiniz.
• Yeşil (Geçerli): Her şey yolunda. Sayfalar dizine eklenmiş.

Sorun şu ki, bu üç renk dışında “Hariç tutuldu” etiketiyle göreceğiniz gri bir bölge var. Detayları okudukça, kuralların “Google”a ait,  bilinmeyen bir dilde açıklandığını düşünebilirsiniz.

Bu nedenle, bugün, “Kapsam Raporu”ndaki durum türlerini, indekslemeyi geliştirmek ve organik performansı artırmak için almanız gereken SEO çalışmalarına çevireceğiz.

SEO etkileyen: Bu ihlalleri öncelikli olarak ele alın.

• Keşfedildi – şu anda dizine eklenmemiş
• Tarandı – şu anda dizine eklenmemiş
• Kopya, gönderilen URL standart olarak seçilmedi
• Kullanıcı tarafından seçilen standart sayfa olmadan kopya
• Kopya, Google kullanıcıdan farklı bir standart sayfa seçti
• Gönderilen URL bulunamadı (404)
• Yönlendirme hatası
• Sunucu hatası (5xx)
• Tarama Anormalliği
• Dizine eklenmiş, ancak robots.txt tarafından engellenmiş

Üzerine düşünülmesi gereken: SEO stratejinize bağlı olarak bunlar işlem gerektirebilir veya gerektirmeyebilir

• Dizine eklendi, site haritasına gönderilmedi
• Robots.txt tarafından engellendi
• Gönderilen URL robots.txt tarafından engellendi
• ‘Noindex’ olarak işaretlenmiş gönderilen URL
• Gönderilen URL, yetkisiz istek döndürüyor (401)
• Gönderilen URL’de tarama sorunu var
• Gönderilen URL bir Soft 404 gibi görünüyor
• Soft 404

Doğal durum: Herhangi bir işlem yapılması gerekmez.

• Gönderildi ve dizine eklendi
• Standart kurallı etikete sahip alternatif sayfa
• “Noindex” etiketi tarafından hariç tutuldu
• Yönlendirmeli sayfa
• Bulunamadı (404)
• Sayfa kaldırma aracı tarafından engellendi

“Kapsam Raporu”nda SEO etkileyen sorunlar

Yalnızca hataları düzeltmeye odaklanmayın. Genellikle daha büyük hatalar/potansiyeller hariç tutulan gri bölgeye gömülür.

Aşağıda, SEO için gerçekten önemli olan ve öncelik sırasına göre listelenen kapsam raporu sorunlarından bahsettik.

Google Search Console indekslediği sayfaların kesin analizlerini vermeye başladı

Keşfedildi – şu anda dizine eklenmiş değil

• Sebep: URL, Google tarafından genellikle bağlantılar veya XML site haritası tarafından bilinir ve tarama için bekliyordur. Ancak Googlebot henüz denetleme için ortalıkta yoktur. Bu, bir tarama bütçesi sorununu gösterir.
• Yapılması gereken: Yalnızca birkaç sayfa ise, Google Search Console’daki URL’leri göndererek manuel olarak tarama isteğinde bulunabilirsiniz. Çok miktarda sayı varsa, tarama bütçesi sorunlarını kaynağında çözmek için web sitesi mimarisinin (URL yapısı, site sınıflandırması ve dahili bağlantı dahil) düzeltmesi için zaman ayırın.

Tarandı – şu anda dizine eklenmiş değil

• Sebep: Googlebot URL’yi taradı ve içeriği indekslenmeye değer bulmadı. Bunun nedeni genellikle ince içerik, eski içerik, giriş sayfaları veya kullanıcı tarafından oluşturulan spam gibi kalite sorunlarından kaynaklanmaktadır.
• Yapılması gereken: Sayfanın içeriğini gözden geçirin.

Googlebot’un sayfanın içeriğini neden indekslenmeye değer görmediğini anlarsanız, kendinize ikinci bir soru sorun. Bu sayfanın web sitemde bulunması gerekiyor mu?

Cevap hayır ise, URL’yi 301 veya 410 haline getirin. Evetse, içerik sorununu çözene kadar bir noindex etiketi ekleyin. Veya parametre tabanlı bir URL ise, sayfanın en iyi uygulama parametresi işlemesi ile taranmasını önleyebilirsiniz.

İçerik kabul edilebilir kalitede görünüyorsa, JavaScript olmadan nelerin sağlandığını kontrol edin. Google, JavaScript tarafından oluşturulan içeriği indeksleyebilir, ancak JavaScript söz konusu olduğunda iki indeksleme dalgası olduğundan, HTML’den daha karmaşık hale gelir.

İlk dalga, sayfayı sunucudaki ilk HTML’yi baz alarak indeksler. Sayfa kaynağını sağ tıkladığınızda gördüğünüz şey budur.

İstemci tarafından hem HTML hem de oluşturulan JavaScript’i içeren DOM’yi temel alan ikinci indekslerdir. Sağ tıklayıp incelediğinizde gördüğünüz şey budur.

Buradaki zorluk, Google’ın render kaynaklarına sahip olana kadar ikinci dizinleme dalgasının ertelenmesidir. Bu, JavaScript’e bağımlı içeriği dizine eklemenin yalnızca HTML içeriğinden daha uzun süreceği anlamına gelir. Birkaç günden, birkaç haftaya kadar sürebilir.

İndeks işlemindeki gecikmeleri önlemek için, ilk HTML’de tüm temel içeriğin bulunması için sunucu tarafı oluşturma özelliğini kullanın. Bu, sayfa başlıkları, başlıklar, standartlar, yapısal veriler ve elbette ana içeriğiniz ve bağlantılarınız gibi kurtarıcı SEO öğelerinizi içermelidir.

Kullanıcı tarafından seçilen standart sayfa olmadan kopya

• Sebep: Sayfa Google tarafından kopya içerik olarak kabul ediliyor, ancak açık bir kurallı olarak işaretlenmemiş. Google, bu sayfanın standart olmamasına karar verdi ve dolayısıyla dizinden hariç tuttu.
• Yapılması gereken: Web sitenizdeki her taranabilir URL için rel = canonical bağlantılarını kullanarak doğru standart kodu açıkça işaretleyin. Google Search Console’daki URL’yi inceleyerek Google’ın hangi sayfayı standart olarak seçtiğini anlayabilirsiniz.

Kopya, gönderilen URL standart olarak seçilmedi

• Sebep: Yukarıdaki durumla aynı, bu durum haricinde, bu URL’yi örneğin XML site haritanıza göndererek açıkça indekslenmesini istediniz.
• Yapılması gereken: Web sitenizdeki her taranabilir URL için rel = canonical bağlantılarını kullanarak doğru standart kodu işaretleyin ve XML site haritanıza yalnızca standart(canonical) sayfalar eklediğinizden emin olun.

Kopya, Google kullanıcıdan farklı bir standart sayfa seçti

• Sebep: Sayfada rel = canonical bağlantısı var, ancak Google bu öneriye katılmıyor ve standart olarak dizine eklemek için farklı bir URL seçti.
• Yapılması gereken: Google’ın seçtiği standart URL’yi görmek için URL’yi inceleyin. Aynı fikirdeyseniz, rel = canonical bağlantısını değiştirin. Aksi takdirde, yinelenen içerik miktarını azaltmak ve kurallı olmasını istediğiniz sayfaya daha güçlü sıralama sinyalleri göndermek için web sitenizin mimarisi üzerinde çalışın.

Gönderilen URL bulunamadı (404)

• Sebep: Muhtemelen XML site haritanız aracılığıyla gönderdiğiniz URL mevcut değil.
• Yapılması gereken: URL’yi oluşturun veya XML site haritanızdan kaldırın. Dinamik XML site haritalarının en iyi uygulamasını izleyerek bu hatayı sistematik olarak önleyebilirsiniz.

Yönlendirme hatası

• Sebep: Googlebot yönlendirme ile ilgili sorun yaşadı. Bunun en yaygın nedeni, beş veya daha fazla URL uzunluğundaki yönlendirme zincirleri, yönlendirme döngüleri, boş bir URL veya aşırı uzun bir URL’dir.
• Yapılması gereken: Yönlendirmeyi neyin kırdığını ve böylece nasıl ele alınacağını anlamak için Lighthouse gibi bir hata ayıklama aracı veya httpstatus.io gibi bir durum kodu aracı kullanın.
• Eski yönlendirmeleri düzenlemek anlamına gelse bile, 301 yönlendirmelerinizin her zaman doğrudan son hedefi gösterdiğinden emin olun.

Sunucu hatası (5xx)

• Sebep: Sunucular, sayfa yükleyemedikleri zaman 500 HTTP yanıt kodu (diğer bir deyişle Dahili Sunucu Hatası) döndürür. Daha geniş sunucu sorunlarından kaynaklanabilir, ancak çoğu zaman Googlebot’un sayfayı taramasını engelleyen kısa bir sunucu bağlantısı kesilmesinden kaynaklanır.
• Yapılması gereken: Eğer nadiren olan bir şeyse, strese girmeyin. Bir süre sonra hata kendi kendine gider. Sayfa önemliyse, URL incelemesinde dizine ekleme isteğinde bulunarak Googlebot’u URL’ye geri çağırabilirsiniz. Hata tekrarlanıyorsa, sunucu altyapısını iyileştirmek için sistem mühendisiniz / teknoloji lideriniz / hosting sağlayıcınızla konuşun.

Tarama anormalliği

• Sebep: Bir şey URL’nin taranmasını engelledi, ancak Google bile tam olarak ne olduğunu bilmiyor.
• Yapılması gereken: 4xx veya 5xx düzeyinde yanıt kodlarının döndürülüp döndürülmediğini görmek için URL İnceleme aracını kullanarak sayfayı getirin. Bu size ipucu vermezse URL’leri geliştirme ekibinize gönderin.

Dizine eklenmiş, ancak robots.txt tarafından engellendi

• Sebep: robots.txt dosyasını, kilidi açık bir kapıdaki “giriş yok” işaretinin dijital eşdeğeri olarak düşünün. Googlebot bu talimatlara uyarken, bunu ruhu değil, yasaları takiben yapar. Dolayısıyla, arama sonuçlarında görünen robots.txt dosyasında özellikle izin verilmeyen sayfalarınız olabilir. Çünkü engellenen bir sayfada bağlantılar gibi başka güçlü sıralama sinyalleri varsa, Google bunu indekslemeye uygun görebilir.
• Yapılması gereken: Bir sayfanın SERP’lerde görünmesini kesin olarak engellemek için robots.txt dosyasını kullanmayın. Bir noindex etiketi kullanmanız veya yetkilendirme kullanarak sayfaya anonim erişimi yasaklamanız gerekir.
• Noindex etiketine sahip URL’lerin daha az sıklıkta taranacağını ve uzun süre mevcutsa, sonunda Google’ın sayfanın bağlantılarını da takip etmesine yol açacağını bilin. Bu durum, bu bağlantıları tarama kuyruğuna ve sıralama sinyallerine eklemeyecekleri anlamına gelir, bağlı sayfalara geçirilmez.

Dizine eklendi, site haritasında gönderilmedi

• Sebep: URL, büyük olasılıkla bir bağlantı aracılığıyla Google tarafından keşfedildi ve dizine eklendi. Ancak XML site haritasında gönderilmedi.
• Yapılması gerekenler: URL’ler SEO ile ilgiliyse, bunları XML site haritanıza ekleyin. Bu, yeni içeriğin hızlı bir şekildeindekslenmesini veya mevcut içerikte güncellemelerin yapılmasını sağlayacaktır. Aksi takdirde, URL’lerin dizine eklenmesini isteyip istemediğinizi düşünün. URL’ler yalnızca kendi değerlerine göre sıralanmaz. Google tarafından dizine eklenen her sayfa, kalite algoritmalarının domain itibarını nasıl değerlendirdiğini etkiler.
  Sayfaların dizine eklenmiş, ancak site haritasına gönderilmemiş olması, genellikle sitenin indeks şişmesinden muzdarip olduğunun bir işaretidir. Burada, çok sayıda düşük değerli sayfalar dizine eklenmiş demektir. Bu genellikle filtre bileşimleri, arşiv sayfaları, etiket sayfaları, kullanıcı profilleri, sayfalandırma parametreleri gibi otomatik olarak oluşturulan sayfalardan kaynaklanır. Dizin şişmesi, domain’in tüm URL’lerini sıralama yeteneğini zayıflatır.

Robots.txt tarafından engellendi

• Sebep: Googlebot, robots.txt tarafından engellendiği için URL’yi taramayacak. Ancak bu, sayfanın Google tarafından indekslenmeyeceği anlamına gelmez. 
• Yapılması gerekenler: Sayfanın Google tarafından dizine eklenmediğinden emin olmak için robots.txt engelini kaldırın ve bir noindex yönergesi kullanın.

Gönderilen URL robots.txt tarafından engellendi

• Sebep: Büyük olasılıkla XML site haritası aracılığıyla gönderdiğiniz URL, robots.txt dosyanız tarafından da engelleniyor.
• Yapılması gerekenler: Taranmasını ve indekslenmesini istemiyorsanız URL’yi XML site haritasından kaldırın veya isterseniz engelleme kuralını robots.txt dosyasından kaldırın. Bu dosyayı değiştirmenize 

Gönderilen URL “noindex” olarak işaretlendi

• Sebep: Gönderdiğiniz URL, büyük olasılıkla XML site haritası aracılığıyla, robot meta etiketleri aracılığıyla veya HTTP üstbilgisi X-Robots etiketlerinde noindex olarak işaretlenmiştir.
• Yapılması gerekenler: Taranmasını ve indekslenmesini istemiyorsanız, URL’yi XML site haritasından kaldırın veya isterseniz noindex yönergesini kaldırın.

Gönderilen URL “unauthorized request (401)” çevirir (401)

• Sebep: Google’ın şifre korumalı sayfalar gibi gönderdiğiniz URL’yi tarama yetkisi yok.
• Yapılması gerekenler: İçeriğin indekslenmesini önlemek için bir neden yoksa, yetkilendirme gereksinimini kaldırın. Aksi takdirde, URL’yi XML site haritasından kaldırın.
• Gönderilen URL’de tarama sorunu var
• Sebep: Bir şey tarama sorununa neden oluyor, ancak Google bile buna bir ad veremiyor.
• Yapılması gerekenler: URL İnceleme aracını kullanarak sayfada hata ayıklamayı deneyin. Sayfa yükleme sürelerini, engellenen kaynakları ve gereksiz JavaScript kodları olup olmadığını kontrol edin.

  Bu yararlı sonuçlar sağlamazsa, eski usül kullanarak URL’yi cep telefonunuzla yüklemeyerek inceleyin, ve sayfada ve kodda ne olduğunu görün.

Gönderilen URL soft 404 gibi görünüyor

• Sebep: Google, büyük olasılıkla XML site haritanız aracılığıyla gönderdiğiniz URL’yi soft 404 olarak kabul etti. Yani, sunucu 200 başarı koduyla yanıt veriyor, ancak sayfa:
  • Yok.
  • Boş kategori sayfaları gibi çok az içerik barındırıyor veya hiç içeriği yok.
  • Anasayfa gibi ilgisiz bir hedef URL’ye yönlendirildi.
• Yapılması gerekenler: Sayfa gerçekten mevcut değilse ve kasıtlı olarak kaldırılmışsa, en hızlı ‘deindex’ işlemi için 410 döndürün. Kullanıcıya özel bir “bulunamadı” sayfası görüntülediğinizden emin olun. Başka bir URL’de benzer bir içerik olmadığı sürece, bu durumda sıralama sinyallerini iletmek için 301 yönlendirmesi uygulayın.

Sayfada çok fazla içerik var gibi görünüyorsa, Google’ın tüm içeriği oluşturabildiğinden emin olun. Gerçekten zayıf içerikten muzdaripse, sayfanın var olması için bir nedeni yoksa, 410 veya 301 ise, Google’ın dikkatini çekmek için XML site haritanızdan kaldırın. Zengin içerikli sayfalarınızı güçlendirmek için bir noindex etiketi ekleyin ve uzun vadeli çalışın .

Alakalı olmayan bir sayfaya bir yönlendirme varsa, onu alakalı bir sayfaya yönlendirin. Ancak, mümkün değilse 410’a değiştirin.

Soft 404

• Sebep: Yukarıdakiyle aynı, ancak sayfanın indekslenmesini özel olarak talep etmediniz.
• Yapılması gerekenler: Yukarıdakine benzer şekilde, Google’a daha fazla içerik gösterin veya uygun şekilde 301 veya 410 kullanın.

Kapsam raporundaki doğal durumlar

Amaç, sitenizin her URL’sinin dizine eklenmesini sağlamak değildir, ancak siteniz büyüdükçe sayının sürekli artması gerekir. Amaç, SEO ilişkili sayfalarınızın indekslenmesini sağlamaktır. Kapsam raporunda hariç tutulan içeriklerinizin bulunması, doğal olmasının yanında, ayrıca faydalı da bir durumdur. Bu, Google’ın alan adınızın itibarını, indekslenmiş tüm sayfalara göre değerlendirdiğini ve web sitenizde bulunması gereken, ancak Google’ın içeriğinizi görmesi için hesaba katılması gerekmeyen sayfaları hariç tutmak için gerekli işlemleri yaptığınızı unutmayın.

Gönderildi ve Dizine Eklendi

• Sebep: Sayfayı bir XML site haritası, API ile veya Google Search Console’da manuel olarak gönderdiniz ve Google sayfayı dizine ekledi.
• Düzeltme gerekmez: Bu URL’lerin dizinde bulunmasını gerekli görmediğiniz sürece.

Uygun kanonik etiketi olan alternatif sayfa

• Sebep: Google, rel = canonical etiketini başarıyla işledi.
• Düzeltme gerekmez: Sayfa zaten standart olduğunu doğru şekilde gösteriyor. Ek işlem gerekmiyor.

“Noindex” etiketi tarafından hariç tutuldu

• Sebep: Google sayfayı taradı ve noindex etiketini onayladı.
• Düzeltme gerekmez: Ancak, bu URL’lerin dizinde olmasını istemiyorsanız, bu durumda noindex yönergesini kaldırın.

Yönlendirmeli Sayfa

• Sebep: 301 veya 302 yönlendirmeniz Google tarafından başarıyla tarandı. Hedef URL tarama sırasına eklendi ve orijinal URL dizinden kaldırıldı.
• Düzeltme gerekmez: Bu hariç tutma, yönlendirmeler işlendikçe zaman içinde doğal olarak azalacaktır.

Bulunamadı (404)

• Sebep: Google, URL’yi XML site haritasından farklı olarak, bir web sitesindeki bağlantıymış gibi algıladı. Taranırken, sayfa 404 durum kodu döndürdü. Sonuçta, Googlebot URL’yi zaman içinde daha az tarayacaktır.
• Ancak bu her zaman en iyi uygulama olmayabilir. URL’de herhangi bir sıralama potansiyeli varsa, bunlar 404 hatasına kaybedilir. Dolayısıyla, benzer içeriğe sahip başka bir sayfanız varsa, 301 yönlendirmesine geçmeyi düşünün.
• Düzeltmeye gerek yok: Sayfanın açılmama sebebi kasıtlı olarak kaldırıldığı içinse, 404 hatasıyla ilgili bir sorun yoktur. Google, 404 hatalarını cezalandırmaz.

Sayfa Kaldırma Aracı tarafından engellendi

• Sebep: Google Search Console’da bir URL kaldırma isteği gönderildi.
• Düzeltme gerekmez: Kaldırma isteğinin süresi 90 gün sonra dolar. Bu süreden sonra, Google sayfayı yeniden indeksleyebilir.

Özetle;

Genel olarak, önlem almak tedavi uygulamaktan daha iyi ve daha kolaydır. İyi düşünülmüş bir web sitesi mimarisi ve robotların kullanımı genellikle temiz ve net bir Google Search Console Kapsam Raporu sağlar.

Ancak çoğumuz, sıfırdan inşa etmek yerine başkalarının çalışmalarını miras aldığımızdan, kapsam raporu, en çok ihtiyaç duyulan yere odaklamanıza yardımcı olacak çok değerli bir araçtır.

Google’ın sitenizi tarama ve indeksleme konusundaki ilerlemesini izlemek ve SEO değişikliklerinin etkisini belgelemek için her ay raporu tekrar kontrol ettiğinizden emin olun.