Google arama botlarının tarama faaliyetlerine değinen Google‘dan John Mueller “Tüm Web’i taramak imkansız” dedi. Her URL’yi taramanın ve web dünyası keşfetmenin imkansız olduğunu söyleyerek mevcut teknolojileri açıklayan Mueller, böylece Google’ın çalışma ve tarama sisteminin öğrenilmesini sağladı.
Çoğu kullanıcının ortak sorunlarından birisi olan tarama ve tüm bağlantıların keşfedilmesi, uzun zamandan beri Google’ın eleştirilmesine neden oluyordu. Ancak Mueller tarafından yapıldığı açıklamalarda Google dahil olmak üzere hiçbir sistem ve uygulamanın web sitesine gelen bağlantıları %100 bir şekilde keşfedemeyeceği belirtildi.
Web siteleri birleştirirken dikkat edilmesi gereken SEO kriterleri
Web’i eksiksiz taramanın hiçbir yolu yok
Webdeki URL sayısının sonsuz olduğunu ve böyle bir sonsuzluk içerisinde de web’i taramanın mümkün olmadığını söyleyen Mueller, sürekli yeni URL’leirn de eklendiği bir ekosistemde bu zorluklara değindi.
Mueller’in açıklamalarında dikkat çeken bir diğer detay ise tüm URL’lerin tutulacağı bir veri tabanının olmaması. “İnterneti düzgün bir şekilde taramanın nesnel bir yolu yok. Gerçek URL’lerin sayısı fiilen sonsuz olduğundan, hepsini taramak teorik olarak imkansızdır. Hiç kimse bir veri tabanında sonsuz sayıda URL tutmayı göze alamayacağından, tüm web tarayıcıları gerçekçi olarak neyin taranmaya değer olduğu konusunda varsayımlar, basitleştirmeler ve tahminlerde bulunur. Ve o zaman bile, pratik amaçlar için, hepsini her zaman tarayamazsınız. İnternet bunun için yeterli bağlantıya ve bant genişliğine sahip değil. Düzenli olarak çok sayıda sayfaya erişmek istiyorsanız çok paraya mal olur. Ayrıca bazı sayfalar hızla değişir. Bazıları ise 10 yıldır değişmedi. Bu nedenle tarayıcılar, değişmeyi umdukları sayfalardan ziyade değiştirmeyi umdukları sayfalara daha fazla odaklanarak çabadan tasarruf etmeye çalışırlar.” dedi.
Web tarayıcıları sayfaları neye göre tarıyor?
Mueller’in bu açıklamaları, tarama konusunda belirli kriterler olduğu gerçeğini de ortaya çıkarıyor. Mueller’e göre tarama sırasında çöp olarak değerlendirilebilecek siteler ve URL’ler botlar tarafından görmezden geliniyor. Web sitelerinin değerini ve URL’lerini değerlendirerek belirli bir kriter belirleyen botlar, böylece tarama konusunda Google sisteminin de ortaya çıkmasını sağlıyor.
