Türkçe karşılığı tarama bütçesi olan Crawl Budget, Google’ın botlarının web sitenize ayırdığı tarama bütçesini ifade eder. Crawl Budget, tarama maliyetlerinin düşürülmesi ve tarama sürelerinin azaltılması için kullanılır.
Her web sitesinin tarama bütçesi farklıdır. Crawl Budget; sitenin içerik sayısı, otoritesi ve teknik uyumluluğuna göre değişkenlik gösterir. Tarama bütçesinin düşmesi, web sitesinin değerini azaltır.
Crawl Budget Nasıl Hesaplanır?
Tarama bütçesi hesaplanırken dizine eklenmiş olan sayfa sayısının, günlük taranan ortalama sayfa sayısına oranı alınır. Toplam sayfa sayısının günlük taranan sayfa sayısına bölünmesi ile sitenin tarama bütçesine yani Crawl Budget sonuçlarına ulaşılır. Bir web sitesinin tarama bütçesi, 10 üzeri ise tarama bütçesini optimize etmesi için aksiyon alması gerekir.
Crawl Budget, 3 ve 3’ün altında olan web siteleri oldukça iyi durumdadır. Herhangi bir aksiyon alınmasına gerek yoktur. Tarama bütçesi 10 ile 3 arasında olan web sitelerinin günlük taranan ortalama sayfa sayısını takip etmesi faydalı olur. Taranan ortalama sayfa sayısının düşüşe geçmesi durumunda aksiyon alınması gerekir.
Google Botları Nasıl Çalışır?
Google botları, herhangi bir web sitesine yaptıkları ziyarette öncelikle robots.txt dosyasına ulaşır. Ulaşılan bu dosya ve linkler çok sayıda taranır. Taranan sayfalarda bulunan komut ve stil dosyalarını çalışır duruma getirir. Tarama bütçesi kapsamında taratılan linklerden değerli ve önemli bulduklarını indeksler.
Crawl Budget Neye Göre Belirlenir?
Crawl Budget, 4 temel faktör baz alınarak belirlenir. Bu faktörler şu şekilde incelenebilir.
● İndekse Eklenen Toplam Sayfa Sayısı: Google botları bir web sitesini ziyaret ettiğinde site haritası ile indekslenen sayfaları kontrol eder. Bu kontroller sonucunda yeni bağlantılar bulduğu zaman, bunları da tarayarak sınıflandırır. Bu nedenle web sitenize sık sık özgün içerikler eklemeniz ve kalitesiz içerikleri sitenizden kaldırmanız önemlidir.
● Web Sitesinin Boyutu: Google botları, HTML dosyalarını, bütün görselleri, JavaScript ve CSS dosyalarını da tarar. Bu dosyaların büyük boyutlara sahip olması sitenin değerinin düşmesine neden olur. Büyük boyutlardaki dosyaların taranması uzun sürdüğü için Google botları daha fazla kaynak ve süre harcamak zorunda kalır. Bir sonraki ziyaretlerinde büyük boyutlu dosyalar siteden kaldırılmamış ise ziyaretler seyrekleşmeye başlar. Bu da tarama bütçesinin düşmesine neden olur.
● Web Sitesinin Hızı: Web sitelerinin açılış hızı hızı İnternet kullanıcılarını mutlu ettiği gibi Google botlarını da mutlu eder. Web sitesi sayfaları hızlı açılabildiği için botlar tarafından da hızlı taranır. Bu durum daha az kaynak ve daha az süre kullanılmasını sağladığı için Google botları tarafından daha sık ziyaret edilir. Google botlarının sık ziyareti web sitesi için ödül olarak değerlendirilir. SEO çalışmaları site hızının artmasını ve Google sıralamasını olumlu etkiler.
● Backlink Sayısı: Google botları taramalar sırasında, başka bir web sitesinden bağlantı alındığını tespit edince o bağlantıları takip eder. Size ait web sitesine başka bir web sitesinden referans verilmesi, web sitenizin değerini artırır. Bu durum tarama bütçesini olumlu etkiler.
Web Siteleri İçin Tarama Bütçesi Optimizasyonu Nasıl Yapılır?
Web sitenizin tarama bütçesini iyileştirmek için birtakım çalışmalar yapabilirsiniz. Tarama bütçenizin artması, sitenizin arama motorlarında daha üst sırada çıkmasına yardımcı olur. Tarama bütçesinin artması için yapılabilecek çalışmalar şu şekilde sıralanabilir.
● Web sitenizin hızını artırmaya yönelik çalışmalar yapmanız önemlidir.
● Düşük kaliteli içeriklerin dizine eklenmesini engellemek için siteden kaldırmanız gerekir. Düşük kaliteli içerikler botların ziyaret sayısının düşmesine neden olur.
● Site mimarisini en küçük detaylardan başlayarak iyileştirmeye çalışmanız ve gereksiz kodları silmeniz gerekir.
● Web sitenizde bulunan fakat linklenmeyen sayfaların site içerisinde uygun bölümlere yerleşmesini sağlayabilirsiniz.
● Web sitenizde 404 hata kodu veren sayfaların yeniden düzenlenmesi önemlidir.
