Tarama Bütçesi (Crawl Budget): Kimin İçin Önemli, Nasıl Yönetilir?

Tarama bütçesini kimler dert etmeli?

Google'ın kendi ifadesi şöyle: siteniz hızla değişen çok sayıda sayfa içermiyorsa ya da sayfalarınız yayımlandıkları gün taranıyor gibi görünüyorsa bu rehberi okumanıza gerek yok. Google Arama için sitemap'inizi güncel tutmanız ve Sayfa dizine ekleme raporunu düzenli kontrol etmeniz yeterli.

Tarama bütçesi rehberi esas olarak şu siteler için yazılmış (Google bu rakamların kesin eşik değil, kaba tahmin olduğunu vurguluyor):

• 1 milyondan fazla benzersiz sayfası olan ve içeriği orta sıklıkta (haftada bir) değişen büyük siteler
• 10.000'den fazla benzersiz sayfası olan ve içeriği çok hızlı (günlük) değişen orta ve büyük siteler
• Toplam URL'lerinin büyük kısmı Search Console'da “Discovered - currently not indexed” (Keşfedildi - şu anda dizine eklenmedi) olarak görünen siteler

Benzer şekilde Crawl Stats raporunun yardım sayfası da bin sayfadan küçük siteler için bu raporu kullanmaya veya bu ayrıntı düzeyini dert etmeye gerek olmadığını söylüyor. Dizine ekleme durumlarının ne anlama geldiğini Search Console dizine eklenmedi hataları rehberimizde ayrıntılı anlattık. Not: Search Console arayüzündeki Türkçe etiketler, bu yazıda parantez içinde verdiğimiz karşılıklardan biraz farklı olabilir. Emin olmadığımız yerlerde İngilizce orijinal adı tırnak içinde kullandık.

Tarama bütçesi nasıl belirlenir?

Google'a göre web neredeyse sonsuz bir alan ve Google'ın her URL'yi keşfetme kapasitesini aşıyor. Bu yüzden tek bir siteye ayrılabilecek tarama zamanı ve kaynağı sınırlı. Burada “site” bir ana makine adı (hostname) demektir: https://www.example.com/ ile https://code.example.com/ ayrı sitelerdir ve ayrı tarama bütçeleri vardır. Bütçeyi iki unsur belirler: tarama kapasitesi sınırı ve tarama talebi.

Tarama kapasitesi sınırı (hostload)

Google sunucularınızı yormadan taramak ister. Bu nedenle sunucunuzun Google için açık tuttuğu bağlantıların sayısını ve süresini sınırlayan bir kapasite hesaplanır. Her site aynı, ihtiyatlı bir varsayılanla başlar; talep varsa ve site sağlıklı kalırsa sınır zamanla otomatik olarak artar. Sınırı etkileyen başlıca etken tarama sağlığıdır: yanıt süreleri (gecikme ve TTFB dahil) sabit kalır veya iyileşirse sınır yükselir; site yavaşlar, 5xx sunucu hataları veya 429 gibi hız sınırlama sinyalleri dönerse sınır düşer.

Tarama talebi

Her tarayıcının kendine özgü bir talebi vardır. Googlebot için talep sitenin büyüklüğüne, güncellenme sıklığına, sayfa kalitesine ve diğer sitelere göre alakasına bağlıdır. Sizin etkileyebileceğiniz başlıca etkenler:

Site taşıma gibi site genelindeki olaylar da talebi geçici olarak artırabilir. Önemli bir ayrıntı: talep tarayıcıya göre değişse de kapasite sınırı tüm Google tarayıcıları arasında paylaşılır. Yani örneğin yoğun bir AdsBot taraması, Googlebot'a kalan kapasiteyi azaltabilir. Özetle Google tarama bütçesini, “Google'ın tarayabildiği ve taramak istediği URL'ler kümesi” olarak tanımlıyor.

Google’ın önerdiği en iyi uygulamalar

• Kopya içeriği birleştirin. Taramayı benzersiz URL'lere değil benzersiz içeriğe odaklayın. Bunun için canonical etiketi rehberimize bakın.
• Taranmasını hiç istemediğiniz URL'leri robots.txt ile engelleyin. Örneğin bağlantılı sayfalardaki bilgiyi tekrarlayan sonsuz kaydırma sayfaları veya aynı sayfanın farklı sıralanmış sürümleri.
• Kalıcı olarak kaldırılan sayfalar için 404 veya 410 döndürün. Google bildiği bir URL'yi unutmaz ama 404, o URL'yi tekrar taramamak için güçlü bir sinyaldir.
• soft 404 hatalarını giderin. Bu sayfalar taranmaya devam eder ve bütçeyi boşa harcar.
• Sitemap'lerinizi güncel tutun ve güncellenen içerik için <lastmod> etiketini kullanın. Ayrıntılar XML sitemap rehberinde.
• Uzun yönlendirme zincirlerinden kaçının; taramayı olumsuz etkiler.
• Sayfalarınızı hızlı yükletin ve HTTP önbelleklemeyi destekleyin: sayfa değişmediyse 304 (Not Modified) döndürmek Google'ın önbellekteki sürümü kullanmasını sağlar.

noindex mi, robots.txt mi?

Bu ikisi sık karıştırılır. Google'ın tarama bütçesi belgesine göre taranmasını istemediğiniz sayfalar için noindex kullanmayın: Google sayfayı yine ister, noindex etiketini görünce düşürür ve tarama zamanı boşa gider. Öte yandan robots.txt'yi, başka sayfalara bütçe kaydırmak için geçici olarak kullanmayın; Google bu boşalan bütçeyi yalnızca sitenin kapasite sınırına zaten dayanıyorsa başka sayfalara aktarır.

Filtreli gezinme (faceted navigation) URL’leri

E-ticaret sitelerinde renk, beden, marka gibi filtreler genellikle URL parametreleriyle uygulanır ve neredeyse sonsuz sayıda URL kombinasyonu üretir. Google bunun iki zararını sayıyor: aşırı tarama (tarayıcı bir URL'nin işe yaramaz olduğunu ancak taradıktan sonra anlar) ve yeni, faydalı URL'lerin daha geç keşfedilmesi.

Filtre URL’lerinin dizine girmesine gerek yoksa

Google'ın önerisi bu URL'lerin taranmasını engellemek. Çoğu durumda yalnızca tekil ürün sayfalarının ve filtresiz bir liste sayfasının taranması yeterli. Belgedeki örnek:

user-agent: Googlebot
disallow: /*?*products=
disallow: /*?*color=
disallow: /*?*size=
allow: /*?products=all$

Alternatif olarak filtreleri URL parçası (# sonrası) ile uygulayabilirsiniz; Google Arama URL parçalarını tarama ve dizine eklemede genellikle desteklemediği için bunun taramaya olumlu ya da olumsuz etkisi olmaz. rel="canonical" ile filtresiz sürümü işaret etmek ve filtre linklerine rel="nofollow" eklemek de mümkündür, ancak Google bunların uzun vadede daha az etkili olduğunu belirtiyor. nofollow için ayrıca o URL'ye giden her linkte bu niteliğin bulunması gerekir.

Filtre URL’lerinin dizine girmesi gerekiyorsa

• Parametre ayırıcı olarak standart & karakterini kullanın; virgül, noktalı virgül ve köşeli parantez tarayıcılar için ayırıcı olarak algılanması zor karakterlerdir.
• Filtreleri yolda kodluyorsanız (/urunler/balik/yesil/kucuk) sıranın her zaman aynı kalmasını ve aynı filtrenin iki kez yer alamamasını sağlayın.
• Sonuç döndürmeyen filtre kombinasyonlarında, tekrarlanan veya anlamsız filtrelerde ve var olmayan sayfalama URL'lerinde, o URL'nin kendisinde 404 döndürün; genel bir “bulunamadı” sayfasına yönlendirmeyin.

E-ticaret tarafındaki diğer ayrıntılar için e-ticaret SEO rehberimize göz atabilirsiniz.

Tarama hakkında yaygın mitler

Google'ın “Myths and facts about crawling” sayfasındaki bazı cevaplar, Türkçe SEO içeriklerinde sık tekrarlanan yanlışları düzeltiyor:

Crawl Stats raporu nasıl okunur?

Raporu Search Console'da mülk ayarları (Settings) altındaki “Crawl stats” bölümünde bulursunuz. Rapor yalnızca kök düzeydeki mülklerde kullanılabilir: alan adı mülkü (example.com) veya kök düzeyde URL öneki mülkü (https://example.com). Raporda şu bölümler yer alır:

robots.txt erişilemezse ne olur?

Crawl Stats yardım sayfası, robots.txt'nin kritik rolünü açıkça anlatıyor. 200 ile dönen bir dosya (geçerli, geçersiz veya boş) ya da 403/404/410 başarılı yanıt sayılır. 429 ve 5xx ise başarısızdır. robots.txt alınamazsa ilk 12 saat boyunca Google taramayı durdurur; 12 saatten 30 güne kadar en son başarıyla alınan dosyayı kullanır; 30 günden sonra ana sayfa erişilebilirse dosya yokmuş gibi tarar, değilse taramayı durdurur. Kurallar için robots.txt rehberimize bakın.

Tarama hızını güvenli şekilde düşürmek

Bazen Google'ın taraması sunucuda kritik yük oluşturabilir. Google'a göre ani tarama artışlarının en yaygın nedenleri verimsiz URL yapılarıdır: filtreli gezinme veya sıralama özellikleri, belirli tarihler için çok sayıda URL üreten takvimler ve Dinamik Arama Ağı Reklamı (Dynamic Search Ads) hedefleri. Önce hosting firmanızla birlikte erişim loglarına bakıp kaynağı bulun; isteklerin gerçekten Google'dan geldiğini Googlebot doğrulama rehberimizdeki yöntemlerle kontrol edin.

Acil durum: 500, 503 veya 429

Kısa süreli (birkaç saat veya 1-2 gün) acil azaltma için Google, tarama isteklerine 200 yerine 500, 503 veya 429 döndürmeyi öneriyor. Bu durumda Google tüm ana makine adı için tarama hızını düşürür ve hatalar azalınca hızı otomatik olarak yeniden artırır. 503 veya 429 ile birlikte Retry-After başlığı da gönderebilirsiniz:

HTTP/1.1 503 Service Unavailable
Retry-After: 120

Crawl Stats yardım sayfası ayrıca, aşırı tarayan ajanı robots.txt ile geçici olarak engellemeyi de basit bir çözüm olarak anıyor; ancak bunun etkili olmasının bir gün sürebileceğini ve uzun süre engellemenin uzun vadeli etkileri olabileceğini belirtiyor. 503/429'u iki-üç günden fazla döndürmemeyi öneriyor. Hata döndürmek altyapınızda mümkün değilse Google'a özel bir bildirim formuyla düşük tarama hızı talep edebilirsiniz; tarama hızının artırılmasını ise talep edemezsiniz.

Daha fazla tarama bütçesi nasıl alınır?

Google iki yol sayıyor: sunucu kapasitesi yetmiyorsa (URL Denetimi aracında “Hostload exceeded” görüyorsanız) sunucu kaynağı eklemek, ve hedeflediğiniz Google ürünü için içerik kalitesini iyileştirmek. Google Arama için bu; popülerlik, genel kullanıcı değeri, içerik özgünlüğü ve sunum kapasitesi gibi unsurları kapsar. Sunucu tarafı hız için sayfa hızı rehberimize bakabilirsiniz.

Sık Sorulan Sorular

Sitem 500 sayfa, tarama bütçesi için bir şey yapmalı mıyım?

Google'ın rehberine göre büyük olasılıkla hayır. Sitemap'inizi güncel tutmanız ve Sayfa dizine ekleme raporunu düzenli izlemeniz yeterli. Sayfalarınız dizine girmiyorsa sorun genellikle bütçe değil, kalite veya teknik bir hatadır.

Google'dan tarama hızımı artırmasını isteyebilir miyim?

Hayır. Google tarama hızının artırılmasını talep edemeyeceğinizi açıkça belirtiyor. Yapabileceğiniz şey sunucu sağlığını iyileştirmek, gereksiz URL'leri azaltmak ve içerik kalitesine odaklanmaktır.

noindex eklediğim sayfalar bütçemi boşaltır mı?

Kısa vadede hayır, çünkü Google etiketi görmek için sayfayı taramak zorunda. Ancak Google'a göre noindex ile dizinden çıkarılan URL'ler zamanla daha az ilgi görür ve dolaylı olarak bütçeyi uzun vadede biraz rahatlatabilir. Sayfanın dizinde olmamasını istiyorsanız noindex kullanmaya devam edin.

Tarama istatistiklerim sunucu loglarımdan çok yüksek, neden?

Crawl Stats yardım sayfasına göre robots.txt dosyanız uzun süre erişilemezse Google, yapabileceği ama yapmadığı taramaları da toplamda sayar. Raporda robots.txt getirme durumunu kontrol edin.

İlgili içerikler: Dizine eklenmedi hataları · Googlebot doğrulama · Canonical etiketi · JavaScript SEO · robots.txt rehberi · XML sitemap · HTTP durum kodları