Araçlar / SEO
robots.txt Test Aracı
Bir URL'nin belirli bir User-Agent için crawl edilebilir olup olmadığını robots.txt kurallarına göre test edin. Sitenizin robots.txt dosyasını indirir, seçtiğiniz User-Agent için belirli bir yolun taranabilir olup olmadığını test eder ve eşleşen Allow/Disallow kuralını açıkça gösterir.
robots.txt Nedir?
robots.txt, sitenizin kök dizininde (örn. example.com/robots.txt) bulunan düz metin bir dosyadır ve arama motoru botlarına hangi URL'leri tarayabileceğini söyler. Dosyada User-agent, Allow, Disallow, Crawl-delay ve Sitemap direktifleri yer alır. Bot dosyayı indirip kendi kullanıcı ajanı için en spesifik grubu seçer ve ona göre davranır.
robots.txt meta robots etiketinden farklıdır. robots.txt crawling'i (taramayı) engeller ama zaten bilinen bir URL arama sonuçlarında görünmeye devam edebilir — çünkü Google sayfayı çekemese bile başka sitelerin verdiği linkten URL'yi öğrenir. İndekslenmeyi tamamen engellemek için sayfanın <meta name="robots" content="noindex"> etiketi içermesi gerekir; bu da ancak Google sayfayı tarayabiliyorsa çalışır. Ayrıntılar için Google\'ın robots.txt dokümanına bakabilirsiniz.
robots.txt hakkında
Disallow botun sayfayı indirmesini engeller, noindex ise Google'a sayfayı indeksine almamasını söyler. Bir sayfa hem Disallow edilip hem noindex'i çalıştıramaz — çünkü Google sayfayı tarayamazsa noindex etiketini göremez. İndekse hiç girmesin istiyorsanız: Disallow'u kaldırın ve sayfaya noindex meta ekleyin.
Crawl-delay, botun iki istek arasında en az kaç saniye beklemesi gerektiğini söyler. Bing, Yandex ve Baidu direktifi destekler; Google ise desteklemez — Google'da crawl hızını Search Console üzerinden ayarlarsınız. Küçük sunucularda fazla yük oluşmasını engellemek için kullanışlıdır.
robots.txt 404 veya benzeri 4xx dönerse Google "kısıtlama yok" varsayar ve tüm siteyi taramakta serbest olduğunu kabul eder. 5xx dönerse Google tüm siteyi geçici olarak taranamaz sayar — bu çok tehlikelidir ve büyük ranking düşüşüne yol açabilir. robots.txt'nin sürekli 200 dönmesini ve cache'lenmesini sağlayın.
Google ve Bing'in kuralı: en uzun eşleşen kural kazanır (en spesifik). Eşit uzunluktaysa Allow öncelikli. Örneğin /private/ Disallow edilmişse ama /private/public.html Allow ise, ikinci kural daha uzun olduğu için public.html taranabilir. Bu araç tam olarak aynı eşleme mantığını uygular.
Tam kapsamlı teknik SEO denetimi
robots.txt, sitemap, canonical, Core Web Vitals, mobil uyumluluk ve yapısal veri — hepsi raporda.