Araçlar / SEO
robots.txt Test Aracı
Bir URL'nin belirli bir User-Agent için crawl edilebilir olup olmadığını robots.txt kurallarına göre test edin. Sitenizin robots.txt dosyasını indirir, seçtiğiniz User-Agent için belirli bir yolun taranabilir olup olmadığını test eder ve eşleşen Allow/Disallow kuralını açıkça gösterir.
robots.txt Nedir?
robots.txt, sitenizin kök dizininde (örn. example.com/robots.txt) bulunan düz metin bir dosyadır ve arama motoru botlarına hangi URL'leri tarayabileceğini söyler. Dosyada User-agent, Allow, Disallow, Crawl-delay ve Sitemap direktifleri yer alır. Bot dosyayı indirip kendi kullanıcı ajanı için en spesifik grubu seçer ve ona göre davranır.
robots.txt meta robots etiketinden farklıdır. robots.txt crawling'i (taramayı) engeller ama zaten bilinen bir URL arama sonuçlarında görünmeye devam edebilir — çünkü Google sayfayı çekemese bile başka sitelerin verdiği linkten URL'yi öğrenir. İndekslenmeyi tamamen engellemek için sayfanın <meta name="robots" content="noindex"> etiketi içermesi gerekir; bu da ancak Google sayfayı tarayabiliyorsa çalışır. Ayrıntılar için Google\'ın robots.txt dokümanına bakabilirsiniz.
robots.txt hakkında
Disallow botun sayfayı indirmesini engeller, noindex ise Google'a sayfayı indeksine almamasını söyler. Bir sayfa hem Disallow edilip hem noindex'i çalıştıramaz — çünkü Google sayfayı tarayamazsa noindex etiketini göremez. İndekse hiç girmesin istiyorsanız: Disallow'u kaldırın ve sayfaya noindex meta ekleyin.
Crawl-delay, botun iki istek arasında en az kaç saniye beklemesi gerektiğini söyler. Bing, Yandex ve Baidu direktifi destekler; Google ise desteklemez — Google'da crawl hızını Search Console üzerinden ayarlarsınız. Küçük sunucularda fazla yük oluşmasını engellemek için kullanışlıdır.
robots.txt 404 veya benzeri 4xx dönerse Google "kısıtlama yok" varsayar ve tüm siteyi taramakta serbest olduğunu kabul eder. 5xx dönerse Google tüm siteyi geçici olarak taranamaz sayar — bu çok tehlikelidir ve büyük ranking düşüşüne yol açabilir. robots.txt'nin sürekli 200 dönmesini ve cache'lenmesini sağlayın.
Google ve Bing'in kuralı: en uzun eşleşen kural kazanır (en spesifik). Eşit uzunluktaysa Allow öncelikli. Örneğin /private/ Disallow edilmişse ama /private/public.html Allow ise, ikinci kural daha uzun olduğu için public.html taranabilir. Bu araç tam olarak aynı eşleme mantığını uygular.
Tam kapsamlı teknik SEO denetimi
robots.txt, sitemap, canonical, Core Web Vitals, mobil uyumluluk ve yapısal veri — hepsi raporda.
robots.txt Test Aracı aracını ne zaman kullanmalı?
KEYDAL robots.txt Test Aracı aracı; geliştiriciler, sistem yöneticileri, SEO uzmanları ve kurumsal teknoloji ekiplerinin günlük operasyonlarında kullandığı tarayıcı tabanlı bir araçtır. Hiçbir kurulum gerektirmez, ücretsizdir ve sonuçları anında üretir. Türkiye'de yerel ekiplerin sunucu ortamlarına bağlanmadan denetim yapabilmesi, üretim ortamına dokunmadan analiz yürütebilmesi için tasarlanmıştır.
Tipik kullanım senaryoları arasında: site taşıma sonrası doğrulama, yeni domain veya sunucu sağlayıcısı seçerken karşılaştırma, müşteri sorunlarının teşhisi, güvenlik denetimi (penetration test ön çalışması), e-posta deliverability sorunlarının kök sebep analizi, CDN veya proxy yapılandırmasının doğrulanması, SEO ekiplerinin teknik denetim çıktılarını anında okuması ve incident response sürecinde hızlı bilgi toplama yer alır. Aracın çıktılarını metin olarak kopyalayıp paylaşabilir veya dahili dokümantasyonunuza yapıştırabilirsiniz.
KEYDAL altyapı ekibi olarak; web hosting, VPS, dedicated sunucu yönetimi, sunucu sertleştirme, DNS yapılandırması ve SSL/TLS kurulumu hizmetlerimizi Türkiye merkezli olarak veriyoruz. Bu araçların yanı sıra Hetzner, OVHcloud, Contabo, DigitalOcean ve yerli sağlayıcılar üzerinde sunucu kurulum ve operasyon desteği sağlıyoruz.
Sorgularınız sunucumuzda saklanmaz
KEYDAL araçları geçici (stateless) çalışır: gönderdiğiniz domain adları, IP'ler, URL'ler veya başka veriler veritabanında tutulmaz. Loglar yalnızca güvenlik amaçlı (rate limiting, kötüye kullanım tespiti) tutulur ve 30 gün içinde silinir. Hassas veri (token, API anahtarı, JWT) içeren araçlarda işlem tamamen tarayıcınızda yapılır — verileriniz hiçbir zaman ağ üzerinden gönderilmez. Detay için Gizlilik Politikası sayfamızı inceleyebilirsiniz.
Tüm araçlar HTTPS üzerinden çalışır, TLS 1.3 destekler ve KVKK uyumludur. KEYDAL Türkiye'de faaliyet gösteren bir teknoloji şirketi olarak yerel veri koruma mevzuatına tam uyum sağlar.
Belki bunları da arıyorsunuz
KEYDAL ücretsiz araçlar koleksiyonumuz; DNS sorgulama, WHOIS sorgulama, SSL sertifika kontrolü, HTTP header analiz, IP geolocation, site durumu kontrolü, JSON formatlayıcı, JWT çözücü, Base64 encode/decode, QR kod üretici, meta tag analiz ve robots.txt test aracını içerir. Hepsi tarayıcı tabanlıdır, kurulum gerektirmez ve ücretsizdir.
Sunucu fiyat karşılaştırması arıyorsanız web hosting, VPS, VDS, cloud hosting, dedicated server ve storage sayfalarımıza göz atabilirsiniz. Tüm araçları gör →