robots.txt oluştururken bilinmesi gerekenler
robots.txt dosyasının tanınması için sitenizin kök dizininde yayınlanması gerekir — yani https://example.com/robots.txt. https://example.com/blog/robots.txt gibi bir alt dizine konan dosya arama motorları tarafından hiç okunmaz; ayrıca her alt alan adı (subdomain) kendi robots.txt dosyasına ihtiyaç duyar. Bir User-agent satırı altında hiç Disallow olmaması ya da Disallow değerinin boş bırakılması geçerli bir sözdizimidir ve o bot için "her şeyi tara" anlamına gelir — "Her şeye izin ver" ön ayarı tam olarak bunu üretir.
Disallow, indekslenmeyi garanti altına almaz. Bir yolu Disallow ile engellemek botun o sayfayı taramasını engeller, ama sayfa başka bir siteden bağlantı alıyorsa Google onu yine de (içeriğini görmeden) arama sonuçlarında listeleyebilir. Bir sayfanın kesinlikle indekse girmemesini istiyorsanız sayfaya <meta name="robots" content="noindex"> etiketi veya X-Robots-Tag HTTP başlığı eklemeniz gerekir — ve bunun çalışması için sayfanın taranabilir olması şarttır (yani Disallow edilmemiş olması gerekir). Bu, sık karıştırılan ama kritik bir ayrıntıdır.
Crawl-delay direktifini Google tamamen yok sayar; Google'da tarama hızını Search Console'daki crawl rate ayarlarından yönetirsiniz. Buna karşılık Bing ve Yandex bu direktife uyar ve botun istekler arasında en az kaç saniye bekleyeceğini belirlemenize izin verir — küçük sunucularda aşırı yükü önlemek için kullanışlıdır. Son olarak, Sitemap: satırını robots.txt'ye eklemek, sitemap dosyanızın arama motorları tarafından keşfedilmesini kolaylaştıran, yaygın olarak önerilen bir uygulamadır.
robots.txt Oluşturucu aracını ne zaman kullanmalı?
KEYDAL robots.txt Oluşturucu aracı; geliştiriciler, sistem yöneticileri, SEO uzmanları ve kurumsal teknoloji ekiplerinin günlük operasyonlarında kullandığı tarayıcı tabanlı bir araçtır. Hiçbir kurulum gerektirmez, ücretsizdir ve sonuçları anında üretir. Türkiye'de yerel ekiplerin sunucu ortamlarına bağlanmadan denetim yapabilmesi, üretim ortamına dokunmadan analiz yürütebilmesi için tasarlanmıştır.
Tipik kullanım senaryoları arasında: site taşıma sonrası doğrulama, yeni domain veya sunucu sağlayıcısı seçerken karşılaştırma, müşteri sorunlarının teşhisi, güvenlik denetimi (penetration test ön çalışması), e-posta deliverability sorunlarının kök sebep analizi, CDN veya proxy yapılandırmasının doğrulanması, SEO ekiplerinin teknik denetim çıktılarını anında okuması ve incident response sürecinde hızlı bilgi toplama yer alır. Aracın çıktılarını metin olarak kopyalayıp paylaşabilir veya dahili dokümantasyonunuza yapıştırabilirsiniz.
KEYDAL altyapı ekibi olarak; web hosting, VPS, dedicated sunucu yönetimi, sunucu sertleştirme, DNS yapılandırması ve SSL/TLS kurulumu hizmetlerimizi Türkiye merkezli olarak veriyoruz. Bu araçların yanı sıra Hetzner, OVHcloud, Contabo, DigitalOcean ve yerli sağlayıcılar üzerinde sunucu kurulum ve operasyon desteği sağlıyoruz.
Sorgularınız sunucumuzda saklanmaz
KEYDAL araçları geçici (stateless) çalışır: gönderdiğiniz domain adları, IP'ler, URL'ler veya başka veriler veritabanında tutulmaz. Loglar yalnızca güvenlik amaçlı (rate limiting, kötüye kullanım tespiti) tutulur ve 30 gün içinde silinir. Hassas veri (token, API anahtarı, JWT) içeren araçlarda işlem tamamen tarayıcınızda yapılır — verileriniz hiçbir zaman ağ üzerinden gönderilmez. Detay için Gizlilik Politikası sayfamızı inceleyebilirsiniz.
Tüm araçlar HTTPS üzerinden çalışır, TLS 1.3 destekler ve KVKK uyumludur. KEYDAL Türkiye'de faaliyet gösteren bir teknoloji şirketi olarak yerel veri koruma mevzuatına tam uyum sağlar.
Belki bunları da arıyorsunuz
KEYDAL ücretsiz araçlar koleksiyonumuz; DNS sorgulama, WHOIS sorgulama, SSL sertifika kontrolü, HTTP header analiz, IP geolocation, site durumu kontrolü, JSON formatlayıcı, JWT çözücü, Base64 encode/decode, QR kod üretici, meta tag analiz ve robots.txt test aracını içerir. Hepsi tarayıcı tabanlıdır, kurulum gerektirmez ve ücretsizdir.
Sunucu fiyat karşılaştırması arıyorsanız web hosting, VPS, VDS, cloud hosting, dedicated server ve storage sayfalarımıza göz atabilirsiniz. Tüm araçları gör →