Araçlar
robots.txt Oluşturucu
Tarayıcılara hangi bölümlerin taranacağını bildiren robots.txt dosyasını hazırlar.
Kaynak: Tamamen tarayıcıda çalışır; girdi sunucuya gönderilmez
robots.txt Oluşturucu nasıl kullanılır?
-
Yaklaşımı seçin
Çoğu site için "Tümüne izin ver" doğrudur; yalnız yönetim ve sepet gibi yolları kapatın.
-
Yolları yazın
Her satıra bir yol. Baştaki eğik çizgiyi siz koymazsanız eklenir.
-
Dosyayı köke koyun
robots.txt yalnızca alanadi.com/robots.txt adresinden okunur; alt klasörde geçersizdir.
Sık Sorulanlar
robots.txt sayfamı Google’dan gizler mi?
Hayır. robots.txt TARAMAYI engeller, dizine eklenmeyi değil. Başka sitelerden bağ alan bir sayfa, içeriği taranmadan da arama sonuçlarında listelenebilir. Gizlemek için sayfaya noindex meta etiketi koyun.
Crawl-delay’i Google okur mu?
Hayır, Google bu satırı yok sayar. Tarama hızını Search Console üzerinden ayarlayabilirsiniz. Bing ve Yandex ise dikkate alır.
Yapay zekâ tarayıcılarını engellemek ne işe yarar?
GPTBot, ClaudeBot gibi tarayıcıları kapatmak içeriğinizin eğitim verisi olarak toplanmasını azaltır. Bu kurala uymak gönüllülük esasına dayanır; teknik bir engelleme değildir.