Meta Robots Etiketi: noindex, nofollow ve Diğer

Meta Robots Etiketi Nedir?

Meta robots etiketi, bir arama motoru botunun tek bir sayfayı nasıl indeksleyeceğini ve o sayfadaki bağlantıları nasıl takip edeceğini belirleyen bir HTML direktifidir. <head> içine eklenen <meta name="robots" content="..."> satırı Googlebot ve diğer arama motoru botlarına sayfa özelinde talimat verir. Görsel, PDF ve video gibi HTML içermeyen dosyalarda aynı görevi sunucu tarafından gönderilen X-Robots-Tag HTTP başlığı üstlenir.

Bu etiket genellikle arama sonuçlarında görünmesi istenmeyen sayfalarda kullanılır: teşekkür sayfaları, filtre ve sıralama parametreleriyle oluşan tekrar eden URL'ler, giriş gerektiren yönetim panelleri veya henüz yayına hazır olmayan taslak içerikler bunlara örnektir. Doğru kullanıldığında arama motorunun kaynaklarını sitenizin gerçekten önemli sayfalarına yönlendirmesine yardımcı olur.

Hangi Sayfalarda noindex Kullanılmalı?

Her sayfanın arama sonuçlarında görünmesi gerekmez; bazı sayfalar ziyaretçi için gerekli olsa da arama motoru indeksinde yer almasının bir faydası olmaz, hatta siteye zarar verebilir. Bu tür sayfalarda noindex kullanmak, arama motorunun kaynaklarını sitenizin gerçekten değer üreten sayfalarına ayırmasına yardımcı olur.

Sipariş onayı, teşekkür sayfası gibi yalnızca bir işlem sonrası ulaşılan sayfalar.
İç arama motorunun ürettiği ?q= gibi parametreli sonuç sayfaları.
Filtre ve sıralama kombinasyonlarıyla türeyen, birbirine neredeyse aynı içeriğe sahip ürün listeleme URL'leri.
Giriş yapılması gereken hesap, sepet ve yönetim panel sayfaları.
Henüz yayına hazır olmayan taslak içerikler ile test/staging ortamındaki kopya sayfalar.

robots.txt ile Meta Robots Arasındaki Fark

robots.txt ve meta robots etiketi birbirinden tamamen farklı iki katmanda çalışır. robots.txt dosyasındaki bir Disallow kuralı botun sayfayı taramasını (crawl) engeller; bot o URL'yi hiç ziyaret etmez. Buna karşılık noindex içeren bir meta robots etiketinin işe yaraması için sayfanın önce taranmış olması gerekir: bot sayfayı ziyaret eder, HTML içinde noindex direktifini görür ve ancak o zaman sayfayı indeksten çıkarmaya karar verir.

Bu nedenle bir sayfayı hem robots.txt ile Disallow etmek hem de üzerine noindex eklemek, sık yapılan ama kendi kendini boşa çıkaran bir hatadır. Bot sayfayı hiç taramadığı için içindeki noindex etiketini asla görmez; sayfa başka bir yerden bağlantı alıyorsa yine de indekste kalabilir.

Uyarı

Bir sayfayı arama sonuçlarından kesin olarak çıkarmak istiyorsanız robots.txt üzerinden engellemeyin, sadece noindex direktifini kullanın. İki yöntemi birlikte uygulamak amacına ulaşmaz.

Meta Robots Direktifleri: Hangisi Ne İşe Yarar

content özniteliğine virgülle ayrılmış birden fazla direktif eklenebilir. En sık kullanılanlar şunlardır:

Direktif	Ne işe yarar
index / noindex	Sayfanın arama sonuçlarında görünüp görünmeyeceğini belirler.
follow / nofollow	Sayfadaki tüm bağlantıların takip edilip edilmeyeceğini belirler.
noarchive	Google'ın sayfanın önbellek/kopya sürümünü göstermesini engeller.
nosnippet	Arama sonucunda metin veya video önizlemesi gösterilmesini engeller.
noimageindex	Sayfadaki görsellerin Google Görseller'de indekslenmesini engeller.
notranslate	Google'ın sayfa için çeviri önerisi sunmasını engeller.
max-snippet:N	Önizleme metninin maksimum karakter uzunluğunu belirler; `-1` sınırsız anlamına gelir.

Direktifler birlikte kullanılabilir. Örneğin bir sayfayı indeksten tamamen çıkarıp linklerini de takip ettirmemek için noindex, nofollow; sayfayı indekslemek ama önbellek kopyasını ve görsel indekslemesini kapatmak için index, follow, noarchive, noimageindex yazılabilir.

HTML Etiketi ve X-Robots-Tag HTTP Başlığı

Standart kullanım, sayfanın <head> bölümüne <meta name="robots" content="noindex, nofollow"> gibi bir satır eklemektir. Bu satır yalnızca o sayfa için geçerlidir ve sitenin diğer sayfalarını etkilemez.

Görsel, PDF ve video gibi HTML olmayan dosyalarda <meta> etiketi kullanılamaz; bu durumda aynı direktifler sunucu tarafında X-Robots-Tag HTTP başlığıyla gönderilir. Google Search Central bu yöntemi resmi olarak destekler ve aynı direktif sözdizimini (index/noindex, follow/nofollow, noarchive, max-snippet vb.) kabul eder. Örneğin bir Nginx sunucusunda tüm PDF dosyalarını indeksten çıkarmak için:

location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex, nofollow";
}

Aynı kural Apache üzerinde .htaccess ya da sanal sunucu tanımı içinde şu şekilde uygulanır:

<FilesMatch "\.pdf$">
    Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

İpucu

X-Robots-Tag başlığını yalnızca gerçekten indeksten çıkarmak istediğiniz dosya türlerine hedefleyin. Başlığı tüm siteye kapsayan bir kural içine yanlışlıkla eklemek, sitenin tamamının arama sonuçlarından düşmesine yol açabilir.

nofollow: Sayfa Düzeyi ile Link Düzeyi Farkı

Meta robots etiketindeki nofollow direktifi sayfa düzeyinde bir ayardır ve sayfadaki tüm bağlantıları etkiler. Bu, tek bir bağlantıya eklenen rel="nofollow" özniteliğinden farklıdır; o öznitelik yalnızca üzerine yazıldığı tek <a> linkini etkiler, sayfadaki diğer linkleri değil. İki yöntemi birbirine karıştırmak, istemeden tüm sayfanın link değerini engellemenize ya da tam tersi tek bir linki kısıtlamanız gerekirken tüm sayfayı etkilemenize yol açabilir.

Örneğin bir blog yazısında yalnızca sponsorlu bir bağlantıyı işaretlemek isterseniz <a href="https://ornek.com" rel="nofollow"> yeterlidir; sayfanın geri kalanındaki iç ve dış linkler normal şekilde takip edilmeye devam eder. Sayfanın tamamındaki linkleri takip ettirmemek gibi çok daha kapsamlı bir kararsa, bu ancak sayfa düzeyindeki meta robots nofollow direktifiyle sağlanır.

Sık Yapılan Hatalar

Bir sayfayı robots.txt ile Disallow ederken üzerine de noindex eklemek — bot sayfayı taramadığı için etiket hiç görülmez.
Test veya geliştirme ortamında bırakılan noindex etiketinin canlı ortama taşınan kodda unutulması ve sayfanın sessizce indeksten düşmesi.
PDF gibi HTML olmayan dosyalarda <meta> etiketi eklemeye çalışmak — bu dosya türlerinde yalnızca X-Robots-Tag başlığı işe yarar.
Sayfa düzeyindeki nofollow direktifi ile tekil bir linkteki rel="nofollow" özniteliğini birbirine karıştırmak.

Etiketi Aracımızla Oluşturun

Direktifleri elle yazıp sözdizimi hatası yapma riskine girmek yerine, aşağıdaki araçla istediğiniz kombinasyonu seçip hem HTML meta etiketini hem de eşdeğer X-Robots-Tag HTTP başlığını hazır biçimde alabilirsiniz.

Meta Robots Oluşturucu

index/noindex, follow/nofollow ve diğer direktifleri seçin; HTML meta etiketi ve X-Robots-Tag başlığını anında oluşturun.

İlgili Yazılar

Bu yazıyı okuyanlar bunları da okudu

seo 6 dk

Meta Robots Etiketi: noindex, nofollow ve Diğer Direktifler