Robots.txt ve Noindex Farkı: İndeksleme Hatalarını Önleme Rehberi

Bir sayfanın Google’da görünmesini istemediğinizde ilk akla gelen iki araç robots.txt ve noindex olur. Ancak ikisi aynı problemi çözmez. Robots.txt, uyumlu botların hangi URL’leri tarayabileceğini yönetir; noindex ise taranan sayfanın arama dizinine eklenmemesini ister. Bu farkı atlamak, “Google sayfamı engelledim ama hâlâ görünüyor” sorusunun en yaygın nedenlerinden biridir.

Tarama ve indeksleme neden ayrı aşamalardır?

Tarama, bir botun URL’ye istek gönderip yanıtını okumasıdır. İndeksleme, arama motorunun bu sayfayı sonuçlarda sunmak üzere değerlendirmesidir. Bir URL erişilebilir olduğu hâlde indekslenmeyebilir; hatta robots.txt nedeniyle taranamayan bir URL, diğer sitelerden bağlantı alıyorsa sınırlı bilgilerle arama sonuçlarında yine de görünebilir. Bu yüzden “engellendi” mesajının hangi aşamada oluştuğunu okumak gerekir.

Robots.txt ne zaman kullanılmalı?

Site içi arama gibi çok sayıda benzer URL üreten alanlarda tarayıcıların erişimini yönetmek için robots.txt kullanılabilir. Örneğin User-agent: * ve Disallow: /arama/ satırları, kurala uyan botlardan /arama/ yolunu taramamasını ister. Bu dosya sitenin kökünde, örneğin https://ornek.com/robots.txt adresinde sunulur.

Ancak robots.txt bir giriş kontrolü değildir. Şifre, kişisel bilgi veya gizli rapor içeren bir sayfa yalnızca robots.txt ile korunamaz. Böyle içeriklere erişimi sunucu tarafında sınırlandırmak gerekir. Robots.txt ayrıca Google için geçerli bir noindex talimatı içermez.

Noindex ne zaman tercih edilir?

Sayfa ziyaretçilere açık kalsın ancak arama sonuçlarında listelenmesin istiyorsanız <meta name="robots" content="noindex"> kullanılabilir. HTML dışı içeriklerde uygun HTTP X-Robots-Tag yanıt başlığı da seçenekler arasındadır. Örnek: kampanya sonrası erişilebilir kalan ancak arama sonuçlarında görünmesi gerekmeyen eski bir teşekkür sayfası.

Önemli: Google’ın noindex talimatını görebilmesi için sayfaya erişebilmesi gerekir. Aynı sayfayı robots.txt ile engelleyip noindex eklemek çelişkili bir kurgu oluşturur; bot noindex sinyaline ulaşamayabilir.

Uygulamalı örnek: Yanlış ve doğru yaklaşım

Senaryo: /uye/hesap sayfasının aramada görünmemesini istiyorsunuz. Yanlış yaklaşım: Yalnızca Disallow: /uye/ ekleyip URL’nin kesinlikle indeksten çıkacağını varsaymak. Doğru yaklaşım: Gerçekten özel bilgi barındırıyorsa oturum açma zorunluluğu uygulamak; ziyaretçilere açık kalacak bir URL ise erişilebilir durumda tutup noindex kullanmak. Sitenizin gereksinimine göre çözüm değişir.

Başka bir örnekte, /filtre?renk=... gibi çoğalan parametreli sayfaları yönetmek için yalnızca noindex eklemek yerine URL üretimini, canonical yapısını ve site içi bağlantıları da incelemek gerekebilir. Tek bir kural bütün gezinme problemlerini çözmez.

Kontrol listesi: Bir değişiklikten sonra nereye bakmalı?

1. Hedef URL HTTP 200 mü dönüyor, yoksa yönlendiriliyor mu?
2. /robots.txt ilgili yolu engelliyor mu?
3. HTML meta robots veya X-Robots-Tag ne söylüyor?
4. Canonical başka bir URL’ye mi işaret ediyor?
5. Google Search Console URL Denetimi ne raporluyor?
6. Değişiklikten sonra yeniden tarama için yeterli süre geçti mi?

Hızlı inceleme için Robots.txt Testi ve İndekslenebilirlik Kontrolü araçlarını kullanın. Birden fazla URL sorunluysa Gelişmiş Site Tarayıcı ile kapsamı genişletin.

Canonical, sitemap ve yönlendirmelerle ilişkisi

Noindex kullanmak bir URL’yi diğerinin eşdeğeri hâline getirmez. Yinelenen içeriklerin tercih edilen adresini belirtmek için canonical rehberimize bakın. Sitenizin keşfedilmesini istediğiniz sayfalarını da XML sitemap kontrol listesinde anlatıldığı gibi seçin. Kaldırılan veya taşınan sayfalarda ise uygun yönlendirme stratejisi gerekir.

Sık sorulan sorular

Robots.txt ile bir URL kesin olarak Google’dan silinir mi?

Hayır. Robots.txt taramayı yönetir; arama sonuçlarından kaldırmanın garantili yolu değildir.

Noindex sayfa hızını artırır mı?

Hayır. Noindex indekslemeyi etkileyen bir sinyaldir, performans optimizasyonu değildir.

Sonucu hemen görür müyüm?

Değişikliklerin fark edilmesi yeniden taramaya bağlıdır. URL Denetimiyle durumu izleyin; anlık sonuç sözü vermek doğru olmaz.

Kaynaklar: Google robots.txt rehberi ve Google noindex belgeleri. Bu yazı teknik rehberdir; her sitede URL bazında test yapılmalıdır.