Tarama ve indeksleme: robots, noindex ve sitemap

Tarama izni botun bir kaynağı istemesine ilişkin kontroldür. İndeksleme tercihi ise içeriğin arama sonuçlarında kullanılmasına ilişkindir. robots.txt erişimi yönetir; güvenlik duvarı veya oturum kontrolü değildir. Engellenmiş bir URL, dış bağlantılardan öğrenildiğinde içeriği taranmadan sonuçlarda görünebilir. Bu nedenle robots.txt gizlilik veya kesin indeks kaldırma yöntemi olarak kullanılmamalıdır. Google robots.txt açıklaması

noindex kuralının okunabilmesi için ilgili kaynağın taranabilir olması gerekir. HTML içinde robots meta etiketi, uygun durumlarda HTTP yanıtında X-Robots-Tag kullanılabilir. Bot sayfayı robots.txt nedeniyle alamıyorsa içerideki noindex'i de okuyamaz. Robots meta ve HTTP başlıkları

Özel müşteri dosyaları için doğru yaklaşım gerçek erişim yetkilendirmesidir. Bir URL'nin arama sonuçlarından uzak olması, yetkisiz kişinin onu açamayacağı anlamına gelmez. SEO kontrolü ile güvenlik kontrolünü ayrı tasarlayın.

Kararı uygulamadan önce sayfanın neden var olduğunu sorun. Site içi arama sonucu, özel panel ve ürün kategorisi aynı politikayı gerektirmez. Tek bir genel kuralı bütün siteye yaymak beklenmeyen kayıplar yaratabilir. Önce küçük örnek kümesinde davranışı doğrulayın.

Sitemap, arama motoruna önemli URL'ler hakkında bilgi verir; bütün URL'lerin taranacağını veya indeksleneceğini garanti etmez. Büyük ya da keşfi zor sitelerde özellikle yararlı olabilir. Google sitemap rehberi

Kendi yayın kontrolünüzde sitemap'i veritabanının rastgele çıktısı olarak görmeyin. Tercih edilen, erişilebilir, sonuçlarda yer almasını istediğiniz sayfalarla tutarlı bir liste kurun. Yeni bir ders yayınlandıysa sitemap'te bulunması kadar akademi merkezinden bağlantı alması da önemlidir. noindex sayfalar, hata veren adresler ve eski yönlendirmeler gördüğünüzde üretim mantığını inceleyin.

Son değiştirme tarihi kullanıyorsanız gerçek içerik değişimini temsil etmelidir. Her açılışta bugünün tarihini yazmak bakım kaydı değildir. Site haritası üretildikten sonra canlı adresten okuyun; yerelde doğru görünen dosya barındırma katmanında başka bir dosyayla değişebilir. Denetimi yayındaki gerçek cevap üzerinden yapın.

Kurgusal örnek: Bir etkinlik sitesinin eski kayıt sonucu sayfaları aramada görünüyor. Ekip bu dizini robots.txt ile kapatıyor, ardından sayfalara noindex ekliyor. Haftalar sonra URL'leri hâlâ görünce noindex'in çalışmadığını düşünüyor. Gerçekte bot sayfayı alamadığı için yeni kuralı okuyamıyor olabilir. İlk adım tarama engeli ile indeksleme tercihini aynı tabloda değerlendirmektir.

Sayfalar kişisel bilgi içeriyorsa önce erişim güvenliği ele alınır; arama görünürlüğü düzelene kadar açık bırakılmaz. Halka açık ama gereksiz sayfalarda ise taranabilir noindex yaklaşımı değerlendirilir. Kaldırılmış ve karşılığı olmayan içeriklerde uygun hata durumu farklı bir çözümdür. Tek bir reçete her duruma uygulanmaz.

Ekip örnek URL'lerde yanıt başlıklarını ve HTML'i kontrol eder, canlı testte erişimi doğrular ve sonraki indeks durumunu izler. Tekrar tekrar istek göndermek yerine uygulanmış kuralın okunabilir olduğundan emin olur. Bu örnekte bir kaldırma süresi vaat edilmiyor; süreç, geçmiş tarama ve yeniden işleme gibi etkenlere bağlıdır.

1. Hizmet, makale, panel, arama sonucu ve kaldırılmış sayfadan örnekler seçin.
2. Her biri için “herkese açık mı, sonuçlarda olmalı mı, kalıcı mı?” sorularını yanıtlayın.
3. HTTP durumu, robots.txt erişimi, meta robots, X-Robots-Tag ve canonical bilgisini kaydedin.
4. Birbiriyle çelişen sinyalleri işaretleyin. HTML'e bakıp HTTP başlığını atlamayın.
5. İndeksleme istenen sayfaların anlamlı iç bağlantı aldığını ve sitemap ile tutarlı olduğunu kontrol edin.
6. Düzeltme sonrası canlı yanıtı tekrar okuyun; indeks durumunun değişmesini ayrı tarihli gözlem olarak kaydedin.

İndeks dışında kalan her URL hata değildir. Panelin veya yinelenen sürümün dışarıda kalması tasarımın beklenen sonucu olabilir. Raporları toplam sayı üzerinden paniğe çevirmek yerine sayfa amacıyla eşleyin. “Keşfedildi” ve “tarandı” gibi durumları da birbirinin eş anlamlısı saymayın.

En sık hata robots.txt ile noindex'i aynı hedef için düşünmeden üst üste koymaktır. Diğer önemli hata, indekslenmeyen içeriği daha çok kelime ekleyerek düzeltmeye çalışmaktır. Önce teknik erişim ve sinyalleri, sonra özgün değer ve kullanıcı ihtiyacını inceleyin. Kaynak kontrolü: 27 Eylül 2026.

Bir raporda yüzlerce dışlanmış URL görmeniz tek başına kötü haber değildir. Önce örnekleri türlerine ayırın: panel adresleri, parametreli kopyalar, kaldırılmış ürünler ve gerçekten önemli dersler. Beklenen dışlanmalar ile istenmeyen dışlanmaları farklı listelerde tutun. Toplamı sıfırlamaya çalışmak doğru tercihleri bozabilir.

İnceleme sırası oluştururken yeni yayınlanan ve iş açısından önemli sayfalara öncelik verin. Her örnekte aynı alanları doldurun; böylece sorunların ortak şablon veya dizinde toplanıp toplanmadığını görebilirsiniz. Tek bir URL'den bütün sitenin durumunu çıkarmayın. Bir alt dizin etkileniyorsa o dizinin kuralını ve yayın geçmişini kontrol edin. Bulguyu çözmeden yeni sitemap göndermek, değişmemiş bir problemi yeniden bildirmekten öteye geçmeyebilir. İyi takip, işlem sayısını değil düzeltilmiş ve doğrulanmış nedenleri raporlar.