SEO Araçları
Robots.txt & Sitemap Denetleyici
Bir alan adı gir; robots.txt dosyasındaki tarama kurallarını ve sitemap.xml dosyalarını saniyeler içinde denetle. İstemeden konmuş tarama engellerini, eksik Sitemap bildirimlerini ve sitemap kayıt sayılarını gör. Ücretsiz, kayıt gerektirmez.
Robots.txt ve sitemap neden önemli?
robots.txt ve sitemap.xml, bir sitenin arama motorlarıyla iletişim kurduğu iki temel dosyadır. robots.txt botlara nereye girip giremeyeceklerini söylerken, sitemap taranması istenen sayfaların listesini sunar. Bu dosyalardaki küçük bir hata — örneğin yanlış bir Disallow kuralı — koca bir sitenin dizinden düşmesine neden olabilir.
Bu araç, her iki dosyayı tek seferde çekip ayrıştırır; kritik engelleri, eksik bildirimleri ve erişilemeyen sitemap'leri öne çıkararak hızlı bir teknik SEO sağlık kontrolü sunar.
Disallow taramayı engeller, indekslemeyi değil
En sık karıştırılan nokta bu. robots.txt'teki bir Disallow kuralı botun sayfayı taramasını durdurur, ama o sayfa hâlâ arama sonuçlarında görünebilir. Google, dış sitelerden link alan engelli bir adresi içeriğini hiç görmeden dizine ekleyebilir. Sonuçta açıklama satırı yerine "Bu sayfa için bilgi mevcut değil" benzeri bir metin çıkar.
Bir sayfayı gerçekten dizinden çıkarmak istiyorsan yöntem Disallow değil, sayfaya konan noindex meta etiketidir. Ama Google noindex'i görebilmek için sayfayı tarayabilmelidir. Aynı adresi hem robots.txt'te engelleyip hem noindex koyarsan bot noindex'i hiç okuyamaz ve sayfa dizinde kalır. Önce taramaya izin ver, sayfa dizinden düştükten sonra istersenDisallow ekle.
En sık yapılan robots.txt hataları
- Staging'den kalan
Disallow: /: Test ortamında tüm siteyi kapatan kural, yayına alırken silinmeyi unutur ve canlı site bir gecede taramaya kapanır. Yeni yayına giren sitelerde ani trafik kaybının en yaygın sebebidir. - Büyük/küçük harf duyarlılığı: Yollar harfe duyarlıdır.
Disallow: /Klasor/yazdıysan/klasor/engellenmez. Sunucundaki gerçek yazımı birebir kullan. - CSS ve JS dosyalarını engellemek: Google sayfayı oluştururken stil ve script dosyalarına ulaşamazsa sayfayı bozuk görebilir. Bu dosyaları
Disallowetme. - noindex'i robots.txt'e yazmak: Google 2019'dan beri robots.txt içindeki
Noindex:satırını dikkate almıyor. Bu iş meta etiketi veyaX-Robots-TagHTTP başlığıyla yapılır.
Sitemap sınırları ve dizin (sitemapindex) mantığı
Tek bir sitemap dosyası en fazla 50.000 URL içerebilir ve sıkıştırılmamış hâlde 50 MB'ı geçemez. Siten bu sınırların üstündeyse URL'leri birden çok sitemap'e böl ve hepsini bir sitemap dizininde (sitemapindex) topla. Örneğin 180.000 ürünlü bir mağaza dört ayrı sitemap ve onları listeleyen tek bir dizin dosyası kullanır.
Sitemap'e yalnızca dizine girmesini istediğin, 200 durum kodu dönen ve kendi kendine canonical olan adresleri koy. Yönlendirilen, 404 veren ya da noindex'li URL'leri listeleme; bunlar sitemap'in güvenilirliğini düşürür. lastmod değerini de dürüst tut. Her URL'e bugünün tarihini basmak Google'ın bu alanı yok saymasına yol açar; tarihi yalnızca içerik gerçekten değiştiğinde güncelle.
Sonuçları nasıl yorumlamalısın
Araç robots.txt'i çektiğinde önce User-agent gruplarına ve genel bir Disallow: / olup olmadığına bak. Kritik işaretlenen bir tam site engeli varsa bunun bilinçli olup olmadığını hemen doğrula. Sitemap satırının bulunması iyi bir işaret; eksikse robots.txt'e tek bir Sitemap: satırı eklemen yeterli.
Sitemap tarafında kayıt sayısına ve dosyanın normal sitemap mı (urlset) yoksa dizin mi (sitemapindex) olduğuna bak. Beklediğinden çok az URL görünüyorsa sitemap eksik üretiliyor olabilir. Şunu unutma: sitemap Google için bir zorunluluk değil, bir öneridir. İçindeki her URL'in taranacağını veya sıralanacağını garanti etmez; yalnızca keşfi hızlandırır.
Diğer SEO Araçları
Sıkça Sorulan Sorular
robots.txt nedir ve ne işe yarar?
robots.txt, sitenin kök dizininde bulunan ve arama motoru botlarına hangi bölümleri tarayabileceklerini söyleyen bir metin dosyasıdır. User-agent grupları altında Allow/Disallow kurallarıyla tarama davranışını yönlendirir.
"Disallow: /" ne anlama gelir?
Tüm botlar (User-agent: *) için "Disallow: /" kuralı, sitenin tamamının taranmasını engeller. Bu kural istemeden bırakıldıysa sitenin arama sonuçlarından kaybolmasına yol açabilir; araç bunu kritik hata olarak işaretler.
Sitemap robots.txt'e neden eklenmeli?
robots.txt içine "Sitemap: https://site.com/sitemap.xml" satırı eklemek, arama motorlarının sitemap'ini otomatik bulmasını sağlar. Bu araç hem robots.txt'teki bildirimi hem de sitemap'in erişilebilirliğini ve kayıt sayısını kontrol eder.
Sitemap dizini (sitemapindex) nedir?
Büyük siteler tek sitemap yerine, birden çok sitemap'e işaret eden bir sitemap dizini (sitemapindex) kullanır. Araç, denetlediği dosyanın normal sitemap (urlset) mi yoksa dizin mi olduğunu ve kaç kayıt içerdiğini gösterir.
robots.txt bir sayfayı Google'dan tamamen kaldırır mı?
Hayır. Disallow yalnızca taramayı durdurur; dış bağlantısı olan bir sayfa yine de dizine girebilir. Bir sayfayı dizinden çıkarmak için sayfaya noindex meta etiketi koyman ve o sayfanın taranabilir kalması gerekir. robots.txt ile engellersen bot noindex'i hiç göremez.
Bir sitemap en fazla kaç URL içerebilir?
Tek bir sitemap dosyası en çok 50.000 URL içerebilir ve sıkıştırılmamış hâlde 50 MB'ı aşamaz. Daha büyük siteler URL'leri birden çok sitemap'e bölüp hepsini bir sitemap dizininde (sitemapindex) toplamalıdır.
robots.txt kuralları büyük/küçük harfe duyarlı mı?
Evet, yollar harfe duyarlıdır. Disallow: /Klasor/ kuralı /klasor/ adresini engellemez. Kuralları sunucundaki gerçek yazımla birebir eşleştirmelisin; aksi hâlde koyduğun engel çalışmaz.
Bu aracı puanla
Tekrar oyu önlemek için IP adresin şifrelenerek (hash) saklanır ve 90 gün sonra anonimleştirilir. KVKK.