robots.txt Dosyası Nasıl Oluşturulur?

robots.txt, arama motoru botlarına sitenin hangi bölümlerini taramaması gerektiğini söyleyen küçük bir metin dosyası; bir sayfayı burada engellemek onu aramadan tamamen gizlemez, sadece taramayı engeller.

Özet

Adım adım

Dosyayı sitenin kök dizinine koy, başka bir yerde işe yaramaz.
Hangi klasörlerin taranmaması gerektiğini belirle, Disallow satırlarıyla ekle.
Sitemap'in konumunu da dosyanın sonuna ekle, botların onu kolayca bulmasını sağlar.
Bir sayfayı arama sonuçlarından tamamen çıkarmak istiyorsan robots.txt yeterli değil, sayfaya noindex etiketi eklemen gerekir.

Neden önemli?

Arama motoru botları bir siteye ayırdıkları zamanı sınırsız kullanmaz. Filtre sayfaları, iç arama sonuçları, sepet ve oturum parametreli adresler gibi binlerce önemsiz URL taranırken asıl içerik sayfalarınız sırada bekleyebilir. robots.txt bu gürültüyü azaltmanın en basit yoludur. Öte yandan tek bir yanlış satır, sitenin tamamını taranamaz hale getirebilir. Bu yüzden dosya küçük olsa da her değişiklikte dikkat ister.

Basit bir dosya nasıl görünür?

Her kural grubu bir User-agent satırıyla başlar. Yıldız işareti tüm botları kapsar. Ardından Disallow satırlarıyla taranmasını istemediğiniz yolları, gerekirse Allow satırlarıyla istisnaları yazarsınız. En sona da Sitemap satırıyla site haritasının tam adresini eklersiniz. Yollar sitenin köküne göre yazılır ve büyük küçük harfe duyarlıdır; /Admin/ ile /admin/ farklı klasörler sayılır.

Sık yapılan hatalar

Geliştirme ortamından kalan Disallow: / satırını canlı siteye taşımak. Bu satır tüm siteyi taramaya kapatır ve fark edilmesi bazen günler sürer.
CSS ve JavaScript klasörlerini engellemek. Google sayfayı kullanıcının gördüğü gibi işleyemezse içeriği eksik değerlendirebilir.
Bir sayfayı hem robots.txt ile engelleyip hem de noindex eklemek. Bot sayfayı tarayamadığı için noindex etiketini hiç göremez.
robots.txt dosyasını bir güvenlik önlemi sanmak. Dosya herkese açıktır; gizli bir yönetim panelinin yolunu buraya yazmak onu ilan etmek gibidir.
Alt alan adlarını unutmak. blog.ornek.com için ayrı bir robots.txt gerekir, ana alan adındaki dosya orayı kapsamaz.

Örnek bir senaryo

Bir e-ticaret sitesinde ürün listeleri renk, beden ve fiyat filtreleriyle sayısız URL üretiyor. Search Console'da taranan ama dizine eklenmeyen sayfa sayısı hızla artıyor. Çözüm olarak filtre parametreli adresler ve /sepet/ klasörü Disallow ile kapatılıyor, kategori ve ürün sayfaları açık bırakılıyor. Değişiklikten önce Search Console'daki robots.txt raporuyla dosyanın doğru okunduğu kontrol ediliyor ve birkaç önemli ürün URL'sinin hâlâ taranabilir olduğu tek tek doğrulanıyor.

Değişiklikten sonra ne yapmalı?

Dosyayı yayına aldıktan sonra tarayıcıda alanadi.com/robots.txt adresini açıp gerçekten güncel sürümün göründüğünü kontrol edin. Önbellek ya da CDN eski dosyayı sunmaya devam edebilir. Birkaç gün boyunca Search Console'daki tarama istatistiklerini izleyin; önemli sayfalarda ani bir düşüş görürseniz ilk bakılacak yer bu dosyadır.