robots.txt Oluşturucu - DigiKitApp

Arama motoru botları için robots.txt dosyası oluşturun.

Ne zaman kullanmalısın?

Arama motoru botlarına sitenin hangi bölümlerini taramaması gerektiğini bildiren robots.txt dosyasını sıfırdan oluşturman gerektiğinde kullan.

Ne zaman kullanmamalısın?

Bir sayfayı arama sonuçlarından tamamen kaldırmak istiyorsan robots.txt yeterli değil; o durumda sayfaya noindex etiketi eklemen gerekir, robots.txt sadece taramayı engeller.

Sitenizin arama motorları ve yapay zeka botları (ChatGPT, Claude, Perplexity vb.) tarafından ne kadar iyi okunup taranabildiğini tek seferde görmek isterseniz SEO & GEO Analiz aracımızı deneyebilirsiniz.

Adım adım kullanım

Disallow yolu alanına botların taramasını istemediğin dizini yaz. Yol, alan adından sonraki kısımla ve eğik çizgiyle başlamalı; örneğin /admin/ veya /sepet/.
Sitenin bir sitemap dosyası varsa tam adresini Sitemap URL (opsiyonel) alanına gir; https:// ile başlayan eksiksiz bir adres olmalı.
Çalıştır butonuna bas ve oluşan robots.txt içeriğini kontrol et.
Metni robots.txt adlı düz bir metin dosyasına kaydet ve sitenin kök dizinine yükle. Dosya tarayıcıda alanadi.com/robots.txt adresinden açılabilmeli.

Örnek

Küçük bir e-ticaret siten var ve iç arama sonuç sayfaları /arama/ altında binlerce farklı adres üretiyor. Bu sayfalar ziyaretçi için faydalı ama arama motorları için tekrar eden içerik. Disallow yoluna /arama/ yazıp sitemap adresini ekleyerek botların zamanını ürün ve kategori sayfalarına yönlendiren basit bir dosya elde edersin. Dosyayı yükledikten birkaç gün sonra Search Console'daki tarama istatistiklerine bakarak botların gerçekten bu dizinden uzak durduğunu doğrulayabilirsin. Unutma, bu sayfalar daha önce dizine girdiyse robots.txt onları hemen arama sonuçlarından silmez; yalnızca yeniden taranmalarını engeller.

robots.txt ne işe yarar?

robots.txt, sitenizin kök dizinine konan ve arama motoru botlarına hangi bölümleri tarayabileceklerini söyleyen bir metin dosyasıdır. Temel komutlar: User-agent (hangi bota hitap edildiği), Disallow (taranmaması istenen yol), Allow (izin verilen yol) ve Sitemap (site haritasının adresi). Dosya mutlaka alan adının kökünde (örneğin /robots.txt) bulunmalıdır.

robots.txt'de sık yapılan hatalar

Disallow bir sayfayı dizinden kaldırmaz; yalnızca taramayı engeller. Dizinden çıkarmak için noindex kullanılır.
robots.txt güvenlik önlemi değildir; dosya herkese açıktır ve gizli yolları ele verebilir.
Yanlış bir “Disallow: /” tüm siteyi taramaya kapatır; yayınlamadan önce kontrol edin.
Sitemap satırını ekleyerek botların site haritanıza ulaşmasını kolaylaştırın.

Dikkat edilmesi gerekenler

Disallow: / satırı sitenin tamamını taramaya kapatır. Test ortamından canlıya geçerken bu satırın dosyada kalması sık görülen ve pahalıya patlayan bir hatadır.
robots.txt herkese açık bir dosyadır. Gizli kalmasını istediğin bir yönetim paneli adresini buraya yazmak, onu herkese duyurmak anlamına gelir; koruma için parola kullan.
Yollar büyük-küçük harfe duyarlıdır. /Admin/ yazdığında /admin/ dizini engellenmez.
CSS ve JavaScript dosyalarının bulunduğu klasörleri engelleme. Google sayfayı doğru görüntüleyemezse içeriği de doğru değerlendiremez.

Sık sorulan sorular

Bu araç Google sıralamamı doğrudan etkiler mi?

Hayır, bu araçlar analiz/oluşturma yardımcılarıdır; gerçek sıralama birçok faktöre bağlıdır. Ama doğru meta veri ve yapılandırılmış veri, arama motorlarının sayfanızı daha iyi anlamasına yardımcı olur.

Sonuçları nasıl kullanmalıyım?

Üretilen kodu/metni doğrudan sitenizin ilgili HTML alanına (örn. <head> içine) veya CMS'inizin SEO ayarlarına ekleyebilirsiniz.

Veri saklıyor musunuz?

Hayır, girdiğiniz URL/metin hiçbir yerde saklanmaz, sadece tarayıcınızda işlenir.