Robots.txt Oluşturucu

Bu araç ne yapar

Robots.txt oluşturucu, tarayıcılara sitenizin hangi bölümlerini indirebileceklerini söyleyen robots.txt dosyasını yazar. Ana kural grubunun user-agent’larını seçin, engellenecek yolları ve izin verilen istisnaları listeleyin, isterseniz bir crawl-delay ve bir veya daha fazla site haritası URL’si ekleyin; dosya siz yazdıkça güncellenir.

Hazır ayarlar yaygın durumları tek tıkla karşılar: Tümüne izin ver, Tümünü engelle (test siteleri için kullanışlı) ve bir WordPress başlangıcı. Ayrı bir ayar, yapay zekâ tarayıcılarını yalnızca model eğitimi için ya da yapay zekâ araması ve asistan getirme ajanları dahil tamamen engeller; SEO tarayıcıları gibi diğer botları da adlarıyla engelleyebilirsiniz. Yollar, user-agent adları ve site haritası URL’leri denetlenir; böylece unutulmuş bir baştaki eğik çizgi ya da göreli bir site haritası, sessizce bozuk bir dosya üretmek yerine bildirilir.

Nasıl kullanılır

1. Bir hazır ayarla başlayın ya da her şeye izin veren varsayılanı koruyun.
2. Engellenen yollar alanına tarayıcıların girmemesi gereken klasörleri veya desenleri virgülle ayırarak yazın, örneğin /admin/, /cart/, /*?sort=. Bunların içindeki istisnalar için İzin verilen yollar alanını kullanın.
3. Arama motorlarının ayrıca gönderilmeden bulabilmesi için site haritası URL’nizi ekleyin.
4. Yapay zekâ tarayıcılarına nasıl davranılacağını seçin ve engellenecek diğer botları ekleyin.
5. Dosyayı robots.txt olarak indirin ve https://example.com/robots.txt adresinden sunulacak şekilde alan adınızın köküne yükleyin. Her alt alan adının kendi dosyası olmalıdır.

Örnek

/admin/ yolunu /admin/public/ istisnasıyla engellemek, bir site haritası eklemek ve yapay zekâ eğitim tarayıcılarını engellemek şunu üretir:

# All crawlers
User-agent: *
Disallow: /admin/
Allow: /admin/public/

# AI training crawlers
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

(Yapay zekâ grubu burada kısaltılmıştır; araç tüm tarayıcıları listeler.) Ardından kurallar gelen birden çok User-agent satırı, hepsine uygulanan tek bir grup oluşturur ve bir tarayıcı yalnızca kendisini adıyla anan en özel gruba uyar.

İpuçları

• * herhangi bir karakter dizisiyle, $ ise URL’nin sonuyla eşleşir; bu yüzden /*.pdf$ tüm PDF’leri engeller.
• Allow ve Disallow birlikte eşleştiğinde Google en uzun (en özel) kuralı uygular.
• Sayfaların görüntülenmesi için gereken CSS ve JavaScript dosyalarını engellemeyin; aksi hâlde arama motorları sayfalarınızı yanlış değerlendirebilir.
• Değişikliklere güvenmeden önce Google Search Console’daki robots.txt raporuyla test edin.