Generator robots.txt

Co robi to narzędzie

Generator robots.txt tworzy plik robots.txt, który mówi robotom, które części witryny mogą pobierać. Wybierz user-agenty głównej grupy, wypisz ścieżki do zablokowania i dozwolone wyjątki, opcjonalnie dodaj crawl-delay oraz jeden lub więcej adresów map witryny, a plik aktualizuje się podczas pisania.

Gotowe ustawienia jednym kliknięciem obsługują typowe przypadki: Zezwól na wszystko, Zablokuj wszystko (przydatne dla wersji testowych) oraz punkt wyjścia dla WordPressa. Osobne ustawienie blokuje roboty AI tylko do trenowania albo całkowicie, łącznie z wyszukiwaniem AI i agentami asystentów, a dowolnego innego bota, np. robota SEO, możesz zablokować po nazwie. Ścieżki, nazwy user-agentów i adresy map witryny są sprawdzane, więc brakujący ukośnik na początku lub względna mapa witryny zostaną zgłoszone, zamiast po cichu wygenerować wadliwy plik.

Jak używać

1. Zacznij od gotowego ustawienia lub zostaw domyślne, które zezwala na wszystko.
2. W polu Zablokowane ścieżki wpisz foldery lub wzorce, do których roboty nie mają wchodzić, oddzielone przecinkami, np. /admin/, /cart/, /*?sort=. Wyjątki w nich podaj w Dozwolonych ścieżkach.
3. Dodaj adres mapy witryny, aby wyszukiwarki znalazły ją bez osobnego zgłaszania.
4. Wybierz, co zrobić z robotami AI, i dodaj inne boty do zablokowania.
5. Pobierz plik jako robots.txt i umieść go w katalogu głównym domeny, aby był dostępny pod https://example.com/robots.txt. Każda subdomena potrzebuje własnego pliku.

Przykład

Zablokowanie /admin/ z wyjątkiem dla /admin/public/, dodanie mapy witryny i zablokowanie robotów treningowych AI daje:

# All crawlers
User-agent: *
Disallow: /admin/
Allow: /admin/public/

# AI training crawlers
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

(Grupa AI jest tu skrócona; narzędzie wypisuje wszystkie roboty.) Kilka wierszy User-agent, po których następują reguły, tworzy jedną grupę obowiązującą wszystkich wymienionych, a robot stosuje tylko najbardziej szczegółową grupę, w której jest wymieniony.

Wskazówki

• * pasuje do dowolnego ciągu znaków, a $ oznacza koniec adresu URL, więc /*.pdf$ blokuje wszystkie pliki PDF.
• Gdy pasują zarówno Allow, jak i Disallow, Google stosuje najdłuższą (najbardziej szczegółową) regułę.
• Nie blokuj plików CSS i JavaScript potrzebnych do wyświetlenia stron, bo wyszukiwarki mogą je źle ocenić.
• Przetestuj zmiany w raporcie robots.txt w Google Search Console, zanim na nich polegasz.