Co to jest robots.txt i do czego służy?
Plik leży zawsze pod adresem twojadomena.pl/robots.txt i zawiera reguły pogrupowane według nazw robotów. Reguła Disallow zabrania pobierania adresów zaczynających się od podanej ścieżki, Allow robi wyjątek od zakazu, a wiersz Sitemap wskazuje mapę witryny.
Google stosuje się do tych reguł, ale plik jest prośbą, a nie zabezpieczeniem. Do tego jest publiczny: każdy może go otworzyć i zobaczyć, jakie katalogi trzymasz z dala od wyszukiwarek. Dane klientów chroni hasło.
Plik działa tylko dla jednej domeny i jednego protokołu, więc subdomena w rodzaju sklep.twojafirma.pl potrzebuje własnego. Ścieżki rozróżniają wielkość liter: /Koszyk i /koszyk to dla robota dwa różne adresy. Google trzyma kopię pliku do mniej więcej doby, więc zmiana nie działa od razu.
Co blokować w robots.txt, a czego nie?
Blokuj adresy, które nie odpowiadają na żadne wyszukiwanie, a których serwis potrafi wytworzyć bardzo dużo. Nie blokuj niczego, co Google musi zobaczyć: stron, które mają być w wynikach, plików potrzebnych do wyświetlenia strony i adresów, które chcesz usunąć z indeksu.
Zwykle do zablokowania
- koszyk, kolejne kroki zamówienia, konto klienta i schowek
- wyniki wewnętrznej wyszukiwarki, bo każde wpisane słowo tworzy nowy adres
- sortowanie i liczba produktów na stronie w sklepie
- kombinacje filtrów, których nikt nie szuka, np. kolor, rozmiar i cena wybrane naraz
- panel administracyjny (chroniony i tak hasłem)
Nie blokuj
- plików CSS, skryptów i zdjęć, bez których strona wygląda albo działa inaczej; Google ocenia stronę tak, jak ją widzi
- strony, którą chcesz usunąć z Google: znacznik noindex na zablokowanej stronie pozostaje dla robota niewidoczny
- kopii z parametrami, które mają wskazywać adres kanoniczny, z tego samego powodu
- całej domeny regułą Disallow: / po starcie nowej strony; ta reguła, przeniesiona z wersji testowej, to typowa przyczyna znikania serwisu z Google
Robots.txt czy noindex: czym się różnią i kiedy którego użyć?
Robots.txt decyduje o tym, czy robot pobierze stronę, a noindex o tym, czy Google pokaże ją w wynikach. To dwa różne etapy, dlatego jedno nie zastępuje drugiego.
- co robi
- robots.txt: zabrania robotowi pobierania adresu
- noindex: pozwala pobrać stronę, ale zakazuje pokazywania jej w wynikach
- gdzie się go ustawia
- robots.txt: jeden plik dla całej domeny
- noindex: w kodzie strony albo w nagłówku odpowiedzi serwera, co działa też dla plików PDF
- czy adres może trafić do Google
- robots.txt: tak, jeśli prowadzą do niego linki; pojawia się wtedy bez opisu
- noindex: nie, znika z wyników po kolejnej wizycie robota
- czy oszczędza pracę robota
- robots.txt: tak, adres nie jest pobierany
- noindex: nie, robot musi pobrać stronę, żeby przeczytać znacznik
- jak szybko działa
- robots.txt: Google odświeża plik w ciągu mniej więcej doby
- noindex: dopiero gdy robot wróci na stronę; przy rzadko odwiedzanych może to trwać miesiące
- typowe zastosowanie
- robots.txt: koszyk, sortowanie, wyszukiwarka wewnętrzna, filtry bez popytu
- noindex: strona podziękowania po formularzu, strony kampanii reklamowych, ubogie archiwa tagów na blogu
Dla każdego adresu wybierz jedno narzędzie. Strona ma zniknąć z wyników: zostaw ją otwartą dla robota i dodaj noindex. Robot ma nie tracić czasu na tysiące bezwartościowych adresów: użyj robots.txt, licząc się z tym, że część zostanie w indeksie jako sam adres. Wpisu noindex w pliku robots.txt Google nie obsługuje. To samo dotyczy linku kanonicznego: na adresie zablokowanym w robots.txt robot go nie przeczyta, więc sortowanie i filtry obsługuj albo blokadą, albo canonical, nigdy oboma naraz.
Co oznaczają komunikaty o robots.txt w Search Console?
W raporcie Indeksowanie stron są dwa statusy związane z tym plikiem. Pierwszy mówi, że Google nie pobrał strony, bo zabrania tego reguła. Drugi ostrzega, że strona jest w indeksie, choć robots.txt ją blokuje.
- URL zablokowany przez plik robots.txt (Blocked by robots.txt)
- Co znaczy: robot nie pobrał adresu, bo zabrania tego reguła w pliku
- Kiedy to w porządku: gdy na liście są koszyk, sortowanie i inne adresy, które blokujesz celowo
- Co zrobić: jeśli na liście są strony usług, kategorie lub produkty, znaleźć i zawęzić regułę, która je obejmuje
- Strona zindeksowana, ale zablokowana przez plik robots.txt (Indexed, though blocked by robots.txt)
- Co znaczy: Google zapisał adres, choć nie mógł pobrać treści, najczęściej dlatego, że prowadzą do niego linki
- Kiedy to w porządku: rzadko; w wynikach taki adres wygląda źle, bo nie ma opisu
- Co zrobić: jeśli strona ma być w Google, odblokować ją; jeśli ma zniknąć, odblokować i dodać noindex
Drugi status często zaskakuje, ale wynika wprost z działania pliku. Zakaz pobierania nie jest zakazem indeksowania. Google zna adres z linków i może go pokazać, nie wiedząc, co jest na stronie. Różnicę między pobraniem a zapisaniem w indeksie rozwija tekst o indeksowaniu w Google.
Sam plik sprawdzisz w raporcie dotyczącym pliku robots.txt w ustawieniach Search Console. Widać tam, czy Google pobrał plik, kiedy ostatnio to zrobił i czy znalazł w nim błędy. Po pilnej poprawce, np. zdjęciu blokady z ważnych stron, można tam poprosić o ponowne pobranie pliku. Czy konkretny adres jest dostępny dla robota, pokazuje narzędzie do sprawdzania adresów URL.
Jak wygląda przykładowy plik robots.txt dla strony firmowej i sklepu?
Stronie firmowej na WordPressie najczęściej wystarczą reguły podobne do tych, które system generuje sam, jeśli na serwerze nie leży osobny plik robots.txt:
- User-agent: *
- Disallow: /wp-admin/
- Allow: /wp-admin/admin-ajax.php
- Sitemap: https://example.com/wp-sitemap.xml
Sklep ma więcej adresów do wyłączenia. Ścieżki poniżej są przykładowe, bo każda platforma nazywa koszyk i parametry po swojemu. Gwiazdka oznacza dowolny ciąg znaków:
- User-agent: *
- Disallow: /koszyk
- Disallow: /zamowienie
- Disallow: /moje-konto
- Disallow: /*sort=
- Disallow: /*?szukaj=
- Sitemap: https://example.com/sitemap.xml
Reguła działa na początek adresu: /koszyk zablokuje też /koszyki-na-pranie, dlatego ścieżki dobiera się do konkretnej platformy. Różnica między bezpiecznym a niebezpiecznym plikiem bywa jednym znakiem. Wiersz „Disallow:” bez ścieżki niczego nie blokuje, a „Disallow: /” blokuje cały serwis. Według Ahrefs (Polska, dane pobrane 1.11.2026) angielskie zapytania o generatory i walidatory robots.txt mają łącznie około 1 250 wyszukiwań miesięcznie. Generator ułoży składnię, a walidator ją sprawdzi, ale żaden nie wie, które adresy w Twoim serwisie mają wartość. Konfigurację WordPressa, od wtyczki SEO po indeksowanie, opisujemy na stronie o pozycjonowaniu WordPressa.
Czy blokować boty AI w robots.txt?
To decyzja biznesowa, nie techniczna. Najpierw trzeba odróżnić roboty, które zbierają treści do trenowania modeli, od tych, które szukają źródeł do odpowiedzi w wyszukiwarkach AI. Blokada pierwszych ogranicza użycie treści do trenowania, blokada drugich zmniejsza szansę, że strona będzie cytowana w odpowiedziach. Działa to tylko wobec robotów, które respektują plik.
Google ma do tego osobny wpis o nazwie Google-Extended. To nie jest oddzielny robot, tylko nazwa, którą wpisuje się w robots.txt. Decyduje, czy treści pobrane przez Google mogą służyć do trenowania modeli Gemini i do uzupełniania odpowiedzi w aplikacjach Gemini. Według Google nie wpływa na obecność strony w wyszukiwarce ani na pozycje. Nie steruje też AI Overviews: do tego służą ustawienia opisane w tekście o AI Overviews.
OpenAI ma kilka robotów, a z punktu widzenia treści liczą się trzy. GPTBot zbiera treści do trenowania modeli. OAI-SearchBot odpowiada za obecność stron w wyszukiwaniu w ChatGPT. ChatGPT-User wchodzi na stronę, gdy prosi o to użytkownik w rozmowie, a reguły robots.txt mogą go według OpenAI nie dotyczyć. Ustawienia są niezależne, więc można zablokować trening i zostawić wyszukiwanie.
Wydawca, dla którego tekst jest produktem, ma powód, żeby zablokować boty trenujące. Firma usługowa, która chce, żeby czat polecał ją klientom, nie powinna blokować botów wyszukujących. Tę decyzję podejmujemy z klientem przy pracy nad widocznością w wyszukiwarkach AI, bo dotyczy praw do treści i ruchu.
Co zlecić i jak sprawdzić plik po zmianach?
Zlecając zmiany, poproś o listę reguł z uzasadnieniem: co każda blokuje i dlaczego. Błąd w tym pliku kosztuje dużo, bo jedna reguła obejmuje cały serwis, a ruch spada stopniowo, więc problem bywa zauważony po tygodniach.
Uwaga na błędy serwera. Gdy pod adresem robots.txt serwer zwraca błąd z grupy 5xx, Google przez pierwsze 12 godzin wstrzymuje skanowanie całej witryny, a potem do 30 dni korzysta z ostatniej zapisanej kopii. Brak pliku, czyli zwykły błąd 404, jest bezpieczny: Google uznaje wtedy, że nie ma żadnych ograniczeń.
Po wdrożeniu sprawdź:
- czy plik otwiera się w przeglądarce pod twojadomena.pl/robots.txt, bez przekierowań i bez błędu serwera
- czy w grupie User-agent: * nie ma reguły Disallow: /
- czy strona główna, przykładowa usługa, kategoria i produkt są dostępne dla robota w narzędziu do sprawdzania adresów URL
- czy pliki CSS i skrypty nie są zablokowane, co pokaże to samo narzędzie po teście wersji opublikowanej
- czy wiersz Sitemap zawiera pełny adres mapy witryny, która się otwiera
- czy każda subdomena, np. blog albo sklep, ma własny, przemyślany plik
- czy Raport dotyczący pliku robots.txt pokazuje stan „Pobrano” i brak problemów