Co robi robots.txt

Plik umieszczony w katalogu głównym hosta określa reguły pobierania dla wskazanych robotów. Nie służy do zabezpieczania danych. Zablokowany adres może nadal pojawić się w wynikach na podstawie linków z innych stron.

Źródło: Google: przeznaczenie robots.txt ↗

Zanim zmienisz regułę, zapisz przykładowe adresy, które mają być dostępne i zablokowane. Testuj zarówno katalog, jak i podstrony z parametrami. Sprawdź właściwy host — reguły dla subdomeny nie są automatycznie regułami całej organizacji.

Kiedy działa noindex

Dyrektywę noindex można przekazać w znaczniku meta robots albo nagłówku X-Robots-Tag. Aby Google ją zobaczył, musi móc pobrać zasób. Zablokowanie tego samego adresu w robots.txt może więc przeszkodzić w odczytaniu noindex.

Źródło: Google: blokowanie indeksowania ↗

Przykład dla publicznej strony podziękowania

Jeśli strona ma być dostępna po wysłaniu formularza, lecz nie ma pojawiać się w Google, można rozważyć noindex przy zachowaniu możliwości pobrania. Nie umieszczaj na niej danych klienta dostępnych bez uwierzytelnienia.

Jak nie zablokować całej witryny

Częsta pułapka organizacyjna to przeniesienie ustawień środowiska testowego na produkcję. Po publikacji sprawdź kilka typów stron, ich nagłówki oraz robots.txt. Nie ograniczaj kontroli do strony głównej — szablon produktów może mieć inne ustawienia.

Zmiany przechowuj w historii wersji. Do zlecenia dołącz oczekiwany rezultat dla każdego przykładowego adresu. Pozwala to zweryfikować intencję nawet osobie, która nie pisała reguł.

Prywatność wymaga kontroli dostępu

Panel klienta, dokumenty zamówienia i prywatne pliki wymagają uwierzytelnienia oraz poprawnej autoryzacji. Robots.txt jest publiczny i nie zmusza dowolnego programu do przestrzegania reguł. Noindex również nie stanowi ochrony przed osobą znającą adres. Przy danych prywatnych zadaniem jest zabezpieczenie dostępu, nie tylko usunięcie wyniku z wyszukiwarki.

DO WYKORZYSTANIA W PRAKTYCE

Twoja lista kontrolna

  • Zapisz cel: ograniczenie pobierania czy wyłączenie indeksowania.
  • Nie blokuj odczytu instrukcji noindex przez pomyłkę.
  • Po publikacji sprawdź kilka typów podstron.
  • Prywatne zasoby zabezpiecz po stronie serwera.

Źródła i aktualność

Dokumentacja sprawdzona 21 września 2026 r. Przykłady w artykule są ilustracyjne — nie opisują wyników audytu ani realizacji klienta.

Materiał edukacyjny opracowany z pomocą AI na podstawie wskazanych źródeł. Nie zastępuje indywidualnej oceny strony przez specjalistę. Zasady redakcyjne.