Strona główna
Techniczne SEO
Plik robots.txt – co to jest i jak go stworzyć?

Plik robots.txt – co to jest i jak go stworzyć?

Kod źródłowy wyświetlany na monitorze

Plik robots.txt to tekstowy zestaw instrukcji dla robotów, takich jak Googlebot. Umieszcza się go w katalogu głównym witryny, aby wskazać, które adresy mogą być skanowane, a które mają zostać pominięte. Nie jest to jednak zabezpieczenie danych ani pewny sposób na usunięcie strony z wyników wyszukiwania. Jego głównym zastosowaniem jest zarządzanie skanowaniem witryny i budżetem indeksowania.

Czym jest plik robots.txt?

Robots.txt jest prostym plikiem tekstowym należącym do mechanizmu Robots Exclusion Protocol. Działa jak uprzejma instrukcja kierowana do automatów odwiedzających stronę. Robot odczytuje reguły i na ich podstawie decyduje, do których części witryny może uzyskać dostęp.

Plik powinien znajdować się pod adresem https://twojadomena.pl/robots.txt. Dotyczy konkretnego protokołu i hosta, dlatego subdomena może mieć własny plik robots.txt. Googlebot respektuje poprawne instrukcje, ale nie każdy automat musi to robić.

Co robi, a czego nie robi robots.txt?

Najczęściej używa się go do ograniczenia skanowania mało istotnych adresów, duplikatów, filtrów, parametrów lub sekcji generujących bardzo wiele podobnych URL-i. Ma to znaczenie zwłaszcza przy dużych sklepach i rozbudowanych serwisach, gdzie robot nie powinien zużywać całego budżetu indeksowania na techniczne warianty stron.

Budżet indeksowania, czyli crawl budget, określa, jak dużo adresów robot może regularnie odwiedzać w danym serwisie. Robots.txt pomaga skierować tę uwagę na ważniejsze podstrony, ale nie zastępuje zasad indeksowania ani zabezpieczeń dostępu.

Najczęstsze nieporozumienia dotyczące tego pliku wynikają z mylenia blokady skanowania z ukrywaniem treści:

  • Blokada skanowania – reguła Disallow prosi robota, aby nie pobierał wskazanego adresu lub obszaru.
  • Indeksowanie – zablokowany adres może mimo wszystko pojawić się w wynikach wyszukiwania, jeśli prowadzą do niego linki z innych stron.
  • Meta noindex – służy do wskazania, że strona nie powinna być uwzględniana w indeksie, o ile robot może ją odczytać.
  • Bezpieczeństwo – robots.txt nie chroni haseł, prywatnych dokumentów ani panelu administracyjnego przed użytkownikami lub złośliwymi botami.

Zawartość pliku jest publiczna, więc wpisanie tam ścieżki do prywatnego katalogu może wręcz podpowiedzieć, gdzie szukać. Do ochrony danych stosuje się logowanie, uprawnienia serwera lub zabezpieczenie hasłem.

Jak zbudowany jest plik robots.txt?

Podstawowa składnia opiera się na wskazaniu robota oraz reguł, które ma zastosować. Gwiazdka w polu User-agent oznacza wszystkie roboty.

Dyrektywa Znaczenie
User-agent Określa, którego robota dotyczą kolejne instrukcje. Zapis * oznacza wszystkie roboty.
Disallow Wskazuje ścieżkę, której robot nie powinien skanować.
Allow Tworzy wyjątek od wcześniejszej reguły Disallow.
Sitemap Podaje pełny adres mapy strony XML.

Przykład prostego pliku, który blokuje katalog panelu administracyjnego i wskazuje mapę witryny:

User-agent: *
Disallow: /panel/
Sitemap: https://twojadomena.pl/sitemap.xml

Możesz też zablokować konkretny plik lub sekcję, na przykład:

User-agent: *
Disallow: /filtry/
Disallow: /plik-testowy.pdf

Jeżeli w zablokowanym katalogu znajduje się zasób potrzebny do odczytania strony, dyrektywa Allow może utworzyć wyjątek:

User-agent: *
Disallow: /panel/
Allow: /panel/ajax.php

Nie blokuj bez powodu arkuszy CSS, skryptów JavaScript ani innych zasobów potrzebnych do renderowania strony. Brak dostępu do takich plików może utrudnić Google prawidłową interpretację jej wyglądu i działania.

Jak stworzyć i wdrożyć plik robots.txt?

Do przygotowania podstawowego pliku nie potrzebujesz specjalnego programu. Wystarczy zwykły edytor tekstu oraz dostęp do plików witryny.

  1. Utwórz zwykły plik tekstowy o dokładnej nazwie robots.txt. Nazwa jest pisana małymi literami, bez dodatkowego rozszerzenia.
  2. Dodaj reguły dopasowane do struktury witryny, zaczynając od User-agent i wpisując ścieżki w dyrektywach Disallow lub Allow.
  3. Wgraj plik do katalogu głównego domeny, tak aby był dostępny pod adresem twojadomena.pl/robots.txt, a nie w podfolderze.
  4. Otwórz ten adres w przeglądarce i sprawdź, czy serwer zwraca właściwą treść oraz czy nie pojawiły się błędy zapisu.
  5. Zweryfikuj reguły w Google Search Console lub innym narzędziu do testowania pliku, szczególnie gdy witryna ma wiele parametrów i dynamicznych adresów.

W systemach CMS plik może być tworzony ręcznie, generowany przez wtyczkę albo zarządzany przez ustawienia platformy. Po każdej zmianie sprawdź, czy nie zablokowano przypadkiem całej witryny lub ważnych podstron.

Czy każda strona potrzebuje robots.txt?

Mała witryna z niewielką liczbą adresów często nie potrzebuje rozbudowanych reguł. Brak pliku nie oznacza błędu, ponieważ w takiej sytuacji roboty mogą domyślnie odwiedzać dostępne adresy.

Robots.txt przydaje się przede wszystkim w dużych serwisach, sklepach internetowych i witrynach z licznymi filtrami, parametrami URL oraz automatycznie tworzonymi podstronami. W takich przypadkach pomaga ograniczyć zbędne skanowanie i obciążenie serwera. Nie należy jednak wykorzystywać go do ukrywania poufnych danych ani jako zamiennika meta noindex lub zabezpieczenia hasłem.

Najbezpieczniej traktować robots.txt jako narzędzie do zarządzania ruchem robotów. Reguły powinny być proste, celowe i sprawdzone po wdrożeniu, ponieważ pojedyncze Disallow: / może zablokować całą witrynę przed skanowaniem.

Redakcja fortiva.pl

Fortiva.pl to portal o marketingu internetowym dla firm. Piszemy dla przedsiębiorców, marketerów i specjalistów, którzy chcą zdobywać klientów w sieci: o strategii i budowaniu marki, reklamie w wyszukiwarce i w social mediach, pozycjonowaniu, sklepach internetowych i platformach sprzedażowych, analityce oraz o marketingu B2B i wejściu na rynki zagraniczne.

Może Cię również zainteresować

Potrzebujesz więcej informacji?