Co to znaczy, że strona jest zaindeksowana?
Zaindeksowana strona to taka, którą Google pobrał, przeanalizował i zapisał jako kandydata do wyników wyszukiwania. Wcześniej robot musi znaleźć jej adres, najczęściej przez link albo mapę witryny, i pobrać zawartość. Ten etap nazywa się skanowaniem (ang. crawling). Dopiero po nim Google ocenia treść i decyduje, czy w ogóle ją zapisać.
Ta decyzja należy wyłącznie do Google. W dokumentacji wyszukiwarka zastrzega, że nie każda pobrana strona trafia do indeksu. Pomija na przykład strony bardzo podobne do innych: z grupy kopii wybiera jedną, tak zwaną stronę kanoniczną, i tylko ją pokazuje w wynikach.
Dla właściciela firmy wniosek jest prosty. Brak w indeksie nie oznacza słabej pozycji, tylko zupełny brak szansy na ruch z wyszukiwarki dla tej podstrony. Jeśli poza indeksem jest strona usługi, na której zależy Ci najbardziej, ani nowy tekst, ani publikacje w innych serwisach jej nie pomogą, dopóki ten problem nie zniknie.
Jak sprawdzić indeksowanie strony?
Najpewniej w Search Console, bo tam Google sam pokazuje, co zrobił z Twoimi adresami. Wpisanie w wyszukiwarkę site:twojadomena.pl daje tylko przybliżony obraz. Liczba wyników w takim zapytaniu bywa zawyżona albo zaniżona, a brak strony na liście niczego nie dowodzi.
Raport Indeksowanie stron
Raport pokazuje, ile adresów serwisu jest w indeksie, a ile poza nim, i grupuje te drugie według przyczyn. Każdą przyczynę da się rozwinąć do listy przykładowych adresów. Przydaje się filtr mapy witryny: widać wtedy, ile stron, które sam zgłosiłeś jako ważne, Google faktycznie zapisał.
Nie oczekuj, że w indeksie znajdą się wszystkie adresy. Pomoc Search Console mówi wprost, że zapisane powinny być strony kanoniczne, a kopie, warianty i adresy z przekierowaniem mogą zostać poza indeksem. Problem zaczyna się wtedy, gdy na liście niezaindeksowanych widzisz strony usług, kategorie albo produkty, które sprzedają.
Narzędzie do sprawdzania adresów URL
Gdy chodzi o jeden konkretny adres, wklej go w pole wyszukiwania na górze Search Console. Narzędzie pokaże, czy strona jest w indeksie i kiedy robot był na niej ostatnio. Zobaczysz też, czy pozwalają mu na to robots.txt oraz znacznik noindex, a także który adres Google uznał za kanoniczny. Test wersji opublikowanej sprawdza stronę na żywo, więc po poprawce od razu widać, czy blokada zniknęła.
Dlaczego Google nie indeksuje mojej strony?
Najczęściej z jednego z dwóch powodów: coś w serwisie wprost blokuje indeksowanie albo Google uznał, że strona nie wnosi nic ponad inne adresy. Pierwszą grupę programista usuwa w ustawieniach lub w kodzie, gdy już wiadomo, gdzie szukać. Druga wymaga pracy nad treścią albo strukturą serwisu.
- strona wykluczona tagiem noindex
- Częsta przyczyna: znacznik został po pracach na wersji testowej albo dodała go wtyczka lub ustawienie platformy
- Co zlecić: usunąć noindex ze stron, które mają być w wynikach, i ustalić jego źródło, żeby nie wrócił przy aktualizacji
- adres zablokowany w robots.txt
- Częsta przyczyna: za szeroka reguła, na przykład blokada całego katalogu, w którym są też ważne strony
- Co zlecić: zawęzić regułę; robots.txt ogranicza samo pobieranie, do wyłączenia z indeksu służy noindex
- duplikat albo inna strona kanoniczna wybrana przez Google
- Częsta przyczyna: ta sama treść pod kilkoma adresami: z parametrami, z ukośnikiem na końcu i bez, w kilku kategoriach naraz
- Co zlecić: wskazać jeden adres kanoniczny i linkować wewnętrznie tylko do niego
- strona zeskanowana, ale niezaindeksowana
- Częsta przyczyna: Google pobrał stronę i nie uznał jej za wartą zapisania: mało treści, tekst podobny do innych podstron, pusty szablon
- Co zlecić: rozbudować stronę albo połączyć ją z podobnymi; dodać do niej linki z ważnych miejsc serwisu
- strona wykryta, ale jeszcze niezeskanowana
- Częsta przyczyna: robot zna adres, ale go nie pobrał; w dużych serwisach bywa to skutek tysięcy zbędnych adresów, w małych wolnego serwera
- Co zlecić: ograniczyć zbędne adresy z filtrów i sortowania, sprawdzić czas odpowiedzi serwera
- błąd 404 lub soft 404
- Częsta przyczyna: strona usunięta bez przekierowania albo pusta strona, która zwraca kod 200
- Co zlecić: przekierować na odpowiednik albo zwrócić prawdziwy kod 404 lub 410
- błąd serwera (5xx)
- Częsta przyczyna: serwer nie odpowiedział robotowi, na przykład przy dużym obciążeniu albo awarii
- Co zlecić: ustalić z firmą hostingową, kiedy i dlaczego serwer zwraca błędy
- adresu nie ma w raporcie wcale
- Częsta przyczyna: Google go nie zna: nie prowadzi do niego żaden link wewnętrzny i nie ma go w mapie witryny
- Co zlecić: dodać link z powiązanej podstrony i wpisać adres do mapy witryny
Strona na WordPressie
W WordPressie bywa prostsza przyczyna. W ustawieniach czytania jest pole „Proś wyszukiwarki o nieindeksowanie tej witryny”, które zaznacza się na czas budowy strony, a potem zostaje zaznaczone po starcie. To jedno pole wyłącza wtedy z wyników cały serwis. Inne pułapki tej platformy opisujemy na osobnej stronie o WordPressie.
Kiedy Google indeksuje strony i ile to trwa?
Google nie podaje stałego terminu. W dokumentacji pisze, że indeksowanie trwa od kilku dni do kilku tygodni.
Robot szybciej znajduje strony, do których prowadzą linki z często odwiedzanych miejsc serwisu, takich jak strona główna albo menu. Nowy wpis, który jest tylko w mapie witryny i nigdzie nie został podlinkowany, czeka dłużej. Publikując ważną stronę, dodaj więc do niej link z powiązanych podstron, nie tylko z listy wpisów.
Pojedynczy adres możesz zgłosić w narzędziu do sprawdzania adresów URL, wysyłając prośbę o zindeksowanie. Ma to sens przy nowej stronie usługi albo po poprawce ważnej podstrony. Ponawianie prośby co kilka godzin nic nie zmieni, a liczba zgłoszeń jest ograniczona. Przy wielu adresach naraz, na przykład po przebudowie serwisu, lepiej przesłać aktualną mapę witryny.
Ile kosztuje firmę problem z indeksowaniem?
Tyle, ile ruchu i zapytań przyniosłyby strony, których nie ma w indeksie. Kwoty nie da się podać z góry, ale da się ją oszacować: Search Console pokazuje, ile wyświetleń i kliknięć miał dany adres, zanim wypadł z indeksu.
Najdroższe są błędy, które dotykają całego serwisu naraz. Typowa sytuacja po przebudowie: nowa strona wchodzi na produkcję z blokadą z wersji testowej i nikt tego nie zauważa, bo dla klientów wszystko działa. Ruch z Google spada stopniowo, w miarę jak robot odwiedza kolejne adresy. Dlatego sprawdzenie blokad w dniu startu to stały punkt migracji z opieką SEO.
Drugi rodzaj kosztu widać gorzej. Sklep z rozbudowanymi filtrami potrafi mieć w indeksie wielokrotnie więcej adresów niż produktów, a nowe kategorie czekają w tym czasie jako wykryte, ale niezeskanowane. Ten temat rozwijamy w tekście o budżecie skanowania i duplikacji treści.
Do tego dochodzi praca, która idzie na marne. Tekst zamówiony u copywritera albo nowa podstrona usługi nie zarobią, dopóki Google ich nie zapisze. Przy każdej nowej ważnej stronie sprawdź po tygodniu lub dwóch jej stan w narzędziu do sprawdzania adresów URL.
Co zlecić i jak sprawdzić, że indeksowanie działa?
Zleć diagnozę na danych z Search Console zamiast poprawek na ślepo. Programista albo agencja powinni wrócić z listą adresów, przyczyną dla każdej grupy i propozycją zmiany, a nie z ogólnym „poprawiliśmy SEO”.
Przed rozpoczęciem prac przygotuj albo ustal z wykonawcą:
- dostęp do Search Console z pełnymi uprawnieniami, bo prośbę o zindeksowanie może wysłać tylko właściciel usługi albo użytkownik z pełnym dostępem
- listę stron, które muszą być w indeksie: usług, kategorii, najlepiej sprzedających się produktów i głównych poradników
- opis każdej przyczyny z raportu: ilu adresów dotyczy, czy to błąd, czy stan zamierzony, i co z nim zrobić
- źródło każdej blokady (szablon, wtyczka, ustawienie platformy), żeby nie wróciła przy aktualizacji
- aktualną mapę witryny, w której są wyłącznie adresy przeznaczone do indeksu
Wykonanie sprawdzisz sam. Po poprawce w raporcie Indeksowanie stron można uruchomić weryfikację dla danej przyczyny: Google ponownie sprawdza adresy i wysyła e-mail z wynikiem. Według pomocy Search Console trwa to zwykle do około dwóch tygodni, czasem dłużej. Potem liczba zaindeksowanych stron z mapy witryny powinna rosnąć, a lista ważnych adresów poza indeksem maleć.
Gdy przyczyn jest dużo i nakładają się na siebie, na przykład duplikaty z filtrów razem z błędami po dawnej przeprowadzce sklepu, lepiej zacząć od pełnej diagnozy. Indeksowanie jest pierwszym obszarem, który sprawdzamy w audycie SEO.