Co to jest crawl budget i czym jest crawlowanie?
Crawlowanie, czyli skanowanie, to pobieranie stron przez robota wyszukiwarki. Googlebot wchodzi pod adres, pobiera kod i znajduje w nim linki do kolejnych adresów. Crawl budget określa, ile takich wizyt Google przeznacza na Twój serwis.
Według dokumentacji Google budżet zależy od dwóch rzeczy. Pierwsza to wydolność serwera: gdy strona odpowiada szybko i bez błędów, robot może pobierać więcej, a gdy zwalnia albo zwraca błędy serwera, Google ogranicza wizyty. Druga to zapotrzebowanie, czyli to, ile adresów Google zna, jak popularne są strony i jak często się zmieniają.
W polskiej wersji Search Console i dokumentacji „indeksowanie” oznacza czasem skanowanie, a czasem dodanie strony do indeksu. To dwa różne etapy. Strona może być często skanowana i mimo to nie trafić do wyników. O drugim etapie piszemy w artykule o indeksowaniu strony w Google.
Kiedy crawl budget ma znaczenie, a kiedy możesz go pominąć?
Ma znaczenie w dużych serwisach albo tam, gdzie liczba adresów wymknęła się spod kontroli. Google w swoim poradniku podaje orientacyjne progi i sam zaznacza, że to przybliżenie:
- około miliona unikalnych stron, których treść zmienia się mniej więcej co tydzień
- około 10 000 stron, których treść zmienia się codziennie
- duża część adresów, które Search Console pokazuje jako wykryte, ale jeszcze niezindeksowane (w angielskim interfejsie „Discovered – currently not indexed”)
Strona firmowa z kilkudziesięcioma podstronami nie mieści się w żadnym z tych przypadków. Jeśli nowe podstrony pojawiają się w Google wkrótce po publikacji, budżet skanowania nie jest Twoim problemem.
Przykład: skąd sklep bierze setki tysięcy adresów
Wyobraźmy sobie sklep odzieżowy z 1 200 produktami w 40 kategoriach. Każda kategoria ma filtr koloru (12 opcji), rozmiaru (8), przedziału cen (5) i cztery sposoby sortowania, a każde kliknięcie tworzy nowy adres. Same kombinacje po jednej opcji z każdego filtra dają 40 × 12 × 8 × 5 × 4, czyli 76 800 adresów list. Wybór kilku kolorów naraz mnoży to dalej. Sklep sprzedaje 1 200 produktów, a robot widzi listy, które pokazują te same produkty w innej kolejności.
Co to jest duplikacja treści i skąd się bierze w sklepie?
Duplikacja treści to sytuacja, w której ta sama lub prawie ta sama treść jest dostępna pod kilkoma adresami. Google nie traktuje tego jako naruszenia zasad. Spośród kopii wybiera jedną, którą uzna za właściwą, i to ją pokazuje w wynikach. Kłopot w tym, że nie zawsze wybierze tę, którą wybrałbyś Ty.
Skutki widać w kilku miejscach. Linki i inne sygnały rozkładają się na kilka adresów zamiast trafiać do jednego. Robot traci czas na kopie, więc rzadziej odwiedza nowe produkty. A w wynikach może się pokazać adres z parametrem sortowania zamiast czystego adresu kategorii.
- sortowanie i liczba produktów na stronie
- Jak wygląda: …/kurtki?sort=cena-rosnaco
- Co zlecić: wyłączyć ze skanowania, bo to ta sama lista w innej kolejności
- filtry bez popytu
- Jak wygląda: …/kurtki?kolor=bezowy&rozmiar=xs
- Co zlecić: wyłączyć ze skanowania; filtry z popytem zostawić jako stałe adresy z opisem
- puste kombinacje filtrów
- Jak wygląda: lista bez żadnego produktu
- Co zlecić: zwracać kod 404 zamiast pustej strony z kodem 200
- warianty koloru i rozmiaru
- Jak wygląda: osobna karta dla każdego koloru z tym samym opisem
- Co zlecić: jedna karta z wyborem wariantu albo osobne karty tylko dla wariantów z własnym popytem
- produkt w kilku kategoriach
- Jak wygląda: …/meskie/kurtka-x i …/wyprzedaz/kurtka-x
- Co zlecić: jeden adres produktu niezależny od ścieżki albo adres kanoniczny
- parametry kampanii
- Jak wygląda: …/kurtka-x?utm_source=newsletter
- Co zlecić: adres kanoniczny wskazujący wersję bez parametrów
- wersje domeny
- Jak wygląda: z www i bez, http i https
- Co zlecić: przekierowanie 301 na jedną wersję, bez łańcucha przekierowań
- opisy od producenta
- Jak wygląda: ten sam tekst w wielu sklepach
- Co zlecić: własne opisy dla stron z popytem
Ostatni wiersz to duplikacja między domenami, a nie w obrębie sklepu. Technika jej nie rozwiąże, pomoże tylko treść. Piszemy o tym w artykule o opisach kategorii i produktów.
Po czym poznać, że robot marnuje czas w Twoim sklepie?
Najprostszy objaw: nowe produkty i zmiany cen pojawiają się w Google z dużym opóźnieniem, a w raportach widać tysiące adresów, których nikt w firmie nie zna. Resztę potwierdzisz w Search Console:
- Indeksowanie stron. Duża liczba adresów z parametrami w grupach duplikatów albo stron wykrytych, ale niezindeksowanych.
- Statystyki indeksowania (w ustawieniach). Jakie adresy robot pobiera najczęściej i czy serwer odpowiada szybko. Jeśli większość żądań dotyczy list z parametrami, budżet idzie w złą stronę.
- Narzędzie do sprawdzania adresów URL. Przy kilku ważnych kategoriach porównaj stronę kanoniczną wybraną przez Google z adresem, który wskazuje Twój sklep. Rozbieżność oznacza, że Google nie zgadza się z Twoim wskazaniem.
Zwłoka kosztuje głównie czas. Promocja, która wchodzi do wyników po dwóch tygodniach, zdąży się skończyć. Ruch rozłożony na kopie kategorii trudniej mierzyć i poprawiać. A im dłużej sklep generuje zbędne adresy, tym więcej sprzątania czeka przy najbliższej przebudowie albo migracji sklepu.
Co zlecić programiście albo agencji?
Zacznij od decyzji biznesowej, a dopiero potem od kodu: które filtry mają własny popyt i mają być w Google, a które służą tylko do przeglądania. „Kurtki puchowe damskie” mogą zasługiwać na stały adres z opisem. „Kurtki, beżowe, XS, sortowane od najtańszych” nie.
- adresy sortowania, liczby produktów na stronie i filtrów bez popytu wyłączone ze skanowania w robots.txt albo przeniesione do części adresu po znaku #, której Google nie skanuje
- filtry z popytem jako stałe, czytelne adresy w jednej kolejności parametrów, z własnym tytułem i opisem
- kod 404 dla pustych i bezsensownych kombinacji filtrów
- adresy kanoniczne na kopiach, które muszą pozostać dostępne, np. z parametrami kampanii
- mapa strony tylko z adresami kanonicznymi i z datą ostatniej zmiany
- przekierowania bez łańcuchów i szybkie odpowiedzi serwera, bo błędy i spowolnienia obniżają limit skanowania
Dwie rzeczy, o które warto dopytać wykonawcę. Znacznik noindex nie oszczędza budżetu: Google i tak pobiera stronę, żeby go zobaczyć. Z kolei robots.txt nie służy do wskazywania wersji kanonicznej, a strona zablokowana w tym pliku nie przekaże robotowi swojego znacznika canonical. Jeden adres powinien więc dostać jedno rozwiązanie, nie dwa wykluczające się.
Taką listę dla konkretnego sklepu przygotowujemy w ramach audytu SEO, razem z kolejnością prac i opisem, jak sprawdzić każdą zmianę po wdrożeniu.
Jak sprawdzić, czy zmiany zadziałały?
Po wdrożeniu sprawdź kilka przykładowych adresów sortowania i filtrów: czy robots.txt je blokuje, czy puste kombinacje zwracają 404, czy kategorie mają poprawny adres kanoniczny. To da się zrobić w dniu odbioru prac.
Efekt w raportach Google przychodzi stopniowo. W statystykach indeksowania powinien maleć udział żądań do adresów z parametrami. W raporcie Indeksowanie stron liczba duplikatów spada w miarę, jak robot ponownie odwiedza stare adresy, a to w dużym sklepie trwa tygodnie. Dobry sygnał to nowe produkty, które trafiają do wyników szybciej niż przed zmianą.