Czym jest crawl budget?

Google to marka-symbol, firma, która zdawała się ujarzmiać bezkresy internetu. To mogło być zaskakujące, że mimo tego, iż sieć rozrastała się niesłychanie szybko, boty Google zdawały się nadążać za jej rozrostem i na bieżąco indeksować nowe treści. Jednak uległo to zmianie – gigant z Mountain View zaczyna ulegać sile napierającej na niego masy. Roboty indeksujące nie mają już wystarczającego zapasu mocy do regularnego crawlowania po wszystkich stronach i podstronach. To niezwykle istotna informacja dla branży SEO. Wiąże się bezpośrednio z pojęciem “crawl budget”.

Uwzględnij crawl budget w strategii SEO

Być może Google byłby w stanie na bieżąco indeksować wszystko, co się w internecie pojawia, jak też śledzić zmiany zachodzące na istniejących stronach. Wiązałoby się to jednak z angażowaniem coraz większych mocy obliczeniowych i zapewne z tego powodu firma doszła do wniosku, że proces indeksowania należy zoptymalizować. Wprowadzono pewne ograniczenia, które sprawiły, iż crawlery stały się bardziej wybredne. Nie pełzają już po całej strukturze strony z równym entuzjazmem – coraz większe zbiory podstron zaczynają być zaniedbywane, ponieważ są uznane za mniej istotne.

Jeżeli jesteś osobą odpowiedzialną za optymalizację i pozycjonowanie strony, powinieneś sobie uświadomić, że Google do każdej witryny przypisuje parametr nazywany “crawl budget”. Wyraża on nakład pracy, jakie boty mogą wykonać w danej witrynie, czyli ile podstron dodadzą do indeksu i wyników wyszukiwania.

Crawl budget wywraca do góry nogami dotychczasowe wytyczne budowania stron, które z grubsza rzecz biorąc zalecały tworzenie rozbudowanej struktury, czyli generowanie podstron pod wszystkie słowa kluczowe i tematy, uznane za istotne dla danego biznesu. Powodowało to szybki rozrost witryny, a w efekcie – wypadanie coraz większych jej obszarów z pola zainteresowania botów Google.

Dla osób pracujących na sukces strony oznacza to, iż ich wysiłki są marnowane. Czego by nie zrobili, nie przyniesie to efektu, ponieważ crawler w ogóle nie odwiedza niektórych podstron. Problem ten jest dosyć łatwy do zauważenia w analizie ruchu – brak reakcji na działania SEO, niezależnie od ich charakteru, jest konkretną sugestią, że czas zainteresować się zagadnieniem crawl budgetu i jego wpływu na pozycjonowanie.

Z czego to wynika i co z tym zrobić?

Pojawienie się crawl budget i ciągły wzrost jego znaczenia to nieunikniona konsekwencja tego, jak rozwija się algorytm Google’a. Od prymitywnego wyszukiwania w oparciu o zestawianie słów kluczowych Google systematycznie odchodziło w kierunku rozumienia tego, czego szukający naprawdę potrzebuje, chociażby poprzez analizę sensu jego zapytania. Doprowadziło to do spadku ruchu w przerośniętych serwisach. Za to zaczęły zyskiwać te, w których strukturę skompresowano, rezygnujcć z obstawiania każdej kluczowej frazy oddzielną podstroną.

Optymalizację strony z uwzględnieniem crawl budgetu należy rozpocząć od analityki SEO. Często nadmiarowa struktura jest widoczna od razu, ponieważ część podstron w ogóle nie generuje ruchu. Następnie trzeba zidentyfikować przyczynę powstawania problemu, czyli dlaczego strona nadmiernie się rozrosła – czy jest to efekt startowych założeń witryny, czy może niespójnej strategii odnośnie kategorii lub tagów? Po ustaleniu tego, można rozpocząć najtrudniejszy etap, czyli odchudzanie witryny. To również wymaga gruntownej analizy, ponieważ oznacza kasowanie części struktury. Oczywiście treści zostaną zachowane, jednak będą dostępne na innych podstronach. W związku z tym kluczowe jest wprowadzenie odpowiednich przekierowań.