Jak weryfikować stan indeksacji swojej witryny?

Dbałość o widoczność witryny w sieci jest niezwykle ważna jeśli zależy nam na budowaniu pozycji i działaniach SEO. W tym celu należy weryfikować stan indeksacji, zwłaszcza świeżych stron bądź serwisów po przebudowie, które muszą na nowo stać się widoczne dla użytkowników. Jak to zrobić, by na bieżąco monitorować proces indeksacji? Z tego artykułu dowiesz się jak to sprawdzić przy pomocy całkowicie darmowego narzędzia od Google.

Co to znaczy, że witryna się indeksuje?

Zanim Twoja witryna znajdzie się w wynikach wyszukiwania musi ona zostać rozpoznana i zeskanowana przez roboty Google. Proces taki potrafi trwać nawet do kilku tygodni, co znacznie opóźnia rozruch strony, a także działań związanych z pozycjonowaniem. Najpierw musi zostać wykryta strona, a później wszelkiego rodzaju aktualizacje treści, które miały na niej miejsce. Dokonując skanu roboty zapoznają się z witryną oraz dodają do swojej bazy wszystkie adresy, co pozwoli wyświetlić je w wynikach wyszukiwania. 

Pozostawienie indeksacji samej sobie jest jednak złym pomysłem. Strona może znacznie szybciej zostać zauważona i zeskanowana, kiedy podepnie się do niej odpowiednie narzędzia oraz zgłosi się ją ręcznie do indeksacji.

Czym jest budżet indeksowania i dlaczego jest tak ważny?

W związku ze stałym przybywaniem nowych stron internetowych, Google musiał wprowadzić jakieś rozwiązanie odpowiadające za indeksowanie witryn. Aby móc oddzielić bardziej wartościowe strony od mniej ważnych i rzadziej aktualizowanych, pojawił się właśnie budżet indeksowania. Jest to nic innego jak liczba stron, jakie Google jest w stanie zaindeksować w obrębie danego serwisu w ciągu dnia. Cała strona wymaga analizy oraz indywidualnej oceny treści, co ostatecznie pozwala otrzymać informację, czy adres po zeskanowaniu zostanie dodany do indeksu.

Na crawl budget składają się 2 czynniki:

• crawl rate limit (limit wydajności indeksowania) 
• crawl demand (zapotrzebowanie na indeksowanie)

To od ich oceny zależy, czy robot Google zdecyduje się zaindeksować adres URL, czy jednak trafi on do zakładki wykluczono.

Jak oceniany jest crawl rate limit?

Limit wydajności indeksowania obliczany jest na podstawie zależności crawl health od limitu w Google Search Console. Oznacza on maksymalną liczbę jednoczesnych połączeń równoległych, które może wykorzystać do zaindeksowania strony. Największe znaczenie w tym przypadku mają wszelkiego rodzaju aspekty techniczne, jak czas ładowania poszczególnych podstron, czas odpowiedzi serwera i wiele innych. Im szybciej załaduje się strona tym większe prawdopodobieństwo, że przy jednej wizycie robot zaindeksuje więcej podstron. 

Należy mieć jednak na uwadze, że zbyt duża liczba żądań odpowiedzi od serwera może go w pewnym momencie przeciążyć. W takiej sytuacji istnieje możliwość ograniczenia szybkości indeksowania w Google Search Console, co przełoży się na wolniejszy proces indeksowania.

Jak oceniany jest crawl demand?

W tym przypadku duże znaczenie dla Google ma częstotliwość aktualizacji witryny, popularność wśród użytkowników, jakość oraz trafność stron. Teoretycznie więc wystarczy zbudować dobrą i wartościową stronę internetową, aktualizować na niej treść wystarczająco często, by mieć wysoki crawl budget. W rzeczywistości jest to nieco bardziej skomplikowane. 

W przewodniku Google można znaleźć wzmiankę o 3 najważniejszych czynnikach, wpływających na crawl demand. Są to:

• popularność adresów URL wśród użytkowników,
• częste aktualizacje, zachęcające robota do odwiedzenia strony,
• przygotowanie rzeczowych wskazówek dla robotów, które z adresów powinny znaleźć się w indeksie, a które podczas procesu skanowania całkowicie pominąć.

W zależności od tego, jak duża jest witryna, należy przywiązywać odpowiednią uwagę do crawl budgetu. Im większa i bardziej złożona strona, tym bardziej należy skupić się na uzyskaniu wysokiego budżetu indeksowania. Google nie ma problemu z analizą i indeksacją małych stron. Dopiero kiedy w grę wchodzą bardzo rozbudowane serwisy bądź sklepy internetowe bez wskazówek może mieć problem z hierarchizowaniem wartości każdego z adresów.

Skąd wiedzieć, czy witryna została już zeskanowana?

Stan indeksacji swojej strony można sprawdzić na kilka sposobów. Najprostszym jest zastosowanie komendy “site” w wyszukiwarce. Wpisując site:adresdomeny w pasek wyszukiwania, Google zwróci nam wszystkie odpowiadające mu wyniki. Jeśli strona została zaindeksowana to pojawi się tam minimum kilka wyników, jeśli natomiast wyniki będą puste oznacza to, że strona nie została jeszcze dostrzeżona przez roboty bądź po drodze wystąpił jakiś problem. 

Drugi, znacznie bardziej rozszerzony, ale nadal darmowy sposób na weryfikację indeksacji to narzędzie Google Search Console. Wystarczy niewielka ingerencja w kodzie strony, aby podpiąć do niej świetne narzędzie analityczne od Google. To właśnie w nim można sprawdzić na jakim etapie jest indeksacja strony i czy nie pojawiły się w związku z tym jakieś problemy.

Zakładka indeks

Sprawowanie stałej kontroli nad indeksacją witryny może znacznie wspomóc ten proces. Stąd też zaleca się monitorowanie zakładki indeks w Google Search Console, zawierającej mnóstwo cennych informacji o stronie. 

Między innymi można przejść do zakładki indeks > stan gdzie można zobaczyć tabelę z informacją o liczbie zindeksowanych bądź problematycznych adresów:

Każda z zakładek ma za zadanie informować użytkownika o procesie indeksacji stron. Jeśli dany adres został poprawnie zaindeksowany, znajdzie się w zakładce prawidłowe, jeśli został wykluczony już na początku poprzez blokadę w robots.txt to znajdzie się w zakładce wykluczono. Natomiast zakładki błąd oraz prawidłowe z ostrzeżeniem informują o pojawiających się problemach. Są one o tyle przyjazne dla użytkownika, że wprost opisują jaki jest błąd, np. 

Pozwala to sprawnie rozwiązać problemy z indeksacją, usuwając wskazane błędy i rozpoczynając proces ponownej weryfikacji.

Warto jednak raz na jakiś czas przeanalizować zawartość zakładki prawidłowe, gdzie mogą znajdować się błędne adresy, których nie chcemy w indeksie oraz zakładkę wykluczono, gdzie często pojawiają się URL-e zgłoszone do indeksacji, lecz z jakichś przyczyn Google ich jeszcze nie zaindeksował. Może to wskazywać na wyżej opisany problem z crawl budgetem.

Czy można zrobić coś w sytuacji, kiedy witryna przez kilka tygodni się nie zaindeksowała, a Google Search Console nie zwraca żadnych błędów?

Zgłaszanie strony w Google Search Console

Zawsze istnieje możliwość ręcznego zgłoszenia do indeksu poszczególnych adresów, które mają problem z widocznością bądź przesłania mapy strony do narzędzia, które krok po kroku zeskanuje całą witrynę. Mapę można wygenerować przy pomocy darmowych narzędzi online bądź nieco bardziej zaawansowanych crawlerów, umożliwiających dzielenie map i wykluczanie z nich zbędnych adresów. 

Tak przygotowaną mapę należy przesłać na serwer oraz zgłosić w konsoli. Wystarczy przejść do zakładki indeks > mapy witryn, gdzie pojawia się okno dające możliwość zgłoszenia nowej mapy.

W wyznaczonym polu wpisuje się adres URL mapy, np. sitemap.xml i przesyła do zweryfikowania przez Google. Poniżej powinna pojawić się informacja o przesłanej mapie, ilości adresów w niej zawartych, ostatniej dacie zeskanowania oraz ewentualnych błędach:

Oznacza to, że roboty Google odczytały mapę i zaczęły proces skanowania witryny. Prawdopodobnie w ciągu kilku dni wszystkie podstrony, które nie okażą się problematyczne, powinny znaleźć się w indeksie. 

Dodatkowe wskazówki dla robotów Google

Podczas pierwszej indeksacji witryny można zapobiec dużej liczbie popularnych problemów, z którymi borykają się właściciele dużych stron. Wystarczy postępować zgodnie z wymaganiami Google dotyczącymi crawl budgetu oraz przygotować witrynę tak, aby w jej obrębie roboty znalazły wiele wskazówek dotyczących indeksacji i skanowania. Mowa tu nie tylko o prawidłowym pliku robots.txt czy przesłaniu mapy witryny, zawierającej jedynie adresy gotowe do zaindeksowania. W grę wchodzą również tagi kanoniczne.

Wprowadzenie na stronę tagów kanonicznych pokaże robotom, które strony są dla nas najważniejsze. Jeśli strona nie stanowi duplikatu w obrębie witryny należy oznaczyć jako link kanoniczny dokładnie ten sam adres. Canonical “sam na siebie” daje Googlowi do zrozumienia jakie adresy chcemy zaindeksować. W momencie, kiedy pominie się proces ustawiania tagów kanonicznych, Google może sam dobrać inny adres, który niekoniecznie będzie adekwatny i zgodny z założeniami właściciela strony.

Podsumowanie

Kontrola stanu indeksacji strony jest niezwykle ważna, zwłaszcza jeśli mają być prowadzone na niej działania związane z pozycjonowaniem. Im szybciej zostaną wykryte problemy techniczne, uniemożliwiające zaindeksowanie witryny, tym prędzej będzie można rozpocząć działania związane z ich naprawą. Często jest tak, że to dopiero osoba zajmująca się działaniami SEO odkryje nieprawidłowości, a ich usunięcie może zabrać nawet do kilku miesięcy. Opóźnia to efekty, jakie można by w tym czasie wypracować.

wróć