Struktura serwisu przyjazna botom Google i AI

Rozwój narzędzi LLM sprawił, że do listy istotnych botów odwiedzających nasze strony internetowe dołączyły boty AI. Ich działanie można określić jako bardziej agresywne niż botów Google. W zależności od ich rodzaju – albo zachłannie pobierają duże ilości treści, albo chcą szybko znaleźć odpowiedź na konkretne pytanie. Warto więc zadbać o dostępność strony dla nich, a jednocześnie wesprzeć pracę “klasycznych” botów Google.

Boty skanujące stronę – co warto o nich wiedzieć?

Dobrze już nam znane boty Google stopniowo rozbudowują i aktualizują potężny indeks wyszukiwarki. W związku z tym nie skanują strony agresywnie – wręcz momentami pojawiają się trudności z zachęceniem ich do ponownej analizy witryny, gdyż oszczędzają budżet indeksowania. Google rozwija swoje boty od lat, więc przynajmniej w teorii radzą one sobie dobrze z nieco bardziej pogmatwaną architekturą serwisu i renderowaniem skryptów. 

W momencie trenowania nowych modeli LLM boty narzędzi AI (np. GPTBot, ClaudeBot) wędrują po internecie, aby nauczyć sztuczną inteligencję jak najwięcej. Mogą czasowo obciążać serwer, a z drugiej strony raczej całkowicie zignorują skrypty, koncentrując się na łatwo dostępnym kodzie HTML. Jeśli poszukiwana przez użytkownika wiedza znajduje się w tak powstałej “pamięci” modelu, uzyska on odpowiedź bez przeszukiwania dodatkowych źródeł.

Boty AI działające w czasie rzeczywistym (np. ChatGPT-User, Claude-Web, PerplexityBot)  koncentrują się na pozyskaniu konkretnej wiedzy w momencie zapytania użytkownika. Wykorzystują query fan out – poszukują informacji na wiele zagadnień wokół zapytania, zbierają je z wielu źródeł, a następnie modele formują z tego odpowiedź. Często jest ona okraszona linkami do źródeł. Znalezienie się na liście odwołań jest celem działań GEO, więc należy bezwzględnie unikać blokowania tego rodzaju botów.

Dostępność i wydajność strony – podstawa działań GEO

Podstawą strategii GEO (i SEO przy okazji) staje się więc szybko działająca strona, która nie blokuje dostępu botom Google i AI. Dotyczy to zwłaszcza botów AI poszukujących wiedzy w czasie rzeczywistym (opracowujących RAG), które mogą odwdzięczyć się widocznym linkiem do źródła i wartościowym ruchem na stronie.

Nieco inaczej jest w przypadku botów uczących modele. Znane są z historii przypadki, że bardzo intensywne pozyskiwanie treści spowalniało serwery, co wymuszało ograniczanie dostępu dla botów. Warto jednak pamiętać, że jeśli zdecydujesz się na zablokowanie botów trenujących, nowy model AI straci możliwość nauczenia się czegoś o Twojej marce. Jest to zasadne tylko w przypadku, gdy Twój serwis bazuje na dzieleniu się wiedzą, a źródłem utrzymania są wejścia na stronę. W pozostałych przypadkach – warto żeby AI poznało lepiej Twoją markę.

Jeżeli chcesz zadbać o dostępność dla botów AI, pamiętaj o następujących kwestiach:

• nie blokuj wyszukujących w czasie rzeczywistym botów AI, zarówno w robots.txt, jak i na poziomie ustawień serwera,
• zadbaj o szybkie działanie strony – ważny jest tutaj wskaźnik TTFB (czas między wysłaniem żądania zasobu, a dotarciem pierwszego bajtu odpowiedzi serwera),
• ogranicz działanie skryptów – treści powinny być dostępne w czystym HTML, od razu po wejściu bota na stronę,
• upraszczaj składnię kodu i redukuj animacje, które doładowują treści po czasie.

Wszystkie te elementy ułatwiają pracę również botom Google. Pomogą więc w “klasycznych” działaniach SEO.

Architektura informacji

AI nie rozpatruje treści przez pryzmat słów kluczowych. Buduje kontekst strony w oparciu o encje – czyli obiekty, pojęcia oraz powiązania pomiędzy nimi.

O tym, czym są encje dowiesz się z artykułu: Czym są encje i jaką funkcję pełnią w SEO? Od optymalizacji słów kluczowych do pozycjonowania semantycznego

Pośpiesznie działające boty AI starają się pozyskać jak najwięcej wiedzy już przy pierwszym kontakcie z samym adresem URL. Dlatego też warto zadbać o jego przejrzystość – czytelne nazewnictwo podstron, logiczną strukturę (np. kategoria/podkategoria/produkt) i brak dodatkowych elementów rozmywających sens przekazywanej informacji.

W kontekście szybkiego dostępu do treści plusem jest płaska struktura serwisu. Oznacza to, że każdy ważny element serwisu (np. kluczowe punkty oferty) powinien być dostępny w odległości maksymalnie 3 kliknięć od strony głównej. Daje to większą szansę, że boty AI dotrą do najważniejszych podstron przed zakończeniem wizyty na stronie.

Linkowanie wewnętrzne jako fundament dla botów AI

W “standardowym” SEO linkowanie wewnętrzne jest elementem ułatwiającym botom dotarcie do treści i budującym powiązanie pomiędzy tekstami. Era AI pogłębia te zależności. Mówimy tutaj o budowie relacji semantycznych oraz lokalnych grafów wiedzy. Odpowiedni anchor tekst w linku jest przydatny, ale kluczowe jest powiązanie kontekstowe. Modele językowe nie czytają anchorów jak ludzie, ale tłumaczą je na liczby (a dokładnie wektory). Jeśli tekst A (np. o pielęgnacji psów) i tekst B (o karmie dla psów) operują w zbliżonym “matematycznym” obszarze pojęciowym, warto je ze sobą połączyć linkiem wewnętrznym, ułatwiając AI zrozumienie całej “psiej” kategorii w Twoim serwisie. 

Ponadto, jeśli jakaś podstrona nie posiada linków wewnętrznych, dla botów AI zwykle nie istnieje. Głównym powodem będzie tutaj niemożność dotarcia do treści, ale jeśli by się to udało, to brak odniesień w ekosystemie serwisu skutkuje oceną jej zawartości jako mało wiarygodnej.

Pamiętaj o semantyce!

Aby dodatkowo ułatwić “pracę” botom AI (i Google przy okazji również), warto zadbać o przejrzystość kodu HTML. Składnia powinna być w miarę możliwości jak najprostsza, przydatne będą znaczniki takie jak: <article>, <header> czy <aside>, które pomogą botom określić, która część kodu odpowiada za właściwą treść, a jakie fragmenty można pominąć, gdyż są np. nawigacją, nagłówkiem lub stopką. 

Innym rodzajem wsparcia są dane strukturalne – pozwalają one opisać zrozumiałym dla botów językiem poszczególne informacje w tekście, co dodatkowo ułatwia interpretację kodu.

O tym, jak tworzyć treści przyjazne AI przeczytasz w artykule: Jak tworzyć skuteczne treści pod Google AI Overviews? 10 wskazówek

Po prostu jakość

Optymalizacja strony internetowej pod kątem botów LLM jest w zasadzie pogłębieniem praktyk dobrze znanych z SEO. Szybko działająca, uporządkowana strona z dobrze opracowanym semantycznie contentem jest zaproszeniem dla AI. Każde uchybienie w tej kwestii podnosi ryzyko, że boty sztucznej inteligencji nie będą zainteresowane treścią serwisu. 

---

Autor artykułu

Back