Niedawno miałem dość interesujący przypadek, o którym każdy specjalista SEO powinien wiedzieć.
Jeśli nie zweryfikujesz swojej strony z Majestic Webmaster Tools, istnieje szansa, że twoja firma hostingowa ogranicza ruch do twojej strony.
Niektóre firmy hostingowe starają się obniżać pewne koszty więc nie mówią ci o fakcie, że nieraz blokują ruch do twojej strony (szczególnie ze strony niektórych botów). Problemem jest fakt, że niestety zbyt łatwo blokują one także te dobre boty, szczególnie że tego typu boty najczęściej i tak nie mają problemu z ujawnianiem swojej tożsamości i nie próbują nikogo oszukiwać za pomocą dokumentów Robots.txt.
Okazuje się więc, że firmy hostingowe mogą blokować dobre roboty a wpuszczać te złe. A ty możesz nic o tym nie wiedzieć!
Większość specjalistów SEO weryfikuje swoje strony za pomocą Search Console (do niedawna znane jako Google Webmasters Tools), żeby mieć wgląd w większą ilość informacji z zakresu SEO. Mądrzy specjaliści zweryfikowaliby je także z Bing WebmasterTools, ponieważ posiadają one kilka przydatnych funkcji.
I choć mogłoby się wydawać, że tylko te tańsze firmy hostingowe starałyby się blokować te roboty, zdziwiłbyś się ile z nich to robi. Moją sugestią jest kliknięcie od czasu do czasu na ‘fetch as Googlebot’ w Google Webmasters Tools, żeby sprawdzić czy twoja strona na pewno nie jest blokowana bezpośrednio przez firmę hostingową.
Poza tymi dwoma botami, niektóre firmy blokują o wiele więcej. Problemem jest fakt, że blokada nie następuje po zastosowaniu Robots.txt tylko występuje na poziomie serwera, a ty nie miałabyś o tym najmniejszego pojęcia. Oznacza to więc, że:
- Możesz się wcale nie pojawiać w wyszukiwarkach takich jak Yandex czy Baidu.
- Możesz nie występować zbyt wysoko w wyszukiwarce Majestic zwanej Search Explorer.
- Google posiada także inne boty takie jak http://www.google.com/feedfetcher.html, które też mogą okazać się zablokowane.
- Pominiesz robota Microsoft’u zwanego MSN Bot.
- Strony WordPress mogą się przestać ukazywać w aktualnościach.
WIELE INFORMACJI zostaje pozyskiwanych i analizowanych za pomocą tych właśnie sprawdzających botów (dobrych i złych), a blokowanie ich może kosztować cię zmniejszeniem ruchu na stronie na wiele sposobów.
Każdy użytkownik WordPress posiada RSS feed, czyli automatyczną aktualizację. Za każdym razem kiedy zostaje stworzony nowy post na blogu, WordPress używa systemu Pingomatic by automatycznie poinformować te narzędzia o tym fakcie.
Jeśli sam miałbyś z tym problem, zawsze możesz je włączyć lub wyłączyć używając Robots.txt, ale to powinna być już twoja decyzja, prawda?
Czy mogę sam sprawdzić czy moja firma hostingowa też blokuje?
Niestety nie. Najczęściej firmy hostingowe pokażą botowi błąd 403, nie 404 czy 500. Blokada zostaje utworzona zanim bot będzie wstanie wejrzeć w stronę. Musisz to sprawdzić więc za pomocą narzędzi z zewnątrz.
Zweryfikuj twoją stronę z Majestic
I zrób to teraz! Jeśli znasz login do Search Console, zajmie ci to dokładnie kilka sekund. Jeśli nie, to możesz się wyrobić w kilka minut. Pozwala to sprawdzić, czy można przeindeksować twoją stronę. Jeśli nie, to możesz nakłonić twoją firmę hostingową by wpuściła roboty na twoją stronę ALBO zamienić ją na inną. Tych firm nie jest tak wiele ale kilka dość wielkich generalnie nie obchodzi fakt, że krzywdzą tym twoją stronę.
Używając procesu weryfikacji możesz się upewnić, czy twoja firma nie bawi się z tobą w żadne gierki.
Dlaczego powinienem pozwolić Majestic sprawdzać moją stronę?
Dobre pytanie. Musisz najpierw pamiętać, że tak naprawdę nie ukryjesz tak wiele blokując go, ponieważ informacje które są pokazywane przez Majestic są to linki DO TWOJEJ strony. Nie potrzeba więc indeksować twojej strony by o nich wiedzieć.
Patrząc na mapę drogową, nie mówi ci ona ilu jest mieszkańców w danym mieście, ale możesz to sam oszacować patrząc na jego rozmiar lub ilość dróg. Tak samo jest z botem, blokujesz tylko widoczność linków wychodzących z twojej strony.
Także zyski z blokowania bota są znikome. Za to zalet wpuszczenia go do strony jest o wiele więcej, na przykład:
- Weryfikacja jest darmowa i prosta w obsłudze. Robiąc to możesz dowolnie używać Site Explorer do tworzenia zaawansowanych raportów twojej strony. Informacje te są niezbędne dla każdego specjalisty SEO i mogą być niemożliwe do znalezienie gdziekolwiek indziej w Internecie.
- Kiedy inni chcieliby ocenić wiarygodność twojej strony patrząc na linki przychodzące do ich strony, twoje okażą się bezwartościowe. Może się okazać więc, że nie będziesz stanie nawiązać relacji z właścicielami tych właśnie stron.
- Nie zapominaj, że teraz Majestic jest także wyszukiwarką samą w sobie. Chociaż nie oczekujemy, że na codzień nasi użytkownicy wyszukiwaliby wszystko za pomocą Majestic (nie bądźmy naiwni), to jednak Majestic posiada jedne z największych botów indeksujących na świecie wraz z olbrzymim indeksem API. Nawet nie wiesz ilu twórców używa tego API dla swoich firm/stron/czy też w swoich ofertach biznesowych.
- Tak jak wspomniełyśmy, Majestic nie zostanie pewnie typową wyszukiwarką internetową, to obecnie jesteśmy w ranking top 1000 stron na świecie według Alexa. Także nie pozbywaj się darmowych możliwości wzmocnienia ruchu do twojej strony tylko dlatego, że twoja firma hostingowa zdecyduje się coś blokować.
- Pokazujemy błędy linków, na przykład 404 (oraz wiele innych) występujących na twoich stronkach, a także linki innych stron łączących się z twoją domeną, które są nie aktywne więc być może tracisz jeszcze więcej ruchu.
Zweryfikuj więc teraz twoją stronę za darmo na stronie https://majestic.com/webmaster-tools i pomyśl czy nie byłoby warto zrobić tego samego dla stron twoich klientów.
Nie mogę zweryfikować ich stron, wciąż mogę je jakoś sprawdzić?
Tak, jeśli jesteś płatnym użytkownikiem Majestic, to sprawdzenie tego będzie naprawdę proste. Zaloguj się, wpisz stronę klienta i przejdź do zakładki Strony. Jeśli każda strona będzie opisana błędem “403 Forbidden”, najprawdopodobniej firma hostingowa blokuje boty takie jak nasz.
Co jeśli będą kazać zapłacić za dostęp?
Większość firm raczej nie każe płacić za dostęp chodź większe firmy mogą otrzymać rachunek. Z perspektywy czasu blokowanie bota kosztowałoby Cię o wiele więcej, szczególnie jeśli będziesz blokować te dobre boty. Blokując nas, zablokujesz odwiedzających stronę jako że nasze informacje są używane w aplikacjach na całym świecie. Jeśli dalej cię to martwi, po prostu użyj protokołu “Crawl Delay” w dokumencie Robots.txt by kontrolować dostęp.
Gdzie mam zweryfikować moją stronę z Majestic Webmaster Tools?
Po prostu zaloguj się i zrób to ZA DARMO tutaj.
- Nowa funkcja: Linki wychodzące i aktualizacja języków - October 26, 2017
- Nowość: Wskaźniki linków wychodzących, tytuły i nie tylko - October 16, 2017
- Majestic i SEMRush łączą siły - October 11, 2017
Firmy hostingowe blokują Waszego bota ponieważ "nic on im nie daje" – w IAI o ile mnie pamięć nie myli nie można w ogóle zdjąć blokady bota Majestic’a
March 3, 2016 at 1:23 pmNo chyba, że Majestic przestał się przedstawiać jako Majestic 🙂 – noa le jak tak to pytanie,d laczego przestał się przedstawiać…
?
Dodam, że np. wtyczka do WordPressa Wordfence blokuje przy odpowiednim ustawieniu co najmniej jeden z programów do monitoringu marki – czy to też błąd?
Moim zdaniem nie do końca …
It is not very clever of hosts to block a user agent that identifies itself honestly (like we do) when we could easily just use a Mozilla or generic user agent. We CHOOSE to be blocked, because we work hard to be transparent and make it easy for web owners to block us if they wish. Hosting companies should of course leave this decision to the site owners via Robots.txt. That is what the protocol exists for. They should not deprive them of a tool beneficial to their customers. However we will continue to offer a Freemium service to users, providing they verify their sites with us. If they are unable to verify their sites because we cannot see their robots.txt due to 403/406, we refer them to their hosting provider or recommend they change their hosts.
March 3, 2016 at 2:16 pm