Warum die Verifizierung bei Majestic Teil eines jeden SEO Audits sein sollte

Ich hatte es kürzlich mit einem interessanten Kundenproblem zu tun:

Wenn man seine eigene Website nicht im Majestic Webmaster Tool verifiziert, besteht die Möglichkeit, dass Ihr Hosting-Provider den Traffic zu Ihrer Seite begrenzt.

Manche Provider versuchen Ihre Bandbreitenkosten niedriger zu halten, indem Sie Ihren Traffic blocken, ohne es Ihnen mitzuteilen – insbesondere von Bots. Das Problem ist, dass sie die „guten“ Bots blocken können, also die, die sich selbst identifizieren können und auch die Robots.txt befolgen.

Folglich werden die guten Bots von den Providern geblockt, lassen aber die schlechten Bots durch, ohne dass Sie davon wissen.

Die meisten SEOler verifizieren eine Seite in der Search Console (früher bekannt als „Google Webmaster Tools“), um einen Einblick in die SEO-Daten zu bekommen. Clevere SEOler verifizieren die Seite außerdem mit Bing’s Webmaster Tool. Man könnte also davon ausgehen, dass nur die wenigsten Hosting-Provider die Bots blocken – Sie würden aber überrascht sein, wie viele es tatsächlich praktizieren. Ich empfehle Ihnen ab und an in Google’s Webmaster Tool auf den Button „fetch as Googlebot“ zu klicken, damit Ihre Seite nicht von Beginn an von Ihrem Provider geblockt wird.

Neben diesen beiden Bots gibt es noch weitere Bots, die manch Provider blockt. Das Problem liegt darin, dass Sie nicht über die Robots.txt geblockt werden, sondern über deren Firewall… als Website-Besitzer hat man also keine Kenntnis darüber, dass die Crawler geblockt werden. Das bedeutet:

• Sie werden eventuell nicht in der Suche von Yandex oder Baidu berücksichtigt
• Eventuell werden Sie auch im Majestic’s eigener Suchmaschine, dem “Search Explorer “ schlechter gerankt.
• Google hat noch andere Bots wie http://www.google.com/feedfetcher.html, die vielleicht geblockt werden
• Microsoft hat andere Bots als seine Media-Bits: MSN Bot
• WordPress Seiten schaffen es nicht in den Newsfeed

Viele, VIELE Datensets erhalten Signale von den Daten, die von guten (oder auch schlechten) Bots gesammelt wurden. Das Blocken von Boots ist nur ein warnendes Beispiel – es gibt hier noch mehr Gründe, wieso Sie das Traffic kostet. Beispiel: Ein WordPress Nutzer hat einen RSS-Feed in seine Standardeinstellungen installiert und wenn es einen neuen Post gibt, nutzt WordPress ein System Namens Pingomatic, um andere Services darüber zu informieren. Wenn man aber nun Probleme mit einem der Services hat, kann man den Ping abstellen bzw. den Service über die Robots.txt blocken. Aber was, wenn Ihr Provider diese Services von Beginn an blockt? Ziemlich unfair, oder?

Kann ich meine Protokolle prüfen, wenn mein Provider dies praktiziert?

Unwahrscheinlich. Die Antwort des Providers wird ein 403 error sein, aber kein 404 oder 500. Der Block wird schon generiert, bevor man Zugriff auf Ihre Seite hat.

Verifizieren Sie Ihre Seite bei Majestic

Machen Sie es jetzt! Wenn Sie Ihre Search Console Login-Daten kennen, dauert es nur wenige Sekunden. Wenn nicht, dann dauert  auch nur wenige Minuten. Wir prüfen kontinuierlich, ob wir Ihre Seite crawlen können. Wenn wir es nicht können, dann treten Sie in Kontakt mit ihrem Provider und fragen Sie auch nach, was noch alles geblockt wird, damit Sie eventuell einen Wechsel in Betracht ziehen können. Es gibt nicht viele Firmen, die es machen – aber ein paar wenige sind ziemlich groß und wissen gar nicht, oder ihnen ist es egal, dass sie damit die Geschäfte anderer beeinträchtigen.

Wenn Sie unseren Verifizierungsservice in Anspruch nehmen, können Sie sicher sein, dass Ihr Provider keine Spielchen mit Ihnen spielt.

Wieso sollte ich Majestic’s Bot meine Seite crawlen lassen?

Gute Frage. Bedenken Sie, dass Sie Ihre Seite nicht wirklich vor uns verstecken, wenn Sie unseren Bot blocken, da wir Ihnen Links ZU Ihrer Website zeigen. Dafür müssen wir nicht unbedingt Ihre Seite crawlen. Wenn Sie sich eine Straßenkarte ansehen, sagt diese wenig über die Größe einer Stadt aus. Aber aufgrund der Anzahl der Straßen können Sie die Größe einigermaßen abschätzen. So verhält es sich auch mit den Links. Das Blocken unseres Bots verhindert also nur, dass wir einen Einblick bekommen zu welchen Seiten Sie von Ihrer Seite verlinken.

Der Nutzen unseren Bot zu blocken, ist also nicht gegeben. Sie haben viel mehr Nutzen ihn nicht zu blocken:

• Die Verifizierung ist kostenfrei und ziemlich einfach. Man kann anschließend sofort erweiterte Berichte im Site Explorer abrufen. Diese Datensätze sind für jeden SEOler von unschätzbaren Wert und es ist unmöglich sie woanders im Netz zu bekommen.
• Wenn andere Nutzer den Wert Ihrer Seite evaluieren, werden diese Nutzer auf die Links schauen, die von Ihnen zu deren Seiten führen. Allerdings werden Sie keine finden, wenn Sie den Bot blocken und Sie zukünftig nicht weiter beachten.
• Vergessen Sie nicht, dass wir selbst auch eine Suchmaschine anbieten. Auch wenn wir wissen, dass unsere Suchmaschine sicherlich nicht die erste Wahl als Suchmaschine ist (wir sind nicht naiv :)), haben wir trotzdem einen der größten Crawler der Welt und eine Such-API in der Entwicklung. Ohne groß ins Detail gehen zu wollen, aber können Sie sich vorstellen, wie viele Global Player diese API als sehr nützlich in Ihrem Unternehmen ansehen?
• Auch wenn Majestic.com keine Suchmaschine ist, die von gewöhnlichen Konsumenten genutzt wird, sind wir gut gerankt unter den Top 1000 Websites laut Alexa.
• Wir zeigen Ihnen 404 errors (und auch andere) auf Ihrer Website und Links von Dritten zu Ihrer Domain, die nicht funktionieren –  und damit, an welchen Stellen Sie Traffic verlieren.

Verifizieren Sie Ihre Seite jetzt kostenfrei unter https://de.majestic.com/webmaster-tools und ziehen Sie in Erwägung das selbe mit den Seiten Ihrer Kunden zu machen.

Ich kann die Seite meines Kunden nicht verifizieren – kann ich sie trotzdem überprüfen?

Ja, solange Sie ein Majestic-Abonnement haben. Loggen Sie sich ein, geben Sie die Seite ein und klicken Sie auf das „Seiten“-Tab. Wenn jede Seite als „403 Forbidden“ angezeigt wird, dann blockt Ihr Web-Host mit aller Wahrscheinlichkeit Bots wie dem unseren.

Was ist, wenn ich für meine Bandbreite zahlen muss?

Die meisten Hosting-Provider berechnen nicht nach Bandbreite – außer bei richtig großen Firmen. Es ist wahrscheinlich, dass es auf Dauer mehr kostet, legitime Bots zu blocken. Kurzum: Das Blockieren unseres Bots blockiert in Realität auch Besucher zu Ihrer Seite, da unsere Daten in vielen Web-Applikationen verwendet weltweit verwendet werden. Wenn Sie sich aber Sorgen machen, dann ist die Lösung für Sie das “Crawl Delay“-Protokoll in die Robots.txt, um die Bandbreite zu kontrollieren.

Wie verifiziere ich meine Seite im Webmaster Tool?

Loggen Sie sich mit einem kostenfreien Account ein und klicken Sie hier.

Zurück