Der Umgang mit „Public Suffixes“ -

Im Umgang mit Domain-Namen ist Majestic ziemlich gut. Wir können verweisende Domains exakt und schnell berechnen und diese Daten dann mit einer der geringsten Latenzzeiten übergreifend für jeden der „Großen 3“ Backlink-Indizes (Majestic, Moz und Ahrefs) darstellen.

Das ist zwar gut, aber perfekt sind wir auch nicht, und so entspricht die Behandlung von ein paar TLDs nicht den Erwartungen, die wir gemäß der Public Suffix-Liste von Mozilla (der aktuellen „Bibel“ zum Umgang mit Public Suffixes/TLD) erfüllen möchten.

Anlass für dieses Problem sind gleich zwei Hürden:

Die Anzeige von bestehenden Links zu fehlenden Domains aufgrund eines Miss-Match des Public Suffix
Das Zählen von Links von Domains, die hinter fehlenden Domains versteckt sind, ebenfalls aufgrund eines Miss-Match des Public Suffix

Wenn wir gefragt werden, warum wir das Parsing für die Mozilla-Liste nicht in unseren Parsing-Prozess integriert haben, lautet unsere Antwort: Wir haben es wirklich versucht. Und dabei hat sich herausgestellt, dass unser historischer Index einfach zu groß ist!

Wenn wir dieses Problem komplett beheben möchten, müssen wir entweder beträchtliche Kosten (für die Erstellung eines neuen, parallel existierenden historischen Indexes) oder eine wesentliche Verzögerung bei der Durchlaufzeit für den historischen Index in Kauf nehmen. Diese Lösungen sind beide auf ihre Weise nicht einfach umzusetzen.

Ein Konzept zur Problembehebung haben wir schon, aber bis zur Lösung wird es noch etwas dauern. Genau deshalb wollten wir eine schnellere Möglichkeit finden, um wenigstens einen Teil davon in Angriff zu nehmen.

Alex hatte die großartige Idee, die Redirect Logic zu nutzen (mehr dazu hier https://blog.majestic.com/de/entwicklung/algorithmus-update-301-umleitungen-bei-majestic/). Damit lässt sich die erste Hürde nehmen und wir können bestehende Links zu problematischen Domains besser anzeigen.

Dieser Lösungsansatz ist im August live gegangen. In den Vorher-Nachher-Bildern weiter unten ist die Wirkung gut zu erkennen …

Vorher: