Majestic hat den historischen Index aktualisiert

Majestic freut sich bekannt zu geben, dass der neue historische Index nicht nur fertiggestellt ist, sondern auch besser funktioniert als zuvor. Es hat einige Monate gedauert und da wir wissen, dass Sie Transparenz mögen, finden Sie hier die Top-Line-Statistiken:

Der neue Historische Index zeigt ZUSÄTZLICH 369 Milliarden URLs, die mit über 100 Milliarden extra gecrawlten Links  gefunden wurden.

Mehr Fakten:

Zeitraum: 30. Juni 2012 bis 30. Januar 2018

Letzte Aktualisierung: 05. März 2018

	Vorher	Neu	Zuwachs
URLS gefunden	6,659,283,985,220	7,028,327,426,799	5.54%
Gecrawlte URLs	1,413,052,059,901	1,532,667,950,732	8.47%
Prozentuale gecrawlt	21.2%	21.8%

Was hat sich geändert und warum hat es so lange gedauert?

Unser letztes Update des historischen Indexes war am 2. November letzten Jahres. Normalerweise aktualisieren wir einmal im Monat. Als wir also wussten, dass es länger als normal dauert, teilten wir mit, was wir durch Infrastrukturverbesserungen erreichen können. Jetzt, da wir live sind, sind wir wirklich froh, dass unsere Änderungen nicht nur zu einem größeren Index geführt haben, sondern auch, dass wir in der Lage sind, einen etwas höheren Prozentsatz aller gesehenen URLs zu crawlen.

Der wirkliche Gewinn war jedoch ein Software-Upgrade auf unseren Backend-Servern, das uns hilft, alles etwas schneller abzuwickeln. Das crawlen des historischen Index dauert… 5 JAHRE! Wenn Sie also die Art und Weise ändern, wie Sie die Daten verarbeiten, handelt es sich um einen riesigen Rollout, den niemand so hat vorhersehen können

Einige SEOs der alten Schule werden sich erinnern, dass Google etwas Ähnliches versucht hat, als sie 2009 “Caffein” auf den Markt brachten, wo sie versuchten, ihr Indexierungssystem zu ändern, ohne die regulären Nutzer zu beeinträchtigen. Sie wussten, dass Power-User es merken würden, also baten sie um Feedback von der SEO-Community. Majestic dagegen hat NUR Power-User! Also wollten wir wirklich NICHT, dass sich unsere Statistiken ändern, nur weil wir Änderungen an unserem Indexierungssystem vorgenommen haben.

Wir dachten, wir hätten dies erreicht und wir hatten, aber auf die eine oder andere Weise, den gesamten historischen Index mit einer etwas anderen Einstellung auf dem neuen Index aufgebaut. Das bedeutet, dass wir den historischen Index im vergangenen Monat hätten lancieren können, aber er hätte eine Änderung, die wir im Spätsommer 2016 vorgenommen haben, praktisch rückgängig gemacht, was zu dieser Zeit mehr als nur ein wenig Diskussion ausgelöst hat. Wenn wir es so veröffentlicht hätten, wie wir es getan hätten, dann hätten sich die Flowmetriken dramatisch verändert, und schlimmer noch… einen Monat später… hätten sie alle wieder zurückgesetzt, wenn wir die Einstellung korrigiert hätten. Anstatt unsere Benutzer zweimal zu verärgern, haben wir uns für eine erneute Ausführung des Index-Buildes entschieden – und zwar mit dem richtigen Start.

Also, hier ist es… über drei Monate Infrastruktur und Indexverbesserungen haben zu einem größeren Index und einer besseren Gesamtdeckung des Webs geführt, und wir hoffen sehr, dass es unseren Nutzern gefällt.

So genießen Sie die neuen historischen Indexdaten noch heute

Benutzer von Pro-Accounts haben die Möglichkeit den historischen Index einzusehen. Wenn Sie einen kostenlosen oder einen “Lite”-Plan haben, können Sie hier ein Upgrade durchführen. Der Unterschied zwischen dem aktualisierten und dem historischen Index ist riesig… dort finden Sie ca. 4x mehr die Anzahl der gefundenen URLs und 8x mehr die Anzahl der gecrawlten URLs im Vergleich zum aktualisierten Index… der Unterschied ist signifikant, aber es ist auch wertvoll, den Unterschied in den zugrunde liegenden Daten zu verstehen. Der aktualisierte Index enthält alte Links!

Tatsächlich zeigt er alle Links, die wir über einen 90 Tage dauernden Crawl-Zyklus sehen. Also, selbst wenn der Link 10 Jahre alt war, wenn es ein guter Link ist und wir ihn crawlen dürfen, werden wir ihn viel öfter als einmal alle 90 Tage abrufen… damit er nie aus dem aktualisierten Index fällt. Wenn es aus irgendeinem Grund gelöscht oder entfernt wird, kennzeichnen wir ihn als solchen und entfernen ihn aus dem aktualisierten Index, nachdem er 90 Tage lang als entfernt markiert wurde. Dies gibt Ihnen die Möglichkeit, verlorene Links zu erkennen. Der historische Index ist anders, denn der Crawl-Zyklus, auf dem der gesamte Index basiert, bewegt sich von 90 Tagen auf über 5 Jahre. Das ist das 20-fache des Lebenszyklus. Wie Sie sich vorstellen können, kann dies eine andere Perspektive geben. Es ist fast wie das “archive.org” der Links. Sie sehen Links, die bis vor fünf Jahren gelöscht wurden.

Wir hoffen, dass Sie sich freuen, den historischen Index wieder und in noch größerer Pracht  zu sehen. Wenn Sie sich näher informieren möchten, aber ein Upgrade auf ein Pro-Konto benötigen, können Sie hier Ihr Upgrade buchen.

Back