Der Historische Index von Majestic – Rückblick 2019 und Vorfreude auf 2020

Wir haben Anfragen von einer Reihe unserer Kunden erhalten, die nach unseren Plänen für den Hstorischen Index (Historic Index) gefragt haben. Wir möchten unseren geschätzten Nutzern versichern, dass wir den Wert des Historischen Index erkennen und unsere Pläne zur Verbesserung des Turnarounds von Historischen Index-Updates teilen.

Der Majestic Historic Index ist eine Leistung der Softwareentwicklung. Ein riesiges Datenvolumen, das über das Internet zugänglich ist, und eine Hochgeschwindigkeits-API. Über 8 Billionen URLs wurden identifiziert, mit den Ergebnissen eines Crawls von über 2 Billionen URLs, die zur Abfrage zur Verfügung stehen.

Aktualisierungen des historischen Index im Jahr 2019

Bis Anfang 2019 hatten wir einen beneidenswerten Ruf für die Aktualisierung des Index – die meisten Kalendermonate kündigten eine Veröffentlichung neuer Daten an. Majestic hat weiterhin in Historic investiert – sowohl durch das Hinzufügen neuer Funktionen als auch durch die Erhöhung der vorhandenen Datenmenge.

Die Pflege dieser riesigen Datenbank war ein großes Anliegen. Hinter den Kulissen wurde viel Arbeit geleistet, um ein unglaublich komplexes, maßgeschneidertes System zu unterstützen.

Leider hat 2019 ein “perfekter Sturm” einer Reihe von Ereignissen stattgefunden, die zusammenkommen, um die Konsistenz der Aktualisierung des Historischen Index zu unterbrechen.

Steigende Datenmengen in Historic haben das System an seine Grenzen gebracht. Die Ergebnisse davon – gestoppte Builds, verzögerte Releases und mangelnde Fähigkeit des Teams, sich auf einen regelmäßigen Zeitplan für Updates zu verpflichten.

Während wir weiterhin hart an der Entwicklung der Software zur Verwaltung immer größerer Datenmengen arbeiten, hatten wir Schwierigkeiten bei der Beschaffung von Hardware, die zur Verbesserung der Plattform, auf der die Software läuft, benötigt wird.

Die Vorlaufzeiten für verschiedene Komponenten, die früher Tage gedauert hätten, haben sich auf Wochen und Monate ausgedehnt, was unsere Fähigkeit, die routinemäßige, laufende Wartung durchzuführen, die für die regelmäßige Aktualisierung des Historischen Index erforderlich ist, beeinträchtigt hat.

Wir sind uns bewusst, dass es in unserer Verantwortung liegt, den Historischen Index zu aktualisieren und die oben genannten Informationen nur zu teilen, um ehrlich über Einflüsse außerhalb unserer Kontrolle zu kommunizieren, die den Betrieb erschweren.

Wir hatten uns sehr gewünscht, dass wir in der Lage sein würden, den Index im Oktober zu aktualisieren. Leider geben wir bekannt, dass unsere Versuche, einen Index zu diesem Termin aufzubauen, gescheitert sind. Wir hatten gehofft, dass eine Reihe von manuellen Eingriffen zur Freigabe neuer Daten auf alter Hardware geführt haben könnten. In den letzten Testrunden konnten wir uns jedoch nicht davon überzeugen, dass die Interventionen keine weiteren Anomalien verursacht hatten. Wir haben daher die schwierige Entscheidung getroffen, den historischen Build neu zu starten – ein Prozess, der aufgrund der großen Datenmenge und der Tiefe der durchgeführten Analysen fast einen Kalendermonat in Anspruch nimmt. Wir haben ein schrittweises Upgrade durchgeführt, um diesem Build gerecht zu werden und sind optimistisch für den Erfolg.

Es ist unser Ziel, 2019 mindestens ein weiteres Historic Index Update zu veröffentlichen.

2020 und darüber hinaus

Anfang 2019 wurden erhebliche Investitionen in unsere Softwareentwicklung getätigt – die Einhaltung der Buildzeiten in Fresh und das Hinzufügen einer Reihe neuer Funktionen, einschließlich Link Context. Wir wollten mehr erreichen, aber das wurde durch die oben beschriebene Störung erschwert.

Unser Team arbeitet hart daran, sich auf die Ankunft der restlichen Hardware vorzubereiten, die für die Modernisierung des historischen Bausystems erforderlich ist. Die endgültige Bestellung der Hardware für diesen Upgrade-Zyklus soll in Kürze eintreffen. Dies wird den Aufbau eines stark verbesserten Historic Build Cluster erleichtern, der mehr Speicher, mehr Speicherplatz und eine schnellere Verarbeitung bietet.

Dieser Cluster wird uns von einigen der Engpässe befreien, die den aktuellen historischen Bau betreffen. Unser Ziel ist es, eine Plattform aufzubauen, auf der wir unsere Software optimieren können, um einen größeren Datenumschlag zu gewährleisten.

Unsere unmittelbare Priorität ist es, so schnell wie möglich zu früheren historischen Aktualisierungsstufen zurückzukehren. Wenn wir dies erreicht haben, werden wir die Vorteile der Aktualisierung historischer Build-Systeme mit dem Hinzufügen von Link Context-Daten ausgleichen. Unser Ziel ist es, einen Aktualisierungsplan für Historic zu erstellen, der schneller und zuverlässiger als je zuvor ist.

Wir danken allen unseren Kunden für ihre kontinuierliche Unterstützung in dieser schwierigen Zeit. Wir sind uns der Schwierigkeiten bewusst, die Verzögerungen in der Geschichte verursacht haben müssen, und hoffen, dass unser bedeutendes Investitionsprogramm bald auch Ihnen zugute kommen wird.

Zurück