Größer und besser.

Über die letzten paar Tage haben wir unseren bisher größten Historischen Index mit fast4.2 Milliarden URLs leise eingeführt. Es ist zwar beeindruckend, aber wir haben uns auch noch dazu entschieden dass es vielleicht sinnvoll wäre ein wenig mehr Memory zu kaufen. Gerade deswegen müssen wir unsere Kunden warnen dass wir in der kommenden Woche ein paar kurze Instandhaltungs-Upgrades machen da unser Netwerk-Administrator und sein Team damit anfangen, Palettenladungen von neue Computern auszupacken und in Datenschränke zu packen. Hier ist eine Lieferung:

Als der Lastwagen hier angekommen ist war es eine kleine Überraschung für ihn ein Haufen von junge Gesichter mit Karren zu sehen. Seine erste Frage war “Wie denn, kein Gabelstapler?”.

Besseres Indexing bedeutet dass mehr Memory nötig ist

Über die letzten paar Monate hat Majestic sehr hart gearbeitet um die  “Entdeckung”, wie wir es nennen, zu verbessern. Wir wollen neue Links finden, aber nicht indem wir gute Seiten wieder besuchen und crawlen die  sich möglicherweise verändert haben. Der übliche Trade-off für die Erhöhung der Entdeckungs-Geschwindigkeit von URLs ist, dass wir die recrawl Zeit verringern – aber wir haben jetzt mehrere Ideen implementiert um unsere Entdeckung zu verbessern ohne dass die recrawl Daten gefährdet werden. Ein paar von diese Ideen behalten wir als unsere “geheime Sauce”, aber andere Ideen – wie unser URL Submitter Tool teilen wir gerne mit Ihnen.

Wir haben unser System für Skala gebaut und dank Ihrer Unterstützung, können wir auf dieses Design bauen.

Wir werden versuchen euer Service nicht zu stören – aber…

Natürlich ist das Installieren von Palettenladungen von Computern keine einfache Sache, insbesondere in einer Live-Umgebung. Wir glauben dass wir eine Weise haben um es mit minimale Störungen zu machen – aber wir hoffen dass Sie es verstehen werden wenn Sie kurze Ausfälle merken während wir unsere Server über die nächste Woche oder so neustarten.

Was ist der Payback an unsere Kunden?

Größere, schnellere und frischere Daten – natürlich ohne Preis-Erhöhungen!

Zurück