Mise à jour de l’Historic Index de Majestic

Majestic est heureux d’annoncer que le nouveau Historic Index ne vient pas seulement de sortir mais qu’il fonctionne mieux que dans le passé.

Nous avons travaillé dessus quelques mois, et comme nous savons que vous aimez la transparence, voici les statistiques de premier plan :

Le nouvel Historic Index montre un ajoût de 369 MILLIARDS d’URLs trouvées avec plus de 100 milliards d’URLs supplémentaires. Voici le tableau des modifications.

Les statistiques de premier plan :

Période : 30 Juin 2012 au 30 Janvier 2018
Dernière mise à jour : 05 Mars 2018

	Ancien	Nouveau	Augmentation
URLS uniques trouvées	6,659,283,985,220	7,028,327,426,799	5.54%
URLs uniques crawlées	1,413,052,059,901	1,532,667,950,732	8.47%
Pourcentage crawlé	21.2%	21.8%

Qu’est-ce qui change et pourquoi cela a pris si longtemps ?

Notre dernière mise à jour de l’historic index date du 2 novembre dernier. Habituellement, nous faisons une mise à jour une fois par mois. Alors lorsque nous avons su que cela allait prendre plus de temps que d’habitude, nous avons partagé ce que nous pouvions grâce à des améliorations de l’infrastructure. Maintenant que nous sommes en direct, nous sommes vraiment heureux de voir que nos changements ont abouti non seulement à un index plus grand, mais aussi, nous sommes capables de parcourir un pourcentage légèrement plus élevé de toutes les URLs vues.

Le retard a été dû en partie à des modifications matérielles ; mais le gain réel est une mise à niveau logicielle sur nos serveurs back-end, ce qui nous aide à tout traiter un peu plus rapidement. Parcourir l’historic index prend… 5 ANS ! Oui, il s’agit d’une base de données sur plus de 5 ans, donc lorsque vous modifiez la façon dont vous traitez les données, c’est un énorme déploiement que personne n’est censé voir.

Les SEOs de la vieille école se rappelleront de Google essayant quelque chose de similaire quand ils ont lancé “Caffeine” en 2009 et où ils ont essayé de changer leur système d’indexation sans impact sur les utilisateurs réguliers. Ils savaient que les utilisateurs avertis allaient le remarquer, cependant, ils ont demandé à la communauté SEO de donner leur avis. Majestic, au contraire, a SEULEMENT des utilisateurs avertis ! Nous ne voulions donc vraiment PAS que nos statistiques changent simplement parce que nous avions modifié notre système d’indexation.

Nous pensions y être parvenus, mais d’une façon ou d’une autre, nous avons construit tout l’historic index avec un réglage légèrement différent sur le nouvel index. Cela signifie que nous aurions pu lancer l’Historic Index le mois dernier, mais cela aurait effectivement annulé un changement que nous aurions fait à la fin de l’été 2016 ; ce qui aurait provoqué un peu plus de discussion qu’à l’époque. Si nous l’avions publié comme nous l’avions fait, alors les débits auraient été très variables, et pire… un mois plus tard… ils auraient tous été réinitialisés à nouveau lorsque nous avons corrigé le réglage. Plutôt que de contrarier deux fois nos utilisateurs, nous avons choisi de relancer la compilation de l’Index et de le lancer correctement.

Voilà donc… en trois mois, les améliorations apportées à l’infrastructure et à l’index ont donné lieu à un index plus important et à une meilleure couverture globale du web. Nous espérons que nos utilisateurs l’apprécieront.

Comment profiter des nouvelles données du nouvel historic index aujourd’hui

Les utilisateurs de comptes “Pro” et des comptes hérités ont la possibilité de voir l’historic index. Si vous êtes sur un plan gratuit ou “Lite”, vous pouvez vous mettre à jour ici. La différence entre Fresh et Historic est énorme… environ 4X le nombre d’URLs trouvées et 8X le nombre d’URLs parcourues que dans le Fresh Index… il y a donc une différence significative, mais il est également utile de comprendre la différence dans les données sous-jacentes. L’index Fresh contient de vieux liens !

En fait, il montrera tous les liens que nous voyons sur un cycle de 90 jours. Donc, même si le lien a 10 ans, si c’est un bon lien et que nous avons le droit de le parcourir, nous le collecterons beaucoup plus souvent qu’une fois tous les 90 jours… donc il ne tombe jamais hors du Fresh Index. S’il est SUPPRIMÉ ou ÉLIMINÉ pour quelque raison que ce soit, nous le marquerons comme tel et le retirerons du Fresh Index après qu’il ait été marqué comme retiré pendant 90 jours. Cela vous donne une chance de repérer les liens perdus. L’Historic Index est différent, car le cycle de crawl sur lequel est basé l’index entier passe de 90 jours à plus de 5 ans. C’est 20 fois le cycle de vie. Comme vous pouvez l’imaginer, cela peut donner une perspective différente. C’est presque comme le “archive. org” des liens. Vous pouvez voir des liens qui ont été supprimés jusqu’à il y a cinq ans.
Nous espérons que vous êtes heureux de voir l’Historic Index de retour et plus grand. Si vous souhaitez explorer, mais avez besoin de mettre à niveau, les comptes Pro démarrent à partir de 99,99 $ US / 79,99 € UK / 94,99 € avec un équivalent mensuel lors de l’achat trimestriel.

Retour