Nouvel outil d’historique de Flow Metrics

Nous avons sorti un nouvel outil ! L’outil d’historique de Flow Metrics vous laisse voir comment n’importe quel Flow Metric de domaine (Trust Flow et Citation Flow) a évolué dans le temps. Cet article souligne pourquoi l’outil était nécessaire, quels sont ses usages et pourquoi certains sites sont plus susceptibles de fluctuer que d’autres.

Si vous parcourez l’article, vous en saurez plus à propos des métriques de Majestic. Si vous souhaitez seulement savoir ce que nous avons lancé, mais non le pourquoi du comment, les deux premières captures d’écran vous expliquerons les bases immédiatement…

Nouveau : outil d’historique de Flow Metrics

 

 

Les utilisateurs Gold et Pro (et au dessus) peuvent maintenant utiliser le nouvel outil d’historique de Flow Metrics comme montré dans l’image ci-dessus. (Les utilisateurs Lite et Silver peuvent toujours paramétrer des campagnes et recevoir ces données dans le temps.)

L’outil ressemble au reste des outils de comparaison de site, mais garde toutes ces données de manière différente. L’outil fournit aux utilisateurs 18 mois d’historique pour chaque site web !

Impressionnant n’est-ce pas ?

Pour l’utiliser, entrez simplement un ou plusieurs domaines dans la barre de recherche de l’outil…attendez un peu..et vous verrez des graphiques très sympas. En haut à gauche, vous pouvez voir un graphique très similaire à l’écran Campaigns. Ensuite à droite, vous verrez deux graphiques superposés. Celui en haut montre le Trust Flow dans le temps et celui en dessous montre le Citation Flow dans le temps. J’ai choisi un paquet de sites liés à l’espace dans mon exemple :

 

 

L’objectif principal de l’outil

Certains sites ont plus tendance à fluctuer au niveau du Trust Flow que d’autres. Certaines des raisons sont soulignées plus tard dans cet article, mais les raisons principales pour lesquelles ce phénomène survient montre que connaître le score Trust Flow “Mode” (le plus commun) dans le temps est plus fiable que de connaître les scores actuels de Trust Flow ou de Citation Flow pour certains sites. Ces graphiques rendent cette information très claire pendant que les scores “modal” de Trust Flow et de Citation Flow sont pour un site et aideront davantage à la décision pour les domaines et les constructeurs de liens de la même manière.

En général, il est sensé de considérer le mode comme force “sous-jacente” d’un domaine. Dans le même temps, le fait que certains sites fluctuent plus que d’autres offre un casse-tête intéressant. Savoir pourquoi cela se produit peut améliorer la compréhension d’un domaine.

Pourquoi le Trust Flow évolue t-il parfois ?

Vous voyez dans l’image ci-dessus que le Trust Flow chute brutalement sur hawking.org.uk et space.com et sur quelques autres ? Pourquoi donc ?

La question est au coeur de la construction de cet outil. Il y a quelques semaines, Majestic a commencé à entendre des commentaires de plus en plus forts sur des fluctuations fréquentes du Trust Flow. Des clients et utilisateurs gratuits ont suggéré que nous avions changé notre algorithme.

Mais ce n’était absolument pas le cas ! Notre algorithme est exactement le même.

De façon graduelle, et dans le temps, davantage de personnes ont rapporté avoir vu des fluctuations de Trust Flow pour des sites. Les sites que j’ai utilisé dans cet article reflètent ce qui se produit dans le monde. Space.com semble fluctuer, mais Nasa.gov (qui est plus fort) et space-facts.com (qui est plus faible) restent constant au jour le jour.

 

 

Il existe de nombreuses raisons de ce changement mais il aide Majestic à comprendre que son index représente “une capture d’un moment T”. Contrairement à de nombreux autres index de lien, Majestic utilise sa manière de voir chaque page web pour tenter d’établir comment chaque page importante (et de façon plus globale pour chaque site) est notée en se basant sur sa relation aux autres pages web dans un univers connu.

NB: Dire que l’index de Majestic est contraire à la majorité des autres index requiert une réserve. Il est quasiment comme celui de Google, à savoir que Google utilise toujours le PageRank aujourd’hui (confirmé par Gary Ilyes sur Twitter) et que le calcul derrière le PageRank est essentiellement basé sur une matrice du web dans son intégralité. Voilà ce qu’est l’index de Majestic. Chaque fois que l’index est calculé, Majestic réalise un nouvel index en direct. Cela arrive toutes les 24-30 heures environ et l’algorithme redémarre ensuite automatiquement. Nous prenons ensuite une nouvelle capture du temps de chaque page et commençons le calcul. 24-30 heures plus tard, nous délivrons un nouvel index et le processus se répète. 

De petits changements dans ce que l’algorithme de Majestic voit peuvent avoir des implications potentiellement dramatiques. Cela ne semble même pas être du au fait de l’accessibilité de votre site ou non…nous voyons des exemples de sites fluctuant où vous pouvez facilement voir le contenu. Le problème est plus complexe.

Construire entièrement un nouvel index chaque jour est largement la raison pour laquelle Majestic a commencé à voir des fluctuations. Si pendant une seule occasion, le robot ne peut voir une seule page web ou un site ; la question qui requiert une analyse serait de savoir si cela peut dramatiquement affecter beaucoup de site en même temps ?

Majestic a besoin d’y répondre pour rendre les Flow Metrics plus stables. Les clients bénéficieront de cet outil car il leur permet de voir au-delà de ces fluctuations. Toutes les fluctuations ne sont pas un résultat de “faux positif”. Certaines seront un signe de comportement dangereux. Par exemple, bloquer le robot de Majestic (MJ12Bot) est un drapeau rouge. C’est une première étape d’enquête.

Bloquer le MJ12Bot peut-il causer des Trust Flow irréguliers ?

Certains réseaux de lien bloquent le MJ12Bot pour tenter de cacher les liens sortants vers d’autres sites. La théorie est que le site PBN (Private Backlinks Network) reçoit un Trust Flow haut car Majestic voit les liens vers le site. Cela veut dire qu’ils peuvent vendre des liens depuis le site mais le MJ12Bot ne peut voir les liens en provenance du site même si Google en est capable. La théorie est donc que le réseau de lien reste caché des autres. Le drapeau rouge ici est que le MJ12Bot est bloqué en premier lieu mais une théorie peut être indépendamment raisonnée pour donner une image imprévisible car Majestic est incapable de donner au site la stabilité que la plupart des sites reçoivent des liens internes.

Voici la théorie en image pour les débutants :

 

L’effet de ce schéma de comportement montre que si une page importante ne peut pas être crawlée un jour, alors la chute des Flow Metrics peut apparaître désastreuse pour le site bloquant le MJ12Bot. La mauvaise nouvelle est que cette page peut ne pas être directement liée au site mais quelques liens peuvent l’être en bout de chaîne.

La bonne nouvelle est que rien de réellement mauvais est arrivé. L’autre bonne nouvelle est que si nous n’essayons pas de crawler du tout cette page pendant un cycle, nous partons du principe qu’elle sera la même que la fois précédente. En d’autres termes, nous devons voir une erreur de crawl depuis une URL pour qu’une alerte soit créé.

Il ne s’agit que de crawlabilité !

L’exemple au dessus, même si faisable, n’explique certainement pas chaque scénario. Qu’est-ce qui pourrait expliquer 90% des problèmes et il y aurait-il une raison pour que le MJ12Bot ait des erreurs de crawl de pages intermittentes (plutôt que d’être juste bloqué) ? Il existe une myriade de raisons pour que le MJ12Bot rencontre des arrêts intermittents en tentant de crawler des pages. Encore une fois, ce n’est pas unique à Majestic et Google fournit des outils dans sa Search Console pour aider à réduire les arrêts et les erreurs de page sur votre site précisément parce que les erreurs de ce type peuvent également affecter la compréhension d’un site pour Google. Google a mis plus d’énergie pour résoudre ce problème mais les SEOs de la première heure se rappeleront les nombreuses manières dont l’index de Google pouvait fluctuer.

Voici une possibilité intéressante, particulière à l’installation de Majestic par bien des exemples. Avec l’augmentation de l’usage des pages HTTPs, un serveur web et votre navigateur web doivent communiquer ensemble pour installer un protocole sécurisé qu’à la fois le serveur et le client peuvent utiliser pour transmettre les données avant que la page soit chargée.

Un de ces protocoles est appelé “TLS”. La version actuelle est la 1.2 et la recommandation est que les serveurs web doivent arrêter d’autoriser le TLS 1.2 et celles en dessous d’accéder au contenu HTTPS pour des raisons de sécurité. Cependant, tous les clients n’utilisent pas le TLS 1.2. Pourquoi cela affecterait-il Majestic plus que d’autres crawlers ? Parce que Majestic utilise un crawler distribué. Cela veut dire que Majestic lui-même ne contrôle pas l’installation du logiciel client. Cela pourrait être une machine windows, un mac ou Linux. Elle pourrait avoir été tenue à jour ou avoir crawlé avec succès pendant des années avec Windows NT. Dans la plupart des cas, le MJ12Bot crawlera le TLS 1.2 mais de façon occasionnelle il peut crawler depuis une machine qui n’est pas configurée correctement et à ce moment là il remontera un arrêt ou une autre erreur.

Le résultat pourrait être une chute brutale, 24 heures plus tard !

C’est l’une des raisons pour laquelle une erreur peut arriver mais il en existe beaucoup d’autres. Certaines ne sont généralement pas comprises ou expliquées aux SEOs alors en voici certaines qui valent le coup d’être considérées :

• Si le lien est sur un site hébergé en Chine, crawlé depuis les États-Unis, la Chine peut bloquer le crawl si les tensions sont hautes au travers du pare-feu chinois.
• Nous avons eu un problème sur Majestic.com sur 15% de nos utilisateurs le weekend dernier lorsqu’un protocole appelé DNSSEC s’est arrêté, laissant certains systèmes DNS (dont le Googledns) incapables d’établir une sécurité complète HTTPs. Le résultat ? Aucune donnée n’a été retournée aux utilisateurs web utilisant ces serveurs DNS.
• Les serveurs de résolution DNS se mettent à jour périodiquement. C’est pourquoi changer les paramètres DNS peut mettre plusieurs jours à complètement se propager. Lorsqu’ils se mettent à jour, ils peuvent causer des erreurs pour un jour ou deux voir pire…la mise à jour peut être corrompue, ce qui affectera les utilisateurs (et les robots) jusqu’à la suivante.
• Le serveur peut être arrêté lorsque nous le crawlons. Relancez le simplement. Mais le temps que le redémarrage soit fini, le MJ12Bot sera déjà passé.

Comment un propriétaire de site peut-il l’utiliser ?

Comme vous pouvez le voir, certaines des raisons sont celles que vous pouvez imaginer pendant que d’autres sont plus dures à isoler. Le problème commun, cependant, semble être que Majestic part du principe que tous les liens sont morts sur une page web lorsqu’il rencontre une erreur en lisant la page.

Un propriétaire de site regardant un site avec de nombreux pics devrait essayer de comprendre la raison de cette apparition. Allez sur la Search Console de Google et regardez la section des erreurs de crawl pour voir si Google a rencontré des arrêts et erreurs similaires. Si c’est le cas, alors traitez ces problèmes comme une priorité dans vos efforts SEO. Ils devraient être réparables.

Le Citation Flow, un gros joueur.

Malheureusement, il semblerait que les explications ci-dessus soit entièrement plausibles et finalement réparables mais ce n’est pas la réponse complète. Dans les exemples d’historique de Trust Flow montrés au-dessus, certains Trust Flow de sites ont eu des pointes alors que d’autres non. Si c’était la seule explication, alors le Citation Flow devrait avoir des pointes…mais regardez le !

 

Il n’y a pas de fluctuation notable dans la plupart des Citations Flow pour le même set de sites et pour la même période. Si l’explication au dessus était suffisante…qu’une erreur lisant la page occasionnellement expliquait complètement ce comportement, alors le Citation Flow devrait avoir également fluctué ? La réponse intuitive serait oui cependant Majestic est bien plus susceptible de recrawler les pages avec un haut Trust Flow que les pages avec un haut Citation Flow. Nous traitons le Trust Flow comme le signal supérieur…du moins c’était le cas jusqu’à que cette anomalie commence à apparaître. De plus, davantage de pages web sur Internet ont plus de Citation Flow que du Trust Flow. Cela veut dire que la grande matrice évoquée plus tôt a beaucoup plus de points de données non nuls dans le calcul du Citation Flow.

Le Citation Flow peut par conséquent être naturellement plus résistant que le Trust Flow pour les messages d’erreur serveur. Pour le moment, nous ne savons pas encore. C’est pourquoi nous avons construit l’outil.

Je veux juste une métrique stable !

**Modification Mise à jour – Nous avons maintenant sorti une réparation et toutes les métriques semblent stables à nouveau** /Fin de la modification

Nous vous écoutons. Nous souhaitons nous aussi une métrique stable. Ou plus précisément, nous voulons une vraie métrique qui ne soit pas affectée par de faux positifs. Il y aura toujours des sites qui fluctueront même une fois ce problème réglé. Ceux bloquant notre robot par exemple, peuvent continuer de souffrir, tout comme les sites qui reposent sur des liens de page vitrine depuis des blogs et des sites d’actualités qui (par nature) sont passagers.

En créant un outil d’historique de Flow Metric, les utilisateurs pro peuvent utiliser la courbe de tendance pour continuer à estimer la valeur d’un site. Les utilisateurs Lite ou Silver peuvent aussi le faire en utilisant la fonctionnalité campaign et d’autres peuvent choisir de se reposer sur les comptes de Citation Flow ou de Referring Domain. Cependant, nous croyons que nous sommes sur le bon chemin pour renvoyer une métrique stable. Et que nous laisserons derrière nous un héritage précieux – l’outil d’historique de Flow Metrics.

Maintenant que cet outil montre que de nombreux résultats sont intermittents, et si Majestic prend plus de temps pour réagir à un message d’erreur, il est très probable que la claire majorité des pointes de Trust Flow vont disparaître. Cela a un inconvénient bien sûr, car il sera plus difficile d’enregistrer et propager l’information concernant les serveurs et les sites s’arrêtant mais il semblerait que donner le bénéfice du doute à un site sur une courte période créera des indexes plus stables.

ourquoi avez-vous mis si longtemps à régler le problème ?

Pour faire court, c’est faux. Un mois est une longue période de recherche ! Comprendre la relation entre les sites est difficile. Le passage au HTTPs semble avoir fait apparaître un problème nouveau et inattendu. Le problème est devenu réellement apparent qu’il y a quelques semaines et nous avons immédiatement mis en pause notre plan de route pour tenter de comprendre le problème et travailler sur une solution. Nous étions incapables de dire ce qui se passait car nous ne savions tout simplement pas. Nous ne savons toujours pas complètement mais nous en sommes proche. Nous avons dû construire cet outil pour le découvrir. Heureusement, nous avions sauvegardé les Flow Metrics après chaque mise à jour au sein de notre offre entreprise Majestic Analytics. Notre équipe développement a compilé tout cela en seulement quelques semaines. En parallèle, nous avons eu une équipe gérant le suivi des diagnostics et une autre regardant les données en masse pour essayer d’arrêter des problèmes évidents. Tous ces efforts ont m
ené à cet outil que nous avons décidé de sortir dans la foulée afin que nos utilisateurs puissent voir les problèmes eux-mêmes et bénéficient également des informations supplémentaires que l’outil offre.

Pourquoi ce n’est pas gratuit pour tous les utilisateurs ?

Ce n’est tout simplement pas adapté à tous les utilisateurs. Il fournit des informations nuancées qui devraient être préservées pour les utilisateurs pro. De plus, comme mentionné au début, la technologie est basée sur des données rangées sous un format différent que la plupart des données sur le site de Majestic. Nous avons été incapable de tester l’outil pour un usage plus lourd et le “coût” (en terme de temps d’élaboration) n’est pas aussi efficient que d’autres outils sur Majestic.com. L’usage efficace des ordinateurs est ce pourquoi Majestic a toujours la base de donnée de lien la plus grande de la planète au coût le plus bas. A cette occasion, cependant, la vitesse de déploiement a été plus importante que le prix.

À vous

Nous espérons que vous aimerez cette nouvelle couche d’information. Nous sommes intéressés par vos observations et façons dont cet outil peut vous aider pour développer votre entreprise. Profitez en bien !

Save

Retour