Perché dovresti verificare i siti con Majestic

Recentemente, durante un SEO audit, mi sono trovato ad affrontare una problematica interessante di cui ogni SEO dovrebbe essere a conoscenza.

Verificare il proprio sito con lo strumento Webmaster Tools di Majestic è una verifica che tutti dovrebbero fare a garanzia della raggiungibilità totale del sito da parte di chiunque, in particolare dai motori di ricerca.

Ci sono aziende che offrono hosting a bassissimo costo, che bloccano il traffico ai siti, in particolare il traffico proveniente dai bot di motori di ricerca. Il problema è che spesso si sceglie la strada più facile e veloce, scegliendo di bloccare i robots che rispettano la direttive del file robots.txt – appunto i motori di ricerca.

Potresti trovarti in questa situazione a tua insaputa.

Molti SEO configurano la Search Console (quella che veniva chiamata il Webmaster Tools) per avere delle informazioni tecniche e di performance del sito. Solo alcuni attivano anche il WebmasterTools del motore di ricerca Bing che offre informazioni e funzionalità diversa da quelle di Google. Ci sono diverse aziende di hosting che si comportano così ed è per questo che suggerisco di accedere alla Search Console di Google e verificare la possibilità che ha Googlebot di accedere tramite la funzionalità “fetch as Googlebot”, verificando così che l’accesso al sito non è interdetto a Google a livello server.

Potrebbero decidere di bloccare anche altri bot oltre quelli di Google e Bing. La gestione degli accessi al sito è gestito a livello di firewall posizionato davanti al server… in questo modo il webmaster non può accorgersi del problema. Le conseguenze possono essere molteplici:

• potresti essere escluso da Yandex e/o Baidu;
• il posizionamento nel Search Explorer di Majestic potrebbe essere penalizzato;
• potrebbe essere preclusa la visibilità dei tuoi feed essendo bloccato anche il bot http://www.google.com/feedfetcher.html
• potrebbe essere stato inibito l’accesso anche ad MSN Bot il media bot di Microsoft
• Siti WordPress potrebbero essere estromessi dai news feed

Ci sono moltissimi data set che utilizzano i segnali tratti dai bot di Google: in sostanza ci sono moltissime opportunità di traffico che derivano da un corretto e libero accesso al sito da parte dei bot dei motori di ricerca e di altre entità che indicizzano contenuti – il fatto che queste opportunità debbano essere precluse a priori (a tua insaputa) è del tutto ingiustificato ed ingiusto.

È possibile verificare questa eventualità dai log file del sito?

Poco probabile. Essendo il blocco a monte del sito (a livello di firewall posto davanti al server) la risposta inviata ai bot non sarà di tipo 404 0 500, bensì 403. La verifica va fatta dall’esterno.

L’Autenticazione del sito in Majestic

È altamente consigliabile e ci vogliono pochi minuti per accedere al tuo account di Majestic e seguire la procedura di autenticazione. Se non riusciamo ad accedere con il nostro bot potrebbero esserci problemi anche per gli altri. La maggior pare delle aziende non praticano questo filtraggio del traffico ma noi ne abbiamo individuato un paio piuttosto grandi a cui non interessa o non sanno che queste pratiche possono seriamente danneggiare il tuo business.

Perché dovrei fare indicizzare il mio sito da Majestic?

È una domanda legittima. Tieni presente che inibendo l’accesso al nostro crawler al sito non lo nascondi dal momento che noi mostriamo i link entranti VERSO il tuo sito. Non abbiamo bisogno di effettuare l’acceso al tuo sito per sapere che esiste. Osservando una mappa non possiamo dire quant’è grande una località ma possiamo fare delle ipotesi sulla sua importanza e le sue dimensioni in base al numero di strade che ci affluiscono. Il concetto è analogo con il link graph – in pratica quello che non sappiamo è la mappatura dei link uscenti verso altri siti.

Quindi non ci sono particolari benefici nel bloccare l’accesso al nostro bot ma ci sono benefici nell’autenticazione:

• La procedura di verifica è gratuita ed è veloce. Permette la creazione di report avanzati per il tuo sito senza alcun costo di indubbio valore ai fini SEO con informazioni difficilmente reperibili altrove su Internet.
• Nel valutare opportunità di networking, webmaster alla ricerca di potenziali partner, non vedendo alcun link proveniente dal tuo sito, potrebbero ignorare la tua esistenza.
• Non dimenticare che noi siamo anche un motore di ricerca. Pur sapendo che non sarà un motore di ricerca tra i più utilizzati siamo uno dei crawler più grandi al mondo con delle API per fare le ricerche (in via di definizione). È facilmente intuibile come queste API, nel momento in cui verranno rese pubbliche, saranno utilizzate da moltissime aziende…
• Non pensiamo che Majestic possa diventare un motore di ricerca per l’utente finale, ma siamo tra i primi 1.000 siti web per popolarità su Alexa, quindi è possibile ed assai probabile che tu possa godere di traffico proveniente da Majestic
• Noi mostriamo gli errori 404 ed altri tipi di errore e link provenienti da siti di terze parti – tutte opportunità di traffico

Verifica gratuitamente il tuo sito all’indirizzo https://it.majestic.com/webmaster-tools e fai lo stesso per i siti dei tuoi Clienti.

Non posso effettuare l’autenticazione di un cliente, posso verificare l’accesso?

Si ed è semplice – basta avere un account di Majestic. Effettua il login e scrivi il nome de dominio che vorresti verificare. Quindi clicca sul tab “Pagine” Se tutte le pagine sono elencate come “403 Forbidden” hai la quasi certezza che il tuo host sta bloccando i bot.

Cosa fare se devo pagare per la banda?

La maggior parte delle aziende di hosting non prevedono una tariffazione a traffico, anche se per i siti più grandi questo si verifica spesso. Con ogni probabilità costa di più bloccare i bot legittimi come il nostro. Per concludere, bloccare il nostro bot implica quasi sicuramente una limitazione di traffico di utenti dal momento che le nostre applicazioni sono utilizzate da moltissime applicazioni web. Tuttavia se il consumo di banda è una preoccupazione, la soluzione migliore è l’uso della protocollo “crawl Delay”.

Come si effettua l’autenticazione del mio sito con il vostro Webmaster Tools?

Basta fare il login con un account GRATUITO e seguire la procedura illustrata qui.

Back