SEO Audit: Perché Verificare un sito con Majestic

SEO Audit con il Webmaster Tools di Majestic

Il SEO Audit è un momento di verifica delle performance di un sito: una caduta improvvisa del traffico, oppure la rivisitazione dell’architettura sono momenti in cui è necessario una verifica approfondita di tutti i fattori on site ed off site che concorrono allo sviluppo della visibilità organica.

Il punto di partenza di qualunque audit è il webmaster tools. Majestic ha un suo webmaster tools ed in questo post vengono presentati i motivi per cui è importante/opportuno utilizzare la Google Search Console di Majestic.

Il Blocco dei BOT Buoni dal tuo sito

In un’industria dove il prezzo sembra (ai più) l’unico fattore importante, aziende che offrono connettività fanno di tutto per contenere i costi agendo anche sul consumo di banda: i web bot (detti comunemente BOT), possono generare molto traffico che si può “tagliare” senza che l’utente finale se ne accorga. Ed il traffico che si taglia è (spesso) quello dei BOT BUONI ovvero di quei BOT che si presentano qualificandosi e che obbediscono alle regole specificate nel file robots.txt.

Non è il caso dei più, ma ci sono alcuni casi in cui abbiamo verificato che questo accade (da cui questo post). Una verifica può essere fatta da chiunque abbia accesso al WMTs di Google: nel menu di navigazione a sinistra cliccare su
Scansione quindi Visualizza come Google. Lo stato del recupero della pagina deve risultare “Riuscita”.

I BOT vengono bloccati non dal robots.txt, bensì a livello di firewall dall’host – quindi l’accesso al sito potrebbe essere inibito a motori internazionali come ad esempio Yandex oppure Baidu: potrebbero bloccare il Google feed fetcher. Ci sono anche i BOT di Bing.

Questa politica se applicata a siti che hanno feed (pensiamo a tutti i blogs WordPress) e che comunicano l’aggiornamento del blog attraverso il servizio PINGOMATIC – se questo viene inibito a livello di host il feed non verrà rilevato.

Verificare l’Host

In casi come questo appena descritto l’host darà un errore 403 (non un 404 oppure un 500) – il blocco avviene prima di arrivare nel sito.

Valida il tuo sito con Majestic

La validazione con Majestic è un processo identico a quello che si fa con i Google WMTs, anzi è più semplice perché Majestic utilizza le credenziali di Google – ci vogliono pochi secondi per completare la validazione. In questo modo siamo autorizzati ad indicizzare il sito e se non riusciamo ad accedere allora ci deve essere un qualcosa che impedisce l’accesso.

Perché validare con Majestic è utile

Bloccare l’accesso ai BOT di Majestic non implica l’assenza del sito nel nostro database, ti avremo sicuramente individuato, ma con delle limitazioni: è un po come vedere una città sulla cartina: non sai quant’è grande a priori ma s’intuisce qualcosa dal numero di strade e di collegamenti afferenti. Così per il sito web – noi sappiamo quanti sono i link entranti ma non abbiamo una mappatura di quelli uscenti (sempre nel caso in cui tu dovessi eleggere di escludere i BOT di Majestic).

I Vantaggi della Validazione

• facilità nell’implementazione, ti offre report avanzatimolto interessanti
• La presenza della mappatura dei tuoi link uscenti verso altri siti: un segnale importante per chi è alla ricerca di opportunità di networking con altri siti (opportunità di linking – di qualità)
• Majestic è di fatto un motore di ricerca e presto ci saranno degli sviluppi molto interessanti con la disponibilità di API con cui aziende partner svilupperanno applicazioni – è bene esserci.

In sostanza la validazione di un sito con Majestic completa il modello del web offrendo una visione d’assieme del sito.

La validazione del sito con Majestic è gratuita – se sei un Webmaster e/o SEO puoi farlo anche per i siti del tuoi Clienti.

Se non puoi validare i siti dei tuoi Clienti…

Anche in questo caso è possibile stabilire se l’accesso da parte dei BOT è negato al nostro crawler collegandoti al tab pagine: se tutte le pagine sono indicizzate e riportano la voce “403 Forbidden” è molto probabile che l’host stia negando l’accesso ai crawler, in particolare al crawler di Majestic.

La soluzione al problema

Beh un host che ricorre a questo tipo di strategie per risparmiare sui costi della connettività quanto meno pecca di scarsa trasparenza e tutto sommato avrei dei seri dubbi sul continuare ad avvalermi di loro come partner. Puoi cercar di gestire gli accessi al sito da parte dei motori di ricerca con il “Crawl Delay” protocol nel file robots.txt per minimizzare il consumo di banda.

Articolo scritto da Dixon Jones e traduzione libera dell’a cura di: Sante J. Achille