Majestic è sempre alla ricerca di opportunità di avere dei rapporti con le Università ed ha sponsorizzato il primo Hackathon, BCUHack.
È stato un onore partecipare, abbiamo riscontrato un livello di preparazione molto alto, considerando che molti dei partecipanti erano matricole e che non avevano mai partecipato ad iniziative come questa. In palio 4 Raspberry Pi “starter kit” che sarebbero andati al miglior hack utilizzando l’API di Majestic, il che potrebbe essere alla base dell’adozione della nostra API.
Una delle applicazioni proposte è stata Codeacation. Utilizzando l’API ed il connettore PHP l’applicazione analizza e valuta siti web che aiutano nell’apprendimento di linguaggi di programmazione, generando una graduatoria basata sui valori delle metriche di flusso di Majestic.
Altra applicazione è stata del Team JILL BCUHack che hanno integrato le funzionalità di Majestic con YouTube per individuare risorse su un determinato argomento per poi individuare utenti Twitter con interessi simili.
UnManned è un hack partito con qualche difficoltà per arrivare bene alla fine dell’evento con un sito che acquisisce le metriche dei siti. Education Hub ha tentato di utilizzare l’API Majestic per il calcio!
Gli altri due partecipanti hanno presentato delle idee diverse ed originali e siamo stati indecisi fino all’ultimo momento su chi si sarebbe aggiudicato il premio. Il team di iPiWatchPhone ha creato un’API che sfrutta la geolocalizzazione per individuare località nelle immeditate vicinanze utilizzando l’API di Google Places. Utilizzando questa list, è possibile individuare le potenzialità delle aziende identificate. Il gruppo ha esteso l’applicazione dandone una rappresentazione visiva mediante applicazione mobile utilizzando Raspberry Pi connesso ad un display LED con la possibilità di poter rappresentare i dati anche su un iWatch!
Con tanta creatività, fantasia e capacità, s’intuisce che è stata una decisione difficilissima ma alla fine ha prevalso il Team Sapphire. Hanno realizzato una procedura ingegnosa per indovinare i 500 siti che potrebbero interessare scelti tra i Majestic Million (il milione di siti più autorevoli di Majestic) chiamata crawlr. Attraverso un meccanismo di swipe bidirezionale (destra/sinistra) si crea un profilo di topical trust flow degli argomenti che più interessano a chi utilizza l’applicazione. La loro soluzione era multi-tiered e ben strutturata con l’uso di uno script Python che faceva le screenshot dei siti ogni 10 minuti nel loro database.
Max del Team Sapphire ha dichiarato:
“Quando l’utente fa swipe a destra nell’app, l’API chiama l’API di Majestic per GetRefDomains e a quel punto aggiungiamo 5 domini che non sono nel database che sono analizzati ulteriormente quando il poller è utilizzato per pescare informazioni di un sito web (ad esempio, no title) – utilizziamo urllib2 di Python per acquisirlo e popolare il database.”
Questa è una screenshot ed un eccezionale video che illustra le funzionalità di crawlr in azione:
Abbiamo avuto modo di parlare con i ragazzi del team Tom Bofry, John Hayes and Max Maton (da sinistra verso destra nella foto) dell’Università di Birmingham City dopo la cerimonia di premiazione e formulate alcune domande:
Come vi è venuta l’idea di crawlr?
Non è chiaro come sia maturata l’idea. Da quello che ricordo ci siamo seduti a tavolino ed è stata la seconda o terza idea che io [Max] ho proposto al gruppo e che è piaciuta sia a John che Tom: sapendo che non c’era tempo da perdere abbiamo iniziato a lavorare! Ricordo di aver pensato ai siti che utilizzo abitualmente (reddit, arstechnica, y-combinator, facebook, and bbc news) e che mi sarebbe piaciuto individuare altri siti simili da introdurre nella mia routine.
A Majestic il prodotto finito ha destato molto interesse, ve lo aspettavate quando avete iniziato con lo sviluppo?
Siamo soddisfatti del risultato, considerando il tempo a disposizione. Inizialmente Tim ha impostato la UI prevedendo funzionalità aggiuntive come “siti simili” e “siti che mi piacciono” ma non c’è stato il tempo per sviluppare le chiamate API e per questo abbiamo mancato il nostro obiettivo iniziale ma il front-end è riuscito decisamente meglio di quanto ci aspettavamo. Tom ha fatto un lavoro eccezionale e senza sosta fermandosi solo per dirci di non rompere l’API!!
Se aveste più tempo a disposizione come sviluppereste crawlr?
A me sarebbe piaciuto tanto fare il crawling delle 5 pagine più importanti e prelevare uno snippet del testo (probabilmente i primi N paragrafi di testo dopo il primo H1) per poi processarli con il Watson Personality Identifier della IBM – avremmo potuto estrarre delle informazioni per capire se il sito è aperto, liberale, positivo o negativo, conservativo, oppure arrabbiato, ecc. Questo ci aiuterebbe a focalizzare ancora di più la nostra attenzione.
È la prima volta che partecipate ad un hackathon, e se no a quale altre iniziative come questa avete preso parte?
Questo è il mio secondo hackathon – ho partecipato ad un evento simile sul tema machine learning a Rapallo in Italia sponsorizzato da un’azienda dove ho fatto lo stage. Lì abbiamo utilizzato Watson’s cognitive advisor per individuare un insieme di risultati sulla base della lingua dell’utente per sviluppare un piccolo motore di ricerca. Mi sono divertito tantissimo partecipando a questo evento perché abbiamo tutti la stessa età, le stesse passioni e tanto entusiasmo! Abbiamo dormito a turno (molto poco a dire il vero) e c’era tanto entusiasmo e passione nel lavoro che si stava facendo.
Quali altri Hack ti sono piaciuti di più?
Mi è piaciuta la prospettiva di poter combinare software “geo-aware” con l’analisi del dominio per sviluppare un ranking di aziende vere che sono sul territorio, credo che l’approccio ha molto potenziale (e può essere utilizzato anche all’inverso – se un negozio ha un buon sito e sta andando bene perché non premiarlo con un ranking migliore?) Dopo una lunga conversazione coi ragazzi che hanno sviluppato l’app educativa (Team Jill) ho apprezzato le loro grandi idee ed entusiasmo che potrebbero avere un impatto importante sull’apprendimento a distanza (lo vedo molto bene come implementazione nei corsi aperti delle università)
——————————————————————————————————————————————————
È stato un vero piacere conoscere Max, Tom e John e vedere che cosa sono stati capaci di produrre con i dati di Majestic.