Au sein de notre nouvelle amitié naissante avec l’Université de Birmingham City et son corps étudiant, Majestic a été honoré de sponsoriser le tout premier Hackaton officiel, le BCUHack.
Nous avons été fiers d’être impliqué et étonnés par le talent sur scène, spécialement car pour de nombreux participants, c’était leur première exposition à un hackaton. Nous avions 4 ‘Kits Starter’ Rasberry Pi disponibles pour le meilleur hack utilisant l’API de Majestic, ce qui a fait parti de la motivation derrière l’adoption étendue de notre API.
Majestic a trouvé sa place au sein d’une utilisation éducative basée sur les hacks, l’un d’eux était le Codeacation qui a utilisé l’API de Majestic et notre connecteur PHP pour noter les sites web qui vous aident à apprendre le langage de programmation et générer des notes pour ces sites basés sur les métriques de flux de Majestic.
Un autre hack a utiliser l’API de Majestic a été l’équipe de Jill BCUHack qui a combiné Majestic à Youtube pour collecter de nombreuses ressources autour d’un sujet précis et ensuite lier aux utilisateurs Twitter avec des intérêts similaires.
UnManned a été un hack qui a eu quelques difficultés au début de l’événement mais qui a finit en force avec un site pour récolter les métriques de Majestic pour un site donné, et le Education Hub a essayé d’utiliser l’API de Majestic d’une façon innovante au sein d’un match de football (ou soccer pour nos amis américains!).
Les deux autres hacks a utiliser Majestic l’ont fait tout deux d’une façon différente et excitante si bien que nous avons été tiraillé pour attribuer le prix. L’équipe de iPiWatchPhone a créé une API qui a utilisé un lieu pour recevoir des lieux proches de vous depuis l’API de Google Places. Depuis cette liste de sites web, ils ont pu ensuite analyser l’entreprise utilisant les données du Topical Trust Flow de Majestic et voir la force du secteur d’activité de chaque entreprise. Et par dessous tout, le groupe a fabriqué une application mobile pour montrer cette fonctionnalité, en utilisant un Raspberry Pi couplé à un affichage LED et en utilisant une iWatch pour y montrer les données !
Nous pouvons certainement comprendre pourquoi nous avions des problèmes pour choisir un gagnant mais l’équipe Sapphire a été le vainqueur. Ils ont construit un outil à la Tinder pour découvrir qui parmi les 500 meilleurs sites du Majestic Million une personne était susceptible d’aimer, en l’appelant crawlr. Ils ont utilisé un mouvement de slide gauche/droite pour créer un profil de Topical Trust Flow du type de choses susceptibles de vous intéresser. Ils ont eu une solution très bien construite et à plusieurs niveaux qui incluait même un script Python pour décrocher des captures d’écrans mises à jour toutes les 10 minutes pour les sites web de la base de données.
Max de l’équipe Sapphire ajoute:
“Quand l’utilisateur va vers la droite sur l’application, l’API appelle l’API de Majestic pour le GetRefDomains, nous ajoute ensuite 5 des domaines qui ne sont pas déjà dans la base de donnée au tableau du site, qui sont scannés la prochaine fois que le vote sera en train de récolter les informations du site et prend une capture d’écran du site. Si l’API de Majestic a des informations non mises à jour pour un site web (par exemple, pas de titre), nous utilisons le urllib2 de python pour le récolter et peupler la base de donnée.”
Voici une capture d’écran et une fantastique vidéo qui montrent crawlr en action:
Nous avons pris des nouvelles de l’équipe gagnante de Tom Bofry, John Hayes et Max Maton (de gauche à droite) de l’université de Birmingham City et après la remise des prix nous leur avons posé quelques questions:
Comment vous est venue l’idée de crawlr ?
Je ne suis plus très sûr de comment nous est venue l’idée. Mais je suis presque sûr que nous étions assis et que c’était la deuxième ou troisième idée que je (Max) lançais. John et Tom l’ont aimé et nous savions qu’elle était la pression sur nos épaules donc on a juste commencé ! Je me rappelle encore penser que j’utilise seulement 5 sites de façon régulière (reddit, arstechnica, y-combinator, facebook et la bbc news) et je me suis dit qu’il serait sympa d’en découvrir d’autres similaires pour lesquels je pourrai être intéressé.
Chez Majestic, nous pensons tous que les résultas finaux ont été fascinants, pensiez-vous que le projet serait si bon quand vous avez commencé ?
Nous sommes très content du résultat en considérant les contraintes de temps. Initialement, Tom avait réalisé un mockup de l’interface utilisateur pour des fonctionnalités complémentaires comme “Sites recommended to me” et “Sites I like”. Cependant, je n’ai pas eu le temps de les ajouter aux appels de l’API donc nous n’avons pas complètement atteint notre but mais le front-end a définitivement dépassé nos attentes. Tom a réalisé un travail incroyable, il s’est atelé à la tâche, venant nous voir simplement pour nous dire d’arrêter de casser l’API !
Si vous aviez eu plus de temps, qu’auriez vous ajouté à crawlr ?
J’aurai personnellement adoré crawler le top 5 des pages de sites web, en prenant un extrait de chaque texte de page (peut-être les x premiers paragraphes après le premier H1) et les lancer dans l’identifieur personnel de Watson IBM – nous aurions alors pu avoir des personnalités indexées attachées à chaque site qui nous auraient permis de dire si le site était ouvert, libéral, heureux ou fermé d’esprit, conservateur, triste, etc. Cela nous aurait aidé à restreindre notre recherche.
Est-ce votre premier hackaton, et si non, quels autres avez-vous fait ?
C’est mon deuxième hackaton – j’ai participé à un hackaton sur le machine learning à Rapallon en Italie, tenu par l’entreprise dans laquelle je travaillais lors de mes jobs étudiants. Nous avons utilisé le principe cognitif de Watson pour réduire un sous-ensemble de résultats de recherche basés sur le langage naturel d’utilisateurs afin de construire un petit moteur de recherche. J’ai vraiment aimé ce hackaton parce que nous avions tous le même âge, le même talent et étions vraiment enthousiaste ! Nous avons dormi à tour de rôle (bien que très peu) et y avons mis beaucoup d’énergie.
Quels autres hacks vous impressionnent le plus ?
J’ai vraiment aimé la perspective de combiner des logiciels geo-conscients à des domaines d’analyse pour un réel positionnement business mondial. Je pense qu’il y a tellement de potentiel (aussi bien dans le cas contraire – si un magasin a un super site et se débrouille bien en physique, pourquoi ne pas le booster dans les résultats des moteurs de recherche ?). Après avoir pas mal discuté avec les gars (Equipe Jill) qui ont construit l’application éducative, j’ai vraiment aimé leur enthousiasme et leurs grandes idées. Elle pourrait certainement avoir un impact sur l’apprentissage à domicile (je l’imagine implémentée dans des cours d’université ouverts).
——————————————————————————————————————————————————
Nous avons adoré rencontré Max, Tom et John et voir ce qu’ils ont pu réaliser avec les données de Majestic.