Wir freuen uns, heute den Start von OpenRobotsTXT bekannt zu geben – einem Projekt zur Archivierung und Analyse der weltweiten robots.txt-Dateien.
Die erste Version der Website openrobotstxt.org ist jetzt online. Bei dieser ersten Version handelt es sich um eine abgespeckte Website, die dem OpenRobotsTXT-Crawler in den nächsten Tagen den Start ermöglichen soll.
(Bei der Einführung neuer Crawler gibt es ein Dilemma, da die Webmaster-Community gerne eine Seite sieht, auf der der Crawler beschrieben wird, um eine Einwilligung zu erleichtern.)
Das Projekt wurde durch einen umfangreichen Datenexport von robots.txt-Dateien gestartet, die vom Majestic-Crawler MJ12bot gesammelt wurden. Dadurch konnten wir die im Internet gemeldeten User Agents analysieren. Die erste Version der Website konzentriert sich auf diese Studie und bietet einen kostenlosen Datensatz (Creative Commons) mit detaillierten Informationen zu den im Internet gefundenen User Agents.
Für die OpenRobotsTXT-Website sind eine Reihe kostenloser Tools und Funktionen geplant. Nach dem Start des speziellen Crawlers werden weitere Updates suchbare Archive, zahlreiche Statistiken und einen besseren Einblick in die Welt von robots.txt bieten.
Weitere Informationen finden Sie unter openrobotstxt.org
- SEO User-Agents in robots.txt nicht erlaubt. Gedanken zur jüngsten Ahrefs-Studie. - June 12, 2025
- Majestic startet Robots.txt-Archiv - June 12, 2025
- Wie man eine SEO-Strategie für AI-Übersichten entwickelt - May 16, 2025