Bundesamt für Sicherheit in der Informationstechnik

Robots Exclusion Standard v2.0

Datum 11.07.2018

Titelbild zu BSI- Cyber-Sicherheitsempfehlung: Robots Exclusion Standard v1.0

Die Ergebnisse in Suchmaschinen werden insbesondere durch den Einsatz von Webcrawlern und Bots generiert. Aus der Sicht von Webseiten-Betreibern muss jedoch sichergestellt werden, dass nur diejenigen Inhalte gefunden werden, die auch für die Öffentlichkeit bestimmt sind. Die vorliegende BSI-Empfehlung beschreibt dazu Einsatz-Szenarien und Grenzen des Robots Exclusion Standards.