Bundesamt für Sicherheit in der Informationstechnik

Robots Exclusion Standard v1.0

Datum 01.08.2012

Titelbild zu BSI- Cyber-Sicherheitsempfehlung: Robots Exclusion Standard v1.0

Die Ergebnisse in Suchmaschinen werden insbesondere durch den Einsatz von Webcrawlern und Bots generiert. Aus der Sicht von Webseiten-Betreibern muss jedoch sichergestellt werden, dass nur diejenigen Inhalte gefunden werden, die auch für die Öffentlichkeit bestimmt sind. Die vorliegende BSI-Empfehlung beschreibt dazu Einsatz-Szenarien und Grenzen des Robots Exclusion Standards.

Hinweis zur Verwendung von Cookies

Um unsere Webseite für Sie optimal zu gestalten und fortlaufend verbessern zu können, verwenden wir Cookies. Durch die weitere Nutzung der Webseite stimmen Sie der Verwendung von Cookies zu. Weitere Informationen hierzu erhalten Sie in unserer Datenschutzerklärung.

OK