Robots (Crawler, Spider)

Programme, die automatisch das World Wide Web (WWW) durchsuchen und die Informationen auf Webseiten analysieren.

Robots werden häufig von Suchmaschinen eingesetzt, um den Inhalt der durchkämmten Webseiten über eine Verschlagwortung auszuwerten, also zu Indexieren, zu speichern und somit ein späteres Suchen vereinfacht zu ermöglichen. Inhalte im WWW sollten so vorbereitet werden, dass sie einfach, problemlos und vollständig indiziert werden können.