robots.txt
Diese Datei ist meist die erste, die von Crawlern oder Spidern ausgelesen wird, beim Zugriff auf die Seite.In dieser Datei kann man festlegen, welche Teile der Seite wie gelesen werden dürfen.
Verschiedene Dateien und Ordner können für die Robots manchmal ausgeschlossen werden. Trotzdem erscheinen diese URL's manchmal als erfasst.
Die robots.txt muss im Stammverzeichnis liegen.
