Wie Google und andere große Suchmaschinen eine Website sehen und analysieren ist kein Geheimnis. Um die Präsenz einer Website auf Google zu erhöhen, muss zunächst einmal bekannt sein, auf welche Weise die Website von den Robots durchsucht und indiziert wird.

Dazu gibt es die Crawling-Informationen: Man sollte sich vergewissern, dass der  Zugriff auf eine Site grundsätzlich möglich ist, und sich den Zeitpunkt des letzten Googlebot-Besuchs anzeigen lassen. Dann kann man sehen, welche URLs beim Crawling Probleme bereiteten, und auch aus welchen Gründen. Die eventuell auftretenden Probleme, die das Indizieren einer Seite verhindern, können so gezielt behoben werden.

Prüfen und beachten Sie die Möglichkeiten der Robots.txt, die im root-Verzeichnis deponiert sein sollte. Wichtig ist eine Dateivalidierung: Prüfen Sie, ob Fehler in Ihrer Datei auftreten. Sie können die Änderungen in der Datei auch testen, bevor Sie die Datei auf dem Server ändern.

Content der Website, Sitemap: Zeigen Sie den beliebtesten Content Ihrer Website gesammelt an, über die andere Websites mit Ihrer Website verknüpft sind.

Professionelle Suchmaschinenoptimierung kann auch dabei hilfreich sein!