# Webcrawler können auch durch Meta-Tags im HTML-Quelltext einer Webseite am Indexieren
# gehindert werden. Auch Meta-Tags sind rein hinweisend, benötigen die Mitarbeit 
# „freundlicher“ Webcrawler und garantieren keine Geheimhaltung. Soll der Suchroboter 
# die Webseite weder in den Index der Suchmaschine aufnehmen, noch den Hyperlinks der 
# Seite folgen, lautet der Meta-Tag
#
#    <meta name="robots" content="noindex,nofollow"> 
#
#
#
#
#
# Datei robots.txt muss ins Stammverzeichnis
# Ganze Site für alle Robots sperren
User-agent: *
Disallow: /