# robots.txt fuer http://www.deutsche-gesundheitsauskunft.de
# Anleitungen udn Regeln finden Sie am Ende des Dokuments

User-agent: *
Disallow: /cms/apotheken/
Disallow: /cms/typo3/
Disallow: /cms/fileadmin/
Disallow: /cms/typo3conf/
Disallow: /cms/uploads/
Disallow: /cms/suche/

Allow: /

# DIE REGELN 

# Disallow:/
# Gesamte Präsenz soll nicht gecrawlt werden

# Disallow: /*?
# Seiten, die ein Fragezeichen in der URL enthalten, sollen nicht gecrawlt werden

# Disallow: /verzeichnis/
# Allow: /verzeichnis/datei.htm
# Crawle verzeichnis nicht ausser datei.htm

# Disallow: /*.doc$
# Alle Dateien mit der Endung .doc sollen NICHT gecrawlt werden

# Disallow: /*?
# Allow: /*?$
# Alle Dateien nicht crawlen, die ein Fragezeichen enthalten. 
# Dateien, welche direkt mit einem Fragezeichen enden, sollen hingegen indexiert werden

# Disallow: /nein*/
# Alle verzeichnisse die mit nein beginnen ( /neinsagen/, /nein-meinen/ etc.) vom Crawling ausschliessen