# robots.txt fuer http://www.beispiel.de/ # User-agent: BeispielRobot # Disallow: /temp/ # Die Dateien sind sehr kurzlebig # Disallow: /logfiles/ # Die ändern sich jeden Tag # Disallow: /bilder/ # Bilder nicht downloaden # Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren # Disallow: /news.html # Die news.html ändert sich täglich # Zugriff auf alle Dateien erlauben User-agent: * Disallow: /presse_textonly.asp Disallow: /text_anmeldemail.asp Disallow: /textonly_termine.asp Disallow: /thank_you.asp