#########################################################
# Fichier autorisant ou non la visite des robots de recherche Web
#########################################################
# Pour connaitre les visites d'un robot, le serveur
# doit supporter les User-agent
# Rem: Pour limiter les robots au niveau des pages HTML, utiliser :
# <META NAME="ROBOTS" CONTENT="INDEX|NOINDEX,FOLLOW|NOFOLLOW">
#
# Nom des robots (* pour tous) et restrictions
#
#########################################################


User-agent: *
Disallow: /files/
Disallow: /files/Divers/Postit/Codes et adresses Libre.txt
Disallow: /files/Divers/Postit/Codes et adresses NLTechno.txt
Disallow: /files/Divers/Postit/Codes et adresses Perso.txt
Disallow: /cgi-bin/awredir/awredir.pl
Allow: /
Crawl-delay: 2

User-agent: Googlebot
Disallow: /files/
Disallow: /cgi-bin/awredir/awredir.pl
Crawl-delay: 2

User-agent: Slurp
Disallow: /files/
Disallow: /cgi-bin/awredir/awredir.pl
Crawl-delay: 10