# /robots.txt file for http://webcrawler.com/# mail webmaster@webcrawler.com for constructive criticsmUser-agent: webcrawlerDisallow:User-agent: architextDisallow:User-agent: *Disallow: /logs<!-- wird als .txt datei neben der index-datei gelegt -->