User-agent: * Disallow: /admin/ Disallow: /include/ Disallow: /config.php
Disallow: /content/uploadfile/
在GOOGLE看了看，发现蜘蛛爬行了UPLOADFILE这个目录，目录的的图片文件被找了出来，决定禁止蜘蛛爬行，以够消耗流量。
发表评论