robots文件，一个说难不难，说易嘛，真要用到特殊情况的时候也不容易，一个让SEO又爱又恨的东西。比较最近提交robots文件，既不想让蜘蛛抓取我的指定目录，又不想被别人通过robots文件看到我的目录。常见的robots文件无非也就随便allow，disallow一下，当然今天用的这个方法也是巧妙的disallow了一下。不多说，直接上栗子：

User-agent: *
Disallow: /*admi*
Disallow: /*dat*
Disallow: /*inclu*
Disallow: /*instal*
Disallow: /*logrepor*
Disallow: /plus
Disallow: /style
Disallow: /*templet*

这里巧妙的使用了*号，Disallow: /*admi*，意思是包含“admi”的 目录或域名 都不能被抓取，而*admi*，可以是admin，admin123，admin444，admin_2baa ... 可以是无数的可能，所以几乎没人猜得出来，也就相当于禁止别人看到你的目录了，从而起到安全作用。（robots文件参考：http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28）

笔者提交robots文件后，在百度站长后台亲自验证，目录没有问题。该能被访问的都能被访问，不能被访问的也显示不允许。