为什么要写好Robots.txt文件

博客 > SEO 2019年08月27日 14:03:49

很多站长在上线网站前都不知道写好robots文件，好点的网站空间或成熟的网站程序会自动给你放个robots文件，但毕竟是默认的文件，里面写的内容并不适用于所有网站。

为什么要写好Robots.txt文件

为什么要写好robots文件呢，主要有四点：

一、Robots.txt节省流量

写好robots文件，把需要禁止收录的内容写好，一方面来说节省你自己网站的流量，另一方面也减少蜘蛛的工作量。如：禁止image文件夹，图片对于搜索引擎索引来说没有什么实际意义还浪费了大量的流量。假如是一个图片网站，那流量更是惊人。再如禁止js，css等文件夹，里面的内容都是页面特效有关的，不是网站的内容部分，对搜索引擎也没啥么好处，禁止又何妨。

二、保护网站安全

我们还要把管理目录（admin），数据库，备份目录等设置成disallow，禁止蜘蛛收录，不然被蜘蛛收录了，被别人在搜索引擎上搜到你的安全信息可就危险了。这个也涉及到搜索引擎的robots协议的问题。

三、禁止搜索引擎收录页面

一个网站总有一些不希望被人看到的页面，这时我们可以通过设置Robots.txt来防止蜘蛛对其索引。如前段日子笔者这边的网速慢，更新了一篇文章，结果连续发布了3次，而且全部被搜索引擎收录，怎样办呢？重复的文章对网站优化不友好，这时就可以通过设置Robots.txt来将重复的页面屏蔽掉。

四、Robots.txt引导蜘蛛爬地图

蜘蛛访问网站首先查看的是Robots.txt文件，那么我们能够将网站地图设置进去，更有利于蜘蛛索引最新的信息，而少走许多冤枉路。如我们可以在Robots.txt文件的最下面加上一句：Sitemap: https://www.wusiwei.com/sitemap.xml。

写好robots文件，简单的说，从安全角度就是保护网站安全，从seo角度就是有利于网站优化，从流量来说就是节省流量。

基本写法及注意事项

　　User-agent:* 是必需要写的，*表示针对一切搜索引擎。

Disallow:（文件目录）表示禁止搜索引擎收录的目录

allow：（文件目录）表示允许搜索引擎收录的目录

特别说明，"disallow：" 表示所有目录允许搜索引擎收录。