robots文件的用法和robots.txt的写法

robots文件的用法和robots.txt的写法

我们说robots.txt是站长和搜索引擎交互的重要工具之一。

是我们向搜索引擎传递站点信息重要手段。

那么robots文件是怎么用的？robots.txt的写法是怎么样的？

robots文件的常见用法如下：

1、可以告诉搜索引擎哪些URL是可以收录的。

2、可以屏蔽的站点死连接，错误连接。

3、可以屏蔽网站上存在一些比较大的文件、比如：打包文件、大图片文件、音乐文件、或电影

文件、日志文件夹等等。因为这些文件可能让你的流量过大，占用过多宽带

robots.txt的写法：

首先：robots.txt的命名，都应该是小写。

robots.txt文件中一般至少要包含一个Disallow：

如果都允许收录，你可以写一行Disallow:/searchABC.html

这个文件(searchABC.html)本来就不存在也没关系。

你可以查看Seoer365的robots文件！http:www.seoer365.com/robots.txt

robots.txt写法格式：

User-agent: *
Disallow: /searchABC.html
Disallow: /index.asp?
Disallow: /Images/

User-agent: * 星号说明，允许所有的搜索引擎来收录

Disallow: /search.html  说明不允许收录 /search.html 这个文件

Disallow: /index.asp?  说明不允许收录以index.asp?为前缀的链接如：index.asp?

boardid=1、index.asp?/search等等。

Disallow: /Images/  说明不允许收录/Images/里的所有文件。但可以收录如：/Images.asp 的链接。

这里是我们在SEO中常用的写法。如果你想了解更多可到百度官方网站查看：

http://www.baidu.com/search/robots.html

相关疑问
如果没有robots文件要不要紧？
我们说搜索引擎用来爬取网页内容的工具我们称之为搜索引擎机器人，搜索引擎机器人每次来到要抓取的网站，都会先访问这个网站根目录下的一个文件（robots.txt），如果不存在该文件，则搜索引擎机器人默认这个网站允许其全部抓取。不过我们建议网站要有自己独特的robots文件，这样搜索引擎会觉得比较正规！