网站优化排名中的robots.txt的作用和写法

要知道robots.txt的写法先要了解robots.txt是什么？robots.txt是一种网站与搜索引擎的协议，而不是命令。

robots.txt协议是告诉搜索引擎网站的哪些页面可以收录，哪些页面不能被收录。搜索引擎访问网站第一个要去的地方便是网站根目录下面的robots.txt文件。查看搜索引擎访问的范围是哪些，再决定搜索引擎要访问的内容。

  robots.txt有三种命令，二个通配符。

   三种命令分别是：

   User-agent这个是定义用户代理或者是定义抓取程序。就是说你要定义哪个程序。是百度还是谷歌程序。

   Disallow这个是禁止的意思。

  Allow是允许的意思。

  通配符是*与$。

*是代表0-9的数字，$是定义a-z的字母。

  比如允许所有的搜索引擎来抓取网站内容。

  User-agent: *

  Allow: /

  定义百度禁止抓取ABC目录。

  User-agent: baiduspeide:

  Disallow: /ABC/

  定义百度搜索引擎抓取ABC目录下的123.html

  User-agent: baiduspride

  Disallow: /ABC/

  Allow: /ABC/123.html

  禁止百度抓取所有.jpg图片。

  User-agent: baiduspride

  Disallow: /*.jpg$

  禁止百度抓取全带？的所有页面。

  User-agent: baiduspride

  Disallow: /*?*

　　那么如何访问robots呢案例点击  http://www.ruichuangwangluo.com/robots.txt