Robots协议是什么？robots协议算是蜘蛛访问网站的一个开关，决定这搜索引擎蜘蛛可以来抓取网站的哪些内容，哪些是不可以抓取的内容。从网站管理者的角度来分析，我们通过robots的书写，可以决定让蜘蛛抓取哪些文件，而哪些文件是不让抓取的，这样，从而更有利于网站的整体优化。
一、robots协议它有什么用处？
Robots是站点与spider蜘蛛沟通的一个重要渠道，站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。要注意的是，robots文件不是随意来设置的，只有当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件进行提交。对于站长而言，出于对网站SEO优化的要求，需要通过书写robots协议来限制蜘蛛抓取某些不参与排名或不利于排名的文件。在某些情况下，如果不限制蜘蛛抓取特定的文件，就会有可能导致网站保密信息的泄漏。
针对robots文件设置的重要性，来讲一个案例，曾经有一个高校网站因为没有设置好robots协议，导致学生的一些大量保密信息被蜘蛛抓取而公布到网上。这么一个严重的后果，如果假如是一个商业性网站，会员信息被公开后，网站的后果是非常严重的。因为我们站长在管理网站的过程中，所以要注意robots协议的书写。
Robots是站点与spider沟通的关口，蜘蛛在访问网站之前，首先要找到robots.txt协议，搜索引擎蜘蛛通过阅读robots决定抓取哪些内容，不去抓取哪些内容。当然，这个协议需要搜索引擎各方遵守才行，否则写得再好的robots.txt也是白扯的。
二、Robots协议的书写策略：
了解上面的用处以外，我们就来说下robots协议的书写策略。我们允许或禁止抓取哪些内容，都是要结合网站SEO优化来决定。而这些内容主要包括：
1、网站有哪些比较隐私保密的内容；
2、分析网站哪些是不参与排名的内容，例如“MEMBER（会员）”文件、“Templates（模板）”文件、数据库文件、插件文件，登陆后台等等；
3、中文链接/路径、404错误页面、垃圾页面、重复页面。
更多有关robots文件如何规范的书写，请看百度站长平台的详细解答：http://zhanzhang.baidu.com/college/courseinfo?id=267&page=12#h2_article_title28
