首先，我们搭建好一个网站后，准备网站优化之前，为什么要设置robots，究竟robots有何作用，有什么好处呢？那什么是robots文件？答：robots是站点与spider沟通的重要渠道，站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。为了避免站长在设置robots文件时出现，百度站长平台特别推出了robots工具，帮助站长正确设置robots。
以下在网站优化中误封Robots的问题后，该如何处理？解决方法如下：
1、修改Robots封禁为允许，然后到百度站长后台检测并更新Robots。
2、在百度站长后台抓取检测，此时显示抓取失败，没关系，多点击抓取几次，触发蜘蛛抓取站点。
3、在百度站长后台抓取频次，申请抓取频次上调。
4、百度反馈中心，反馈是因为误操作导致了这种情况的发生。
5、百度站长后台链接提交处，设置数据主动推送（实时）。
6、更新sitemap网站地图，重新提交百度，每天手工提交一次。
以上处理完，接下来就是等待了，万幸，2天的时间数据开始慢慢回升，到第3天基本回升到正常状态！关于robots最后需要说明的是：百度会严格遵守robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则robots协议无法生效。
