1、方法一1 第一种方法需要我们使用robotstxt屏蔽百度蜘蛛抓取下图所示页面2 屏蔽效果如下图所示3 除此以外，我们也可以通过使用robotsMeta标签，屏蔽搜索引擎抓取，在头部加入下图红框所圈代码即可4 屏蔽代码如下图所示方法二1 通过使用htaccess，将下图红框所圈代码屏蔽2 然后再。

2、3联系百度管理人员，信箱地址为webmaster@baiducom，用网站联系人信箱发电邮，如实说明删除网页快照的情况，经百度核实后，网页停止收录抓取4登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧，发个帖子，表明删除网页收录网站快照的原因，当百度管理人员，看到会给予处理如何禁止Google搜索引擎收录。

3、若不希望在网站日志中出现MJ12bot蜘蛛的访问记录，可直接在robotstxt文件中将其屏蔽由于MJ12bot蜘蛛遵循robots协议，此操作即可实现对其的屏蔽屏蔽代码如下。

4、Disallow 目录名字 说明这里设定禁止蜘蛛抓取的目录名称例如，想禁目Msn蜘蛛抓取admin文件夹，可以设代码如下Useragent Msnbot Disallow admin 五设定某种类型文件禁止被某个搜索引擎蜘蛛抓取，设置代码如下UseragentDisallow *htm 说明其中“htm”，表示禁止搜索引擎蜘蛛抓取。

5、搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为robotstxt的纯文本文件，它用于指令搜索引擎禁止抓取网站的某些内容或指定允许抓取的某些内容记录格式为lt域lt可选空格lt域值lt可选空格 例UseragentDisallow abcd Allow abef 说明第一行指定下面的规则适用于。

6、Disallowadmin 禁止蜘蛛爬取admin目录Allowadminabchtml“” 表示根目录下，允许蜘蛛爬去admin目录中的abchtml页面两个通配符匹配符”$”和 “*”通配符匹配URL结尾的字符 * 通配符匹配0个或多个任意字符例子1允许所有搜索引擎蜘蛛抓取以某个扩展名为后缀的网页地址，代码如下。

7、网站建设好了，当然是希望网页被搜索引擎收录的越多越好，但有时候我们也会碰到网站不需要被搜索引擎收录的情况比如，要启用一个新的域名做镜像网站，主要用于PPC 的推广，这个时候就要想办法屏蔽搜索引擎蜘蛛抓取和索引我们镜像网站的所有网页因为如果镜像网站也被搜索引擎收录的话，很有可能会影响官网在。

8、robots协议语法由三个部分构成UseragentDisallowAllowUseragent定义了执行特定协议的搜索引擎，例如百度的Useragent设为baiduspider*号则表示适用于所有搜索引擎，其代码为Useragent *Disallow用于指示禁止爬虫抓取的特定链接，如Disallow a 表示禁止抓取以a 开头的链接Allow则表示允许。

9、403状态码象征着一个明确的拒绝信号，它表示访问被禁止或者不被允许当遇到这个代码时，意味着网站可能设置了权限限制，或者网页内容当前不对外公开百度搜索引擎在遇到403返回码时，会采取一定的策略对于新发现的链接，蜘蛛会暂时不抓取，等待一段时间后再重新尝试访问对于已收录的链接，即使被禁止访问。

10、检查一下你的网站robotstxt文件的设置，看看是否禁止了蜘蛛爬行这是常见的原因之一，如果你设置了Disallow*，那么所有蜘蛛都无法抓取你的网站内容另外，确保你的网站没有设置XRobotsTag头信息，这也会阻止蜘蛛抓取有时候，服务器配置或代码中的错误也可能导致蜘蛛无法抓取你可以检查一下你的。

11、看代码，假如代码之前有nofollow这个语法就说明禁止了蜘蛛爬行例如rel=quotexternal nofollowrdquo href=quot 网址quot。

12、这个标签的意思是禁止搜索引擎索引本页面，禁止搜索引擎跟踪本页面链接noindex meta robots标签用于指令搜索引擎禁止索引本页内容，因此不会出现在搜索结果页面中同时，要想让noindex meta robots标签起作用，则首先必须允许抓取，如果搜索引擎蜘蛛不抓取这个页面，它就看不到noindex meta robots标签。

13、导致百度 蜘蛛无法与DNS服务器通信这需要联系DNS供应商处理5404错误 一般情况下 ，当百度蜘蛛访问到不存在的网页因为你删除或重命名了网页且没有将旧网址重定向到新网页，或者链接中存在拼写错误时，就会出现“未找到”状态错误通常是404 错误也会导致抓取失败。

14、网站在发布的时候需要做javascript代码压缩和混淆，这样程序人员就很难通过阅读代码或者捕获请求来建立模拟采集这里说的关键信息，是指那种对业界同行来说比较重要的信息，比如说价格等除了这些关键信息以为的信息就最好不要用ajax请求来显示了，那样不利于SEO优化，搜索引擎的蜘蛛也不能模拟如此复杂ajax。

15、许多站长都说，公司网站不好做，那是因为许多公司网站会在规划上对搜索引擎来说很不友爱，晦气于蜘蛛匍匐和抓取，这些技能被称为蜘蛛圈套所以作为公司站一定要尽量防止蜘蛛圈套榜首FLASH 有的网站整个主页即是一个很大的flash，这就构成了蜘蛛圈套搜索引擎住宅区的html代码只要一个链向flash文件。

16、百度抓取异常的页面的原因有网页不存在服务器无法正常提供信息，或是服务器无法回应，也就是常说的网站404页面具体的解决方法是在网站中设置一个404页面具体的步骤如下1先下载或者根据网站制作一个404错误页面，优化404页面，添加一些导航菜单或者返回首页的超链接2打开网站使用服务器的FTP。

17、C如果jscss等如果对蜘蛛判断站点的主体内容有影响，如包含较多网址图片地址有效资源地址文字资源等建议不屏蔽，蜘蛛爬取jscss文件的同时可以爬取里面的内容，并且尽量简单处理，不要采用ajax或多重逻辑判断的代码经过上述处理后，如果发现有价值的jscss抓取次数还是较多，那么建议使用百度的。

18、当搜索引擎蜘蛛准备爬行某个网页的时候，会对服务器发出访问申请，申请通过后，搜索引擎会先去爬行网站的robotstxt文件，针对robotstxt文件中所禁止搜索引擎抓取的局部，搜索引擎将不会去抓取接着服务器就会给搜索引擎返回当前页面的html代码，现在有很多的站长工具中都会有模仿蜘蛛抓取网页代码的功能。