新手建站以后，对于蜘蛛引擎的关注必然不会少，因为大家建网站的目的就是做SEO关键词排名，最终以流量为导向，所以，希望蜘蛛更多的爬取自己网站！

但是，很多人观看自己的网站日志文件的时候，会发现有部分蜘蛛引擎，会经常爬取自己的网站，比如说，YandexBot 爬虫蜘蛛！

YandexBot 爬虫蜘蛛(俄罗斯蜘蛛)，网站是否要屏蔽抓取？

这是俄罗斯的一家搜索引擎，我们一般把YandexBot 爬虫蜘蛛叫做俄罗斯蜘蛛，如果你建设的是中文站，基本上这个蜘蛛是可以屏蔽的！

有人会有疑问，建站之后，越多蜘蛛爬行，证明网站的价值越高，为什么要屏蔽这些蜘蛛呢？

为什么要屏蔽YandexBot？

因为我们的网站针对的是国内的搜索引擎，比如百度、搜狗、360这些，除非你做的是外贸网站，对于国外的蜘蛛引擎来说，有必要抓取！才不用屏蔽！

当然，如果只是这些蜘蛛引擎对于我们网站的关键词和流量没有帮助的情况下，我们也可以不屏蔽，但是为什么我要强调必须屏蔽呢？

因为，这些无用蜘蛛在爬行网站的时候，也是要浪费你的网站服务器资源的，占用你的CPU，大量蜘蛛爬行网站的情况下，对你的网站资源占用就会跟高，极容易造成网站的卡顿！

甚至有一部分人也发现了，网站平时比较快，偶尔会慢几分钟，超级慢，服务器和域名解析之类都没有问题，慢几分钟之后，就会恢复原来的速度！

这时候，极有可能是因为蜘蛛引擎在大量爬行你的网站造成的，所以，我们才会想办法屏蔽这些无用的蜘蛛！

怎么屏蔽YandexBot蜘蛛？

在你的网站的根目录中，找到robots.txt文件，顶部加入两行代码：

User-agent: YandexBot

Disallow: /

这样，我们就可以把这个无用的俄罗斯蜘蛛YandexBot给屏蔽掉了，过几天之后，再检查网站日志，你就会发现，YandexBot不再到你的网站爬行了！