是什么原因导致蜘蛛不来爬你的网站

刚刚在seowhy看到一个很有意思的问题。问题如下：(解决)为什么百度蜘蛛没有再来我站？从以上问题可以看出，站长遇到这样的问题一定很痛苦。没想到蜘蛛会爬上我精心制作的场地。那么是什么原因导致蜘蛛不爬呢？来分析一下。

遇到这样的问题只有两种情况：第一，你挡住了蜘蛛的爬行。第二，你被蜘蛛挡住了

首先，你保护了蜘蛛

我们屏蔽了蜘蛛，蜘蛛当然不能爬我们的网站。

1.首先，我们需要检查一下我们网站的robots.txt文件，看看文件的写法是否正确，是否有大写混淆的情况，是否有在建网站初期就屏蔽所有蜘蛛爬行，忘记修改的指令。一般情况下，robots.txt检测到的东西可以直接交给站长工具检查

2.服务器是否屏蔽了蜘蛛的爬行。不要觉得不可能。当初主机房误把百度蜘蛛屏蔽为黑客攻击。不知道有多少人被k拦住了，如果是主机厂商挡住了蜘蛛的爬行，尽快换主机。时间不能等。

第二，你被蜘蛛挡住了

1.检查您的域名的前所有者，查看该域名以前是否是威发的网站。如果是的话，蜘蛛不爬是完全有道理的，就像马斯之前论坛里的那个域名曾经是六合彩站一样。迄今为止，搜狗和谷歌蜘蛛从未到过这里。