早上登陆百度站长平台时,看到了这样一条消息:网站的重要目录对百度进行了封禁,Baiduspider无法抓取这些目录,提示站长查看网站的robots.txt有没有错误,这个消息已经不是我第一次遇到了,上个月的时间就已经遇到过一次,都是同样的提示,当时我以为是自己的robots配置错误,于是把robots改为允许所有搜索引擎抓取所有网站目录,并且按照百度官方的robots写了一次,重新上传,并在站长平台检查了一次,发现没有问题后上传到了网站的根目录。
而今天百度又提示了,说是网站的robots存在问题,我的robots文件明明是正确的,为什么就错误了呢,我去看了一些相关的文章后发现,不少站长都遇到了同样的情况,都收到了同样的提示,我几乎找遍了所有的疑点,还是找不到答案,甚至我还怀疑是模板的问题,我的博客自上线之日起,收录一直波动很大,处于极其不正常的状态中,同时我也观察了很多网站的收录,也呈现出收录异常的情况,看来百度的数据库真的有些问题了,包括很多原创博客在内,好几百篇的原创文章,而百度的收录甚至只有几条,让人真的难以置信,同时感到非常的可怕。
我还曾怀疑过这是百度在打击盗版的结果,因为不断有人盗版我的文章,而我的原创又没有被收录,可能被百度降权了,但后来想想这根本不可能,即使一个网站全部复制网络中的文章,最多是排名不好,不可能不被百度收录,就算是盗版的文章,都能被百度正常收录,而为什么我的原创文章却一直不被收录,同时,我发现自己经营的其他站点也遇到了同样的状况,这些网站通过百度统计查看,收录都有好几百,但根本就SITE不到这些内容,在搜索引擎中也搜索不到这些内容,这足以说明这些内容并没有被收录,如果被收录了肯定会搜索到。
还有一种现象值得关注,虽然这些站点在百度的收录很低,但排名却还可以,只是没有内页排名,首页排名一直保持在不错的位置上,这证明网站的权重还是存在的,如果失去了权重,也就不可能在百度获取较好的排名,每次谈及百度收录时,我的脑海中都会浮现出很多难以解决的问题,而这些问题一直都没有得到解决,正如这次的百度提示:“网站的重要目录对百度进行了封禁”,问题到底出在哪里呢,是百度统计的问题,还是网站本身的问题,既然不是robots.txt的问题,到底问题又出在哪里呢,不知道有谁遇到了和我一样的问题,有没有找到真实原因呢。