前段时间网站发现被无聊的人攻击了,注入了一些垃圾内容,删除挂马内容以后,发现登入日志里面的匿名登录有来自很多异地的ip,于是就果断在服务器将不是本地的ip全部屏蔽掉,观察了一段时间发现出现索引量和抓取异常数据都出现了问题,索引量下降并且抓取数据显示12%的抓取失败。

用云观测和百度抓取诊断工具都没有发现什么异常,但是从网站异常开始的时间段来看,正好是我在服务器后台封禁ip操作的那个点,所以我判断可能是屏蔽的ip段里面一不小心把百度蜘蛛ip也给屏蔽了,导致部分百度蜘蛛无法正常抓取网站内容,进而导致索引量下降。那么,我们该如何鉴别真实的百度蜘蛛ip段?

百度蜘蛛ip

除了使用专业的工具来检测外,我们用更简单的方法就是使用电脑自带的DOS命令来查看,如上图,我们就以我封禁的这两个IP段220.181.108.34和191.43.21.1举例:

(1)开始—运行—输入cmd ,在dos界面输入命令nslookup +ip(你要查询的ip地址

(2)如果是真实的百度蜘蛛ip段,代码中会有出现类似:名称:baiduspider

(3)如果不是真实的百度蜘蛛ip段,则不会出现baiduspider而出现其它或者超时之类

说到抓取异常对网站的些影响,我想应该很多人都比较熟悉,对于大量内容无法正常抓取的网站,搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、权重上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。虽然因为网站被恶意ip以及垃圾评论侵扰的时候,大部分站长都会采用ip屏蔽的方法来解决,但是为了避免百度蜘蛛的ip被屏蔽,我们还是要正确辨别处理。

也许你也感兴趣:

作者:
该日志由 破折君 于2016年12月07日发表在SEO分类下,
转载请注明: 如何辨别百度蜘蛛ip段,错误屏蔽会导致网站降权?
关键字: , , ,
【上一篇】
【下一篇】

7 篇回应 (访客:6 篇, 博主:1 篇)

  1. 夏日博客 说道:

    很少在屏蔽IP的。

    #1楼
  2. 直播平台 说道:

    看来还是不要一刀切好啊

    #2楼
  3. 唯历史 说道:

    我最近是被别人手动抓取

    #3楼
  4. 中木马,把百度蜘蛛引苞米地里去了。

    #4楼
  5. 三五营销 说道:

    挺好的,祝你快乐

    #5楼
  6. 孵化器 说道:

    这个好,实用

    #6楼