名词解释:BAIDUSPIDER是什么?该如何识别? | KaneSEO

名词解释:BAIDUSPIDER是什么?该如何识别?

Spider是英文,翻译过来就是蜘蛛的意思,在国内的SEO领域,蜘蛛的名号那是响当当,可谓无人不知无人不晓,但是如果我们换一个名字,大家是否还能准确的指出是什么吗?例如Baiduspider!

一、Baiduspider是什么?

Baiduspider拆开来看,就是Baidu+spider,加号前面不就是万人敬仰的百度君吗,后面加上个蜘蛛,哦,百度蜘蛛!恭喜你,这一串英文字母正是百度蜘蛛先生的英文名。

Baiduspider就是百度蜘蛛,百度蜘蛛是百度搜索引擎的一个自动程序,它的作用就是在互联网上抓取网页,同时按照抓取过滤收录排序的工作原理对网页进行筛选索引排序,同时建立起索引数据库,为百度搜索引擎的用户提供按关键词进行排序的搜索结果。

二、Baiduspider的user-agent有哪些?

百度蜘蛛有很多兄弟姐妹,他们司职不一,自然名字也不一样,也就是通常所说的user-agent不同。如下图,大家可以对应的进行了解,了解每种蜘蛛的功能是什么。

Baiduspider详细介绍

三、为什么要判断访问站点的Baiduspider是否是冒充的?

了解百度蜘蛛的来访对于判断网站的收录情况是很重要的依据,也是网站优化的基本工作之一。查看蜘蛛访问记录主要渠道是IIS日志,IIS日志会记录所有的用户访问记录,通过这些记录我们就可以获取访问网站的蜘蛛类型及其IP。

现在存在一个问题就是访问站点的蜘蛛有可能并不是真正的百度蜘蛛,而是其他访问者冒充的,这些冒充的蜘蛛会影响SEOer对蜘蛛来访情况的判断,从而做出错误的优化决定,对网站的优化有很大的不良影响,所以我们在分析IIS日志时一定要懂得如何判断Baiduspider的真伪。

四、如何判断Baiduspider的真伪?

先通过IIS日志获取Baiduspider的IP,但凡User-agent前端为Baiduspider的IP都应该加以检查。

1、站长工具IP查询(http://ip.chinaz.com)

点击ip.chinaz.com进入IP查询界面,输入从IIS日志获取的IP,点击查询,得到结果,通过IP的物理位置可大概判断出访问的是不是真的百度蜘蛛。如下图。

站长工具IP反查

2、nslookup ip命令反解ip来源判断是否来自Baiduspider的抓取

(1)打开电脑运行,输入cmd,打开如下图界面

运行cmd

(2)在”C:\Users\leoma>“后面输入“nslookup 220.181.108.95”(nslookup后面是从IIS日志获取的IP),单击Enter健返回结果,如下图。

nslookup查询结果

返回结果中显示该IP对应的名称是baiduspider-220-181-108-95.crawl.baidu.com,可以证明该访问是一只正儿八经的百度蜘蛛。

版权声明:本文著作权归原作者所有,欢迎分享本文,谢谢支持!
转载请注明:名词解释:BAIDUSPIDER是什么?该如何识别? | KaneSEO

发表评论