网站SEO优化中主流搜索引擎蜘蛛介绍

 二维码 99
发表时间:2023-02-08 10:43

搜索引擎蜘蛛.jpg

搜索引擎是怎么发现新网站的?网站进行了内容添加修改搜索引擎又是怎么知道?这就要介绍下中国主流搜索引擎的爬行蜘蛛了。什么是搜索引擎蜘蛛?搜索引擎蜘蛛是干什么的?搜索引擎蜘蛛是一个自动应用程序,它的作用很简单,就是在互联网中浏览信息,然后把这些信息都抓取到搜索引擎的服务器上,再建立索引库等操作。对网站SEO优化来说我们可以把蜘蛛当作采集网站内容的工具,因此越是有利于蜘蛛爬取的操作,就越有利于SEO优化:

1、百度蜘蛛Baiduspider:百度搜索的爬行蜘蛛有:Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。百度蜘蛛通常会过度重复地抓取同样的页面,导致其他页面无法被抓取到而不能被收录。这种情况可以采取 robots协议的方法来调节。

2、谷歌蜘蛛Googlebot:谷歌爬行蜘蛛Googlebot最新名称为“compatible; Googlebot/2.1;”“Googlebot-Mobile”,看名字是抓取wap内容的。谷歌蜘蛛属于比较活跃的网站扫描工具,其间隔28天左右就派出“蜘蛛”检索有更新或者有修改的网页。与百度蜘蛛**的不同点是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。

3、雅虎中国蜘蛛“Yahoo! Slurp China”或者Yahoo! :如果某个网站在谷歌网站下没有很好的收录,在雅虎下也不会有很好的收录和爬行。雅虎蜘蛛的数量庞大,但平均的效率不是很高,相应的搜索结果质量不高。

4、微软必应蜘蛛:bingbot   线上(compatible; bingbot/2.0;) ,必应与雅虎有着深度的合作关系,所以基本运行模式和雅虎蜘蛛差不多。

5、搜狗蜘蛛Sogou News Spider:搜狗爬行蜘蛛的爬取速度比较快,抓取的数量比起速度来说稍微少点。**的特点是不抓取 robot. text文件。搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,Sogou web spider、Sogou inst spider、 Sogou web spider/4.0、Sogou News Spider/4.0、Sogou inst spider/4.0spider2、Sogou blog、Sogou News Spider、Sogou Orion spider。

6、搜搜蜘蛛Sosospider:搜搜爬行蜘蛛Sosospider 早期是运用谷歌的搜索技术,谷歌有收录,搜搜肯定也会收录。2011年搜搜已经宣布采用自己的独立搜索技术,但搜搜蜘蛛的特性和谷歌蜘蛛的特点还是有着相似的地方。

7、有道蜘蛛YoudaoBot:网易爬行蜘蛛和其他搜索引擎蜘蛛一样,凡是高权重网站的链接一般都能将其收录。爬行原理也是通过链接之间的爬行。

8、360蜘蛛360Spider :360综合搜索官方表示,360蜘蛛同样支持disallow命令,如果网站设置了通用的disallow,360搜索是不会去抓取页面的。

9、一搜蜘蛛:YisouSpider   

10、Alexa蜘蛛:ia_archiver

11、宜搜蜘蛛:EasouSpider

12、即刻蜘蛛:JikeSpider

13、MSN蜘蛛:msnbot,msnbot-media