2020年搜索引擎蜘蛛爬虫名称

搜索引擎蜘蛛是按照每个蜘蛛的抓取规则,进行自动的抓取你网站的内容。那么,你知道多少个“搜索引擎”蜘蛛程序呢?跟着郑州建站网一起来了解下:

搜索引擎蜘蛛名大全、蜘蛛的作用是什么?作为SEO优化人员如何提升优化能力,如何掌握搜索引擎爬虫知识,又该如何利用搜索引擎提升网站排名,这些你都知道吗?

搜索引擎蜘蛛被称为网页蜘蛛(又名为爬虫程序),主要的作用就是抓取网站上的所有内容。简单一点理解,就是你的网站想通过搜索框收录显示,网站就需要网站先被蜘蛛抓取,在进行展示。

搜索引擎又名“蜘蛛程序”和“网页爬虫”甚至有的人直唿为网页机器人,其实这都名称都不重要。搜索引擎的蜘蛛是按照每个蜘蛛的抓取规则,进行自动的抓取你网站的内容。那么,你知道多少个“搜索引擎”蜘蛛程序呢?跟着郑州建站网一起来了解下:

百度蜘蛛:Baiduspider

1、百度网页蜘蛛:Baiduspider-mobile

2、百度图片蜘蛛:Baidu-Thumbnail有的说是Baiduspider-image

3、百度新闻蜘蛛:Baiduspider-news

4、百度视频蜘蛛:Baiduspider-video

5、百度MP3搜索蜘蛛:Baidu-Transcoder

6、百度移动蜘蛛:baiduspider-mobile-gate

注:最常见的百度蜘蛛是Baiduspider和Baiduspider-image两种。

谷歌(Google)蜘蛛:Googlebot

Google蜘蛛最新称为“compatible; Googlebot/2.1”,还发现了Googlebot-Mobile

1、Google网页蜘蛛:Googlebot-Mobile

2、Google图片蜘蛛:Googlebot-Image

3、Google广告蜘蛛:Mediapartners-Google

4、Google质量蜘蛛:Adsbot-Google

搜搜蜘蛛:Sosospider

搜搜网页蜘蛛:Sosospider

搜搜图片蜘蛛: Sosoimagespider

360蜘蛛:360Spider,它在蜘蛛界中是最为勤奋的蜘蛛程序。

搜狗蜘蛛分别为:

搜狗蜘蛛:sogou spider

搜狗蜘蛛:Sogou inst spider

搜狗蜘蛛:Sogou News Spider

搜狗蜘蛛:Sogou web spider

搜狗蜘蛛:Sogou spider2

搜狗蜘蛛:Sogou blog

搜狗蜘蛛:Sogou Orion spider

搜狗蜘蛛名可以用Sogou来概括,上面具体有没有效,无法验证)

雅虎蜘蛛

雅虎中文蜘蛛:Yahoo! Slurp China

雅虎英文蜘蛛:Yahoo! Slurp

雅虎竞价蜘蛛:Yahoo ContentMatch Crawler/2.1

雅虎图片蜘蛛:Yahoo-MMCrawler

有道蜘蛛:YodaoBot

微软蜘蛛:msnbot

网页蜘蛛:MSNBot

图片及媒体蜘蛛:MSNBot-Media

新闻及blog蜘蛛:MSNBot-NewsBlogs

产品及购物蜘蛛:MSNBot-Products

学术蜘蛛:MSNBot-Academic

MSN蜘蛛:msnbot和msnbot-media(最常见的msnbot-media)

必应蜘蛛:bingbot (compatible; bingbot/2.0)

Alexa蜘蛛:ia_archiver

一淘网蜘蛛:EtaoSpider

还有一些国外的蜘蛛:

Altavista的蜘蛛:Scooter

Lycos的蜘蛛:Lycos_Spider_(T-Rex)

Alltheweb的蜘蛛:FAST-WebCrawler/

INKTOMI的蜘蛛:Slurp  ASPSeek  ASPSeek

东方网景 lanshanbot

日本某个蜘蛛 BSpider

另外还发现了一些国外的蜘蛛,如 YandexBot、AhrefsBot和ezooms.bot,国外蜘蛛对于我们中文站来说,作用很小。

每个搜索引擎都有自己的蜘蛛程序,如果你不想被某个蜘蛛程序抓取,可以采用robots.txt的方法来禁止抓取网站内容。这里我们提供一篇《robots.txt正确的写法和存放路径》供大家学习参考。

内容出处:,

声明:本网站所收集的部分公开资料来源于互联网,转载的目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。如果您发现网站上有侵犯您的知识产权的作品,请与我们取得联系,我们会及时修改或删除。文章链接:http://www.yixao.com/seo/9119.html

发表评论

登录后才能评论