1、百度蜘蛛：Baiduspider
根据网上的资料，百度蜘蛛名称有BaiduSpider、baiduspider等。百度蜘蛛最新名称为Baiduspider。我们看日志中还发现了Baiduspider-image这个百度旗下蜘蛛是抓取图片的蜘蛛。常见百度旗下同类型蜘蛛还有下面这些：Baiduspider-mobile（抓取wap）、Baiduspider-image（抓取图片）、Baiduspider-video（抓取视频）、Baiduspider-news（抓取新闻）。
注：以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。
2、谷歌蜘蛛：Googlebot
这个争议较少，但也有说是GoogleBot的。谷歌蜘蛛最新名称为compatible，Googlebot/2.1。还发现了Googlebot-Mobile，看名字是抓取wap内容的。
3、360蜘蛛：360Spider，它是一个很"勤奋抓爬"的蜘蛛。
4、SOSO蜘蛛：Sosospider，也可为它颁一个"勤奋抓爬"奖的蜘蛛。
5、雅虎蜘蛛："Yahoo!SlurpChina"或者Yahoo!
名称中带"Slurp"和空格，名称有空格robots里名称可以使用"Slurp"或者"Yahoo"单词描述，不知道有效无效。
6、有道蜘蛛：YoudaoBot，YodaoBot
7、搜狗蜘蛛：SogouNewsSpider
搜狗蜘蛛还包括如下这些：Sogouwebspider、Sogouinstspider、Sogouspider2、Sogoublog、SogouNewsSpider、SogouOrionspider，看看最权威的百度的robots.txt，http://www.baidu.com/robots.txt就为Sogou搜狗蜘蛛费了不少字节，占了一大块领地。
"Sogouwebspider，Sogouinstspider，Sogouspider2，Sogoublog，SogouNewsSpider，SogouOrionspider"目前6个，名称都带空格。线上常见"Sogouwebspider/4.0"，"SogouNewsSpider/4.0"，"Sogouinstspider/4.0"可以为它颁个"占名为王"奖。
8、MSN蜘蛛：msnbot，msnbot-media
9、必应蜘蛛：bingbot，线上（compatible，bingbot/2.0）。
10、一搜蜘蛛：YisouSpider
11、Alexa蜘蛛：ia_archiver
12、宜sou蜘蛛：EasouSpider
13、即刻蜘蛛：JikeSpider
14、一淘网蜘蛛：EtaoSpider，"Mozilla/5.0（compatible，EtaoSpider/1.0，http://省略/EtaoSpider）"。
根据上述蜘蛛中选择几个常用的允许抓取，其余的都可以通过robots屏蔽抓取。如果你暂时空间流量还足够使用，等流量紧张了就保留几个常用的，屏蔽掉其它蜘蛛以节省流量。至于那些蜘蛛抓取对网站能带来有利用的价值，网站的管理者眼睛是雪亮的。
另外还发现了如YandexBot、AhrefsBot和ezooms.bot这些蜘蛛，据说这些蜘蛛，对中文网站用处很小。
美林网站建设，致力于为您提供最优的网站建设推广方案。