正文:
最近很多人都在使用各种方法来进行百度爬虫抓取,有些人使用了 301 重定向的手法,还有些人使用了其他一些奇怪的操作。因此,我们需要再次学习一下百度蜘蛛的 IP 段,这样可以更好地了解抓取过程中蜘蛛的真实意图。不过,这篇文章还不够全面,虽然包含了大部分内容,但是没有具体显示出百度投诉蜘蛛的 IP 段是哪个。
为了更好地了解百度蜘蛛的 IP 段,我们需要知道百度蜘蛛 IP 段的作用,以及百度蜘蛛普通 IP 段的详细列表,还有其他模拟百度蜘蛛的垃圾 IP 段。如果有任何遗漏的内容,欢迎大家投稿到本站进行统计。
百度蜘蛛优质 ip 段
220.181.108.75:重点抓取更新文章的内页达到 90%,8%抓取首页,2%其他。权重 IP 段,爬过的文章或首页基本 24 小时放出来。
220.181.108.80:专用抓取首页 IP 权重段,一般返回代码是 304 0 0 代表未更新。
220.181.108.82:抓取tag页面。
220.181.108.83:专用抓取首页 IP 权重段,一般返回代码是 304 0 0 代表未更新。
220.181.108.86:专用抓取首页 IP 权重段,一般返回代码是 304 0 0 代表未更新。
220.181.108.89:专用抓取首页 IP 权重段,一般返回代码是 304 0 0 代表未更新。
220.181.108.92:同上 98%抓取首页,可能还会抓取其他 (不是指内页),属于权重 IP 段此段爬过的文章或首页基本 24 小时放出来。
220.181.108.94:专用抓取首页 IP 权重段,一般返回代码是 304 0 0 代表未更新。
220.181.108.93:重点抓取内页,爬过的文章或首页基本 24 小时放出来。
220.181.108.95:这个是百度抓取首页的专用 IP,如是 220.181.108 段的话,基本来说你的网站会天天隔夜快照,绝对错不了的。
220.181.108.115:重点抓取内页,爬过的文章或首页基本 24 小时放出来。
220.181.108.119:专用抓取首页 IP 权重段,一般返回代码是 304 0 0 代表未更新。
220.181.108.156 重点抓取内页,爬过的文章或首页基本 24 小时放出来。
220.181.108.158:重点抓取内页,爬过的文章或首页基本 24 小时放出来。
220.181.108.184:重点抓取内页,爬过的文章或首页基本 24 小时放出来。
220.181.108.180:重点抓取内页,爬过的文章或首页基本 24 小时放出来。
百度蜘蛛普通段
61.129.45.72:代表百度蜘蛛 IP 造访,准备抓取你东西,抓取网页的百度蜘蛛。
61.135.162.*:代表百度蜘蛛 IP 造访,准备抓取你东西,抓取网页的百度蜘蛛。
61.135.168.*:抓取图片的百度蜘蛛。
121.14.89.* :这个 ip 段作为度过新站考察期,很少。通常有它光顾的时候,网站基本上是没有排名的。
123.15.**.**:百度图片爬虫。
123.125.66.*:代表百度蜘蛛 IP 造访,准备抓取你东西,抓取网页的百度蜘蛛。
123.125.71.* 抓取内页收录的,权重较低,爬过此段的内页文章暂时被收录但不放出来,因不是原创或采集文章。
124.166.232.*:可能为新版新站专属百度蜘蛛。
180.76.5.*:百度蜘蛛北京联通。
180.76.5.87:百度蜘蛛北京电信。
210.72.225.*:这个 ip 段不间断巡逻各站,就是路过一下。
220.181.7.*:代表百度蜘蛛 IP 造访,准备抓取你东西,抓取网页的百度蜘蛛。 垃圾段 百度自家
61.135.186.* :百度联盟爬虫,百度统计。
61.135.165.134:百度竞价蜘蛛北京联通。
61.135.169.*:百度公司内部专用 IP;
111.206.198.*:百度渲染蜘蛛,专门抓取 js、css和图片用的,百度站长工具落地着陆页检测 IP。
111.206.221.*:百度渲染蜘蛛,专门抓取 js、css 和图片用的,百度站长工具落地着陆页检测 IP。
117.34.74.66:百度竞价蜘蛛西安市电信。
118.122.188.194:百度竞价蜘蛛。
119.63.196.9:百度竞价蜘蛛。
123.125.67.* :百度站长工具的 IP sitemap。
125.39.78.185:百度竞价蜘蛛天津联通。
203.119.241.*:百度主动推送的 IP。
220.181.51.*:百度站长工具的 IP sitemap。
220.181.108.120:抓取/robots.txt。
220.181.108.146:抓取/robots.txt。 沙盒
123.125.68.*:这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权。
180.76.15.*:降权蜘蛛,有这个 ip 说明网站不会在收录了,一直到这个 ip 段消失。
220.181.68.*:每天这个 IP 段只增不减很有可能进沙盒或 K 站。
百度蜘蛛其他模拟蜘蛛
61.147.98.146:站长工具模仿的百度蜘蛛。
61.188.39.16:站长工具模仿的百度蜘蛛。
113.98.254.245:站长工具模仿的百度蜘蛛。
117.21.220.245:站长工具模仿的百度蜘蛛。
117.28.255.42:站长工具模仿的百度蜘蛛。
121.10.141.* :114 站长工具箱。
124.248.34.52:搜外站长工具蜘蛛。
180.149.130.*:伪装百度蜘蛛 IP。
转载请注明:汇站网 » 百度蜘蛛 IP 段全面解析及功能详细介绍