怎么在ForeSpider数据采集器中设置代理IP-成都创新互联网站建设

关于创新互联

多方位宣传企业产品与服务 突出企业形象

公司简介 公司的服务 荣誉资质 新闻动态 联系我们

怎么在ForeSpider数据采集器中设置代理IP

这篇文章主要介绍“怎么在ForeSpider数据采集器中设置代理IP”,在日常操作中,相信很多人在怎么在ForeSpider数据采集器中设置代理IP问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”怎么在ForeSpider数据采集器中设置代理IP”的疑惑有所帮助!接下来,请跟着小编一起来学习吧!

10年积累的网站制作、成都做网站经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先制作网站后付款的网站建设流程,更有铁山港免费网站建设让你可以放心的选择与我们合作。

-01- 创建代理IP

打开ForeSpider数据采集引擎,IP代理设置,如下图所示创建代理IP。

怎么在ForeSpider数据采集器中设置代理IP  

1.名称:自定义即可,可由文字、字母、其他符号等组成;

2.类型:有静态代理和动态代理,ForeSpider采集系统中动静态与市场上不同,ForeSpider爬虫软件中代理IP动静态代理可以通过代理IP接入形式来区分静态和动态。

怎么在ForeSpider数据采集器中设置代理IP  

①动态代理:爬虫使用的代理IP是变化的,一般情况是通过代理IP服务商提供的一个API链接来获取代理IP,这种情况是动态代理。在系统中,在如下图标记位置填入API链接。

怎么在ForeSpider数据采集器中设置代理IP  

②静态代理:爬虫使用的代理IP是固定一个/多个IP地址,一般代理IP服务商会提供IP地址、端口、用户名、密码,这种情况是静态代理IP。有的代理IP服务商只有IP地址和端口,这类也是属于静态代理,遇到这种情况时用户名和密码为空即可。

怎么在ForeSpider数据采集器中设置代理IP  

3.请求频率:是指ForeSpider运行时调用每个代理IP的频率,爬虫运行时,线程数目=请求频率*代理IP数。

比如:接入了一个每秒请求10个IP的代理,设置的请求频率为5。那么爬虫运行时,每秒请求50次代理IP,这时候采集运行速度中的线程数目最佳为50。

-02- 代理IP设置

1.动态代理IP设置

怎么在ForeSpider数据采集器中设置代理IP  

在ForeSpider爬虫中,新建一个动态代理IP后,填写以下几个基本参数:

①协议类型:默认http/https,两种协议均支持;

②返回格式:是指返回IP格式,包括TXT和未知格式,选择TXT格式即可返回TXT格式,TXT格式可以不用写脚本获取IP;

③刷新周期:请求调用API的频率,单位是毫秒,根据实际购买情况来填写即可。

④请求地址:填写API链接即可。

填写完以上信息后可点击【测试】按钮进行测试,测试结果会显示在屏幕下方。测试成功后,确认勾选所用代理IP,点击保存按钮,如下图所示:

怎么在ForeSpider数据采集器中设置代理IP  

保存好之后,就可以开始进行数据采集了。

2.静态代理IP设置

怎么在ForeSpider数据采集器中设置代理IP  

在ForeSpider爬虫中,新建一个静态代理IP后,需要填写以下参数:

①IP地址:由代理IP服务商提供。

②端口:由代理IP服务商提供。

③类型:根据要采集网站类型来选择,有http和https类型;

④有效时长:可理解为到期时长,非必填。

当同时使用多个代理IP且到期时长不一致时可以根据实际情况填写,有效期到则自动停止使用该代理IP;

当有效时间在1天以内时,建议填写,防止出现代理IP到期,ForeSpider爬虫还在运行而导致采集失败的情况。

如果不填写,需要在代理IP到期之前手动关闭,否则会导致采集失败。如下图所示:

怎么在ForeSpider数据采集器中设置代理IP  

⑤用户名:由代理IP服务商提供。

⑥密码:由代理IP服务商提供。

填写完之后在需要使用的代理IP前打上对勾,打开代理IP按钮,后保存。如下图所示:

怎么在ForeSpider数据采集器中设置代理IP  

-03- 脚本设置

在ForeSpider数据采集系统中,当代理IP接入情况不属于以上描述静态/动态接入方式时,使用脚本设置代理IP。

怎么在ForeSpider数据采集器中设置代理IP  

脚本设置与动态设置类似,需要先把以下几项根据实际情况来进行设置,具体如下:

①协议类型:默认http/https,两种协议均支持;

②返回格式:选择未知格式即可,脚本可获取TXT格式。

③刷新周期:请求调用API的频率,单位是毫秒,根据实际购买情况来填写即可。

④请求地址:填写代理商提供的API链接。

⑤POST DATA:根据代理不同,post请求的情况下填写该内容。

⑥代码编辑区:需要填写一段脚本,以调用代理IP。代码如下:

ips = DOWNDATA.Split('\n');vart;for(i=0;i

将以上的代码粘贴到编辑框后,通常仅需修改最后一句脚本,括号里分别填写:IP地址+端口、用户名、密码、有效时长、http/https即可。

-04- 其他设置

ForeSpider爬虫系统中,代理IP混用策略有以下三个:

怎么在ForeSpider数据采集器中设置代理IP  

1.采集禁用本地IP

设置后采集只用代理IP,如果代理IP失效或未开启,则会采集失败。

2.代理失败使用本地IP

代理IP失效或者失败后会直接使用本地IP进行采集。

3.只使用本地IP

设置后采集时仅用本地IP。

注意事项

①在采集过程中修改代理IP,需要暂停/停止采集然后再修改。

②当请求代理IP的api地址是变化的,比如链接地址中有时间戳的情况时,ForeSpider中代理IP暂不支持接入。

③当返回内容不带密码,但要求必须提供密码时,可以使用脚本设置来接入。

④在不知道代理IP的请求数时,请求频率最好填1,也可填写1-10中任意数。

⑤请求到一批新的代理IP时,在有效期内的旧代理IP依然可以使用。

到此,关于“怎么在ForeSpider数据采集器中设置代理IP”的学习就结束了,希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习,快去试试吧!若想继续学习更多相关知识,请继续关注创新互联网站,小编会继续努力为大家带来更多实用的文章!


分享标题:怎么在ForeSpider数据采集器中设置代理IP
URL网址:http://kswsj.cn/article/iiggps.html

其他资讯