爬虫程序加了动态代理ip为什么还是会被封呢?

Life is short, you need Python - Bruce Eckel
Package Index, Python 3.5.3 documentation
回复
yiniuyun
初来炸道
初来炸道
帖子: 2
注册时间: 2019年02月22日 15:43

爬虫程序加了动态代理ip为什么还是会被封呢?

帖子 yiniuyun »

动态切换ip,并不表示就一定不封ip,因为网站反爬不仅仅是ip策略,还有cookie、ua甚至js统计分析等,这些都需要针对网站进行一些分析处理,否则只有ip就能将网站都采集下来,那么爬虫程序也就没啥难度了,事实上越是有价值的网站,其信息都是做了反爬策略的,爬虫需要做好更多的优化,双方是矛与盾的关系,现在使用的是亿牛云提供的动态代理ip,他们不仅是只提供代理,还会要求我们的程序加上ua,cookie再进行数据的采集,而且他们会提供最新的ua库给客户。这对于其他的代理商来说是做的很好的一点,是站在客户的角度进行服务的。
回复

在线用户

正浏览此版面之用户: 没有注册用户 和 0 访客