FuniCode 编程论坛

动态切换ip，并不表示就一定不封ip，因为网站反爬不仅仅是ip策略，还有cookie、ua甚至js统计分析等，这些都需要针对网站进行一些分析处理，否则只有ip就能将网站都采集下来，那么爬虫程序也就没啥难度了，事实上越是有价值的网站，其信息都是做了反爬策略的，爬虫需要做好更多的优化，双方是矛与盾的关系，现在使用的是亿牛云提供的动态代理ip，他们不仅是只提供代理，还会要求我们的程序加上ua，cookie再进行数据的采集，而且他们会提供最新的ua库给客户。这对于其他的代理商来说是做的很好的一点，是站在客户的角度进行服务的。