• 欢迎访问金笔头博客,这是一个菜鸟(伪)程序员的自留地,欢迎访问我的github:点击进入

标签:反爬虫 反反爬虫

爬虫技术

Scrapy学习笔记(6)-反爬虫与反反爬虫策略

Scrapy学习笔记(6)-反爬虫与反反爬虫策略
前言    到目前为止我们已经写了好几个爬虫,虽然已经可以实现数据采集,但是我们的爬虫其实是在”裸奔”,因为没有加任何的伪装,很容易就可以被远程服务器识别出来,这也就意味着我们的爬虫很可能在采集了十几页数据或者运行几分钟之后就出现问题,轻则出现验证码或暂时访问不了目标站点,重则本机IP直接被拉入黑名单。你可能会说无图无真相,好吧,上……继续阅读 »

1年前 (2016-11-30) 22052浏览