• 欢迎访问金笔头博客,这是一个菜鸟(伪)程序员的自留地,欢迎访问我的github:点击进入

标签:scrapy sqlalchemy

爬虫技术

Scrapy学习笔记(5)-CrawlSpider+sqlalchemy实战

Scrapy学习笔记(5)-CrawlSpider+sqlalchemy实战
前言在之前的文章Scrapy学习笔记(2)-使用pycharm在虚拟环境中运行第一个spider中有提到在使用scrapy genspider命令生成spider的时候可以使用-t参数来指定生成spider的模板,前面几篇文章中我们没有指定模板,所以都是使用最基本的Spider类来爬取数据。Spider其实能做很多事情了,但是如果你想对某个网站进行全站爬取……继续阅读 »

2年前 (2016-11-26) 5209浏览