• 欢迎访问金笔头博客,这是一个菜鸟(伪)程序员的自留地,欢迎访问我的github:点击进入

Crawler

Scrapy学习笔记(3)-循环爬取以及数据库操作

Scrapy学习笔记(3)-循环爬取以及数据库操作
前言系统环境:CentOS7本文假设你已经安装了virtualenv,并且已经激活虚拟环境ENV1,如果没有,请参考这里:使用virtualenv创建python沙盒(虚拟)环境,在上一篇文章(Scrapy学习笔记(2)-使用pycharm在虚拟环境中运行第一个spider)中我们已经能够使用scrapy的命令行工具创建项目以及spider、使用Pych……继续阅读 »

1年前 (2016-11-14) 2637浏览

Scrapy学习笔记(2)-使用pycharm在虚拟环境中运行第一个spider

Scrapy学习笔记(2)-使用pycharm在虚拟环境中运行第一个spider
前言系统环境:CentOS7本文假设你已经安装了virtualenv,并且已经激活虚拟环境ENV1,如果没有,请参考这里:使用virtualenv创建python沙盒(虚拟)环境目标使用scrapy的命令行工具创建项目以及spider,使用Pycharm编码并在虚拟环境中运行spider抓取http://quotes.toscrape.com/中的a……继续阅读 »

1年前 (2016-11-13) 5374浏览

Scrapy学习笔记(1)-在虚拟环境中安装scrapy

Scrapy学习笔记(1)-在虚拟环境中安装scrapy
系统环境:CentOS7本文假设你已经安装了virtualenv,并且已经激活虚拟环境ENV1,如果没有,请参考这里:使用virtualenv创建python沙盒(虚拟)环境1.安装scrapy依赖文件#yum install python-devel#yum install gcc libffi-devel openssl-devel2.安装S……继续阅读 »

1年前 (2016-11-13) 1237浏览