• 欢迎访问金笔头博客,这是一个菜鸟(伪)程序员的自留地,欢迎访问我的github:点击进入

最新发布 第3页

金笔头博客Love Learning, Love Sharing

python

Django2.0笔记(3)-开发个人博客系统(一)

Django2.0笔记(3)-开发个人博客系统(一)
开发环境PyCharm 2017.3.2 (Professional Edition)Python 3.6.3windows 10Sqlite3本节目标开发一个包含如下功能的博客系统:后台文章管理,包括新增、删除和编辑后台分类管理,包括新增、删除和编辑后台标签管理,包括新增、删除和编辑前台列表页展示文章概要信息、发布时间、文章分类、……继续阅读 »

1年前 (2018-03-06) 7619浏览

python

Django2.0笔记(2)-实现简单的留言板功能

Django2.0笔记(2)-实现简单的留言板功能
开发环境PyCharm 2017.3.2 (Professional Edition)Python 3.6.3windows 10Sqlite3目标实现在线留言功能,留言信息保存到数据库,可登录后台查看留言信息。实践创建项目使用Pycharm创建项目message_board,自动生成的目录结构如下:__init__.py一个空文件……继续阅读 »

1年前 (2018-03-04) 6009浏览

python

Django2.0笔记(1)-创建并运行第一个Django项目

Django2.0笔记(1)-创建并运行第一个Django项目
开发环境PyCharm 2017.3.2 (Professional Edition)Python 3.6.3windows 10创建Django项目创建Django项目有两种方法,一种是使用Pycharm另外一种是通过命令行模式,下面分别讲解。方法1-Pycharm打开Pycharm,依次选择File–>New Proj……继续阅读 »

1年前 (2018-03-02) 2764浏览

python

Python3.6解密/破解excel

Python3.6解密/破解excel
背景最近刚做完一个python数据处理的项目,趁还热乎赶紧总结下,记下一些以后可能还会用到的东西,方便日后查阅。先介绍下项目背景吧,国内某银行将本行那些信用卡逾期用户债款催收的业务外包给了第三方公司,简称催债公司,为了降低信用卡用户恶意欠款的风险,该行技术部门计划建立催记模型来分析催债数据以及进一步文本挖掘,为以后新用户开户提供决策,银行需要将这些催债公司……继续阅读 »

1年前 (2018-02-01) 4397浏览

Ubuntu

Ubuntu16.04更换阿里云源

Ubuntu16.04更换阿里云源
备份$ sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak编辑$ sudo vi /etc/apt/sources.list输入如下内容# deb cdrom:[Ubuntu 16.04 LTS _Xenial Xerus_ - Release amd64 (20160420.……继续阅读 »

1年前 (2018-01-31) 2317浏览

爬虫技术

Scrapy学习笔记(10)-重写start_requests方法实现动态入口

Scrapy学习笔记(10)-重写start_requests方法实现动态入口
前言通过之前的学习我们知道scrapy是将start_urls作为爬取入口,而且每次都是直接硬编码进去一个或多个固定的URL,现在假设有这么个需求:爬虫需要先从数据库里面读取目标URL再依次进行爬取,这时候固定的start_urls就显得不够灵活了,好在scrapy允许我们重写start_requests方法来满足这个需求。目标从库表scrapy.ta……继续阅读 »

1年前 (2018-01-28) 2170浏览

爬虫技术

Scrapy学习笔记(9)-使用scrapy-deltafetch实现增量爬取

Scrapy学习笔记(9)-使用scrapy-deltafetch实现增量爬取
前言在之前的文章中我们都是对目标站点进行全量爬取,只要爬虫run起来就会对所有的链接都爬取一遍,这其实是很傻的做法,因为很多情况下我们并不需要爬取已经爬过的链接,除非你需要定期更新这个链接对应页面上的数据。好了,回归正题,本文介绍scrapy使用scrapy-deltafetch这个插件来实现增量爬取,这里以爬取【美食杰】上的菜谱信息为例。正文安装s……继续阅读 »

1年前 (2018-01-27) 5471浏览

Ubuntu

Ubuntu16.04安装Berkeley DB

Ubuntu16.04安装Berkeley DB
背景介绍今天折腾scrapy的时候想着怎么实现增量爬取,Google一番发现有个插件scrapy-deltafetch可以实现,于是开始安装,装到一半报错:Collecting scrapy-deltafetch Downloading scrapy_deltafetch-1.2.1-py2.py3-none-any.whlCollecti……继续阅读 »

1年前 (2018-01-27) 5247浏览