#jobSpider

jobSpider是一只scrapy爬虫，用于爬取职位信息

目前收录：

拉勾网

功能

爬取Lagou网的职位信息(爬取最新的5000条)

安装与依赖

git clone https://github.com/wwj718/jobSpider
cd jobSpider
pip install -r requirements.txt
mongodb(可选)
在setting.py中修改csv保存的路径（FEED_URI变量）,默认是当前目录
运行： scrapy crawl LagouSpider（开始爬取数据）

我的开发环境

OSX python2.7

在windows7下测试可用

可选特性

如果要使用mongodb数据库，取消setting.py中的ITEM_PIPELINES注释

代码风格

采用yapf来统一代码风格

yapf -i filename.py