Skip to content

Latest commit

 

History

History
65 lines (45 loc) · 2.08 KB

README.md

File metadata and controls

65 lines (45 loc) · 2.08 KB
Raw

爬取外卖平台商家数据，生成可对比的视图 基于 React 的前端请转

项目结构

模块名 文件目录 说明
http服务 web 包含API接口具体实现，基于 Flask Web框架
爬虫实现 crawlers 爬虫的具体实现
爬虫任务执行 jobs 基于消息队列(beanstalkd)的任务调度
数据操作 models 对数据库的 CRUD 操作实现, 基于 Sqlalchemy

爬虫设计

数据库

HTTP 方法说明

  • GET（SELECT）：从服务器取出资源（一项或多项）。
  • POST（CREATE）：在服务器新建一个资源。
  • PUT（UPDATE）：在服务器更新资源（客户端提供改变后的完整资源）。
  • PATCH（UPDATE）：在服务器局部更新资源（客户端提供改变的属性）。
  • DELETE（DELETE）：从服务器删除资源。
  • HEAD：获取资源的元数据。
  • OPTIONS：获取信息，关于资源的哪些属性是客户端可以改变的。

接口实现

  • 登录注册 /auth/login auth/signup
  • 需要登录的接口，使用装饰器添加验证
  • 登录饿了么
  • 饿了么商家爬虫
  • 饿了么商家菜品爬虫
  • 饿了么商家评论爬虫
  • 饿了么数据分析
  • 美团外卖数据爬取
  • 百度外卖爬取

Api

  • 登录注册 auth/login auth/signup POST
  • 获取饿了么登录短信验证码 config_ele_crawler/sms_code GET
  • 登录饿了么 config_ele_crawler/login_ele GET
  • 搜索饿了么地点 config_ele_crawler/search_address GET
  • 获取饿了么商家 config_ele_crawler/get_restaurants GET
  • 提交爬虫任务 crawler/task POST
  • 获取所有爬虫任务 crawler/task GET
  • 获取单条爬虫任务 crawler/task/<int:crawler_id> GET
  • 删除任务 crawler/task/<int:crawler_id> DELETE

评论词云