美团爬虫

介绍

按照城市和美食类型，爬取店家主页
该爬虫使用了webPageCollector，这是一个高效的网页爬取组件

运行

python main.py
爬取到的店家主页保存在data目录中

说明

若希望爬取北京地区所有火锅店主页，请按照以下方式修改main.py

• 首先 北京地区火锅店的美团链接是：http://bj.meituan.com/category/huoguo
  
• 将main.py中set_city()函数的参数改为bj，对应链接中的bj.meituan.com
  
• 将main.py中set_food()函数的参数改为huoguo对应链接中的/category/huoguo
  

联系方式

[email protected]