项目由Webveins更名为Cobweb
校招花了不少时间...第一版release发布时间推迟，在发布前请不要下载使用
即将加入很多实用的功能，敬请期待
Cobweb是一个将单机爬虫快速整合为分布式爬虫的框架，它并不关心爬虫具体的业务逻辑，与爬虫是松耦合的
- 完整的监控与控制API
- 支持多个active manager，能在任务分类的情况下进行工作
- 支持多个filter，新增部分filter类型
- python API支持
- Go API支持
- 加强负载均衡与性能优化
forked from suevip/WebVeins
-
Notifications
You must be signed in to change notification settings - Fork 0
分布式爬虫调度器 / Scheduler of distributed crawler
License
pullwindyuan/Cobweb
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
分布式爬虫调度器 / Scheduler of distributed crawler
Resources
License
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published
Languages
- Java 95.9%
- Shell 2.5%
- Other 1.6%