crawer_for_zhihu 这是一个知乎爬虫，三年前写的，现在翻出来补充一下readme，当时没用用scrapy，纯手打，建立set来去重，对性能也是一个考验，当时抓了50万的页面就扛不住了 知乎的反爬虫陷阱很多，同时IP访问也有速度限制，其限制机制是个谜一样的存在