dimtown-spider

⭐基于httpx的为次元小镇的异步爬虫⭐

---

⭐ 介绍

Warning

本项目采用 Apache License 2.0 开源协议。在使用这个项目之前，请确保你已经仔细阅读并理解了协议的相关条款。本项目严禁用于任何商业用途，并且只能用于学习和研究。如果在使用本项目的过程中产生任何问题或结果，我们不承担任何责任。同时，我们鼓励用户为这个项目的改进和发展提供反馈和建议。

🦈 安装

安装

• pip 安装

pip install dimtown-spider -U

• poetry 安装

poetry add dimtown-spider

• pdm 安装

pdm add dimtown-spider

• 手动安装

git clone https://github.com/Cvandia/dimtown-spider.git

🐟 使用

可见以下示例：

# 测试程序

from dimtown import Cosplay
import asyncio

# keyword = input("请输入关键词：\n")
# sc = Search(keyword)
cs = Cosplay()


async def main():
    # 获取文章链接列表
    list_ = await cs.get_article_urls()
    print(f"文章链接列表：{list_[0:5]}")
    # 获取图片链接
    img_list = await cs.get_img_url(list_[0])
    print(f"图片链接：{img_list[0:5]}")
    # articles = await cs.get_articles(page=1)
    # for article in articles:
    #     print(article.title)
    #     print(article.url)
    #     print(article.img_urls)
    #     print("#" * 50)


asyncio.run(main())

🐖 注意事项

• 别爬太多
• 适度使用
• 健康生活

鸣谢

httpx ->一款同步异步兼容的网络请求库