Ruia:基於 asyncio 和 aiohttp 的異步爬蟲框架(Python)

收藏待读

Ruia:基於 asyncio 和 aiohttp 的異步爬蟲框架(Python

Ruia 中文文檔

Ruia是一個基於 asyncioaiohttp 的異步爬蟲框架,它的目標是讓你更加方便且迅速地編寫出屬於自己的爬蟲

很高興你能使用 Ruia 來實現爬蟲程序,不過在編碼之前,希望你能通讀此文檔,因為它包含了 Ruia 的使用方法以及一些基礎概念介紹

First steps

Topics

  • Item :定義爬蟲的目標字段
  • Selector :從HTML中提取出目標字段
  • Request :請求並抓取目標網站資源
  • Response :進一步封裝響應內容
  • Middleware :使爬蟲支持第三方擴展
  • Spider :爬蟲程序的入口

Getting help

如果在使用過程中遇到了困難,隨時歡迎提 Issue

也隨時歡迎加我微信拉您進群交流,備註(Ruia):

Ruia:基於 asyncio 和 aiohttp 的異步爬蟲框架(Python)

原文 : Github

相關閱讀

免责声明:本文内容来源于Github,已注明原文出处和链接,文章观点不代表立场,如若侵犯到您的权益,或涉不实谣言,敬请向我们提出检举。