Scrapy源码阅读分析_1_整体框架和流程介绍

python
0 38

csroad
csroad 举报
08月05日 16:48

From:https://blog.csdn.net/weixin_37947156/article/details/74435304

Scrapy github 下载地址:https://github.com/scrapy/scrapy

 

 

介绍

 

Scrapy是一个基于Python编写的一个开源爬虫框架,它可以帮你快速、简单的方式构建爬虫,并从网站上提取你所需要的数据。

这里不再介绍Scrapy的安装和使用,本系列主要通过阅读源码讲解Scrapy实现思路为主。

如果有不懂如何使用的同学,请参考官方网站或官方文档学习。

------------------------------------------------------------------------------------------
scrapy 中文文档 和 scrapy 英文文档参照看。因为中文文档比较老,英文文档是最新的。
scrapy 英文文档:https://doc.scrapy.org/en/latest
scrapy 中文文档:http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/overview.html
高性能爬虫 Scrapy 框架:https://www.cnblogs.com/wwg945/articles/9021888.html
------------------------------------------------------------------------------------------

简单来说构建和运行一个爬虫只需完成以下几步:

  1. 使用 scrapy startproject spider_project 创建爬虫模板或自己编写爬虫脚本
  2. 爬虫类 继承 scrapy.Spider,重写 parse 方法
  3. parse 方法中 yield 或 return 字典、Request、Item
  4. 使用 scrapy crawl  或 scrapy runspider 运行

经过简单的几行代码,就能采集到某个网站下一些页面的数据,非常方便。

但是在这背后到底发生了什么?Scrapy到底是如何帮助我们工作的呢?

 

 

 

架构

 

来看一看 Scrapy 的架构图:

 

 

 

核心组件

 

Scrapy有以下几大组件:

  1. Scrapy Engine:核心引擎,负责控制和调度各个组件,保证数据流转;
  2. Scheduler:负责管理任务、过滤任务、输出任务的调度器,存储、去重任务都在此控制;
  3. Downloader:下载器,负责在网络上下载网页数据,输入待下载URL,输出下载结果;
  4. Spiders:用户自己编写的爬虫脚本,可自定义抓取意图;
  5. Item Pipeline:负责输出结构化数据,可自定义输出位置;

除此之外,还有两大中间件组件:

  1. Downloader middlewares:介于引擎和下载器之间,可以在网页在下载前、后进行逻辑处理;
  2. Spider middlewares:介于引擎和爬虫之间,可以在调用爬虫输入下载结果和输出请求/数据时进行逻辑处理;

 

 

 

数据流转

 

按照架构图的序号,数据流转大概是这样的:

  1. 引擎从自定义爬虫中获取初始化请求(也叫种子URL);
  2. 引擎把该请求放入调度器中,同时引擎向调度器获取一个待下载的请求(这两部是异步执行的);
  3. 调度器返回给引擎一个待下载的请求;
  4. 引擎发送请求给下载器,中间会经过一系列下载器中间件;
  5. 这个请求通过下载器下载完成后,生成一个响应对象,返回给引擎,这中间会再次经过一系列下载器中间件;
  6. 引擎接收到下载返回的响应对象后,然后发送给爬虫,执行自定义爬虫逻辑,中间会经过一系列爬虫中间件;
  7. 爬虫执行对应的回调方法,处理这个响应,完成用户逻辑后,会生成结果对象或新的请求对象给引擎,再次经过一系列爬虫中间件;
  8. 引擎把爬虫返回的结果对象交由结果处理器处理,把新的请求对象通过引擎再交给调度器;
  9. 从1开始重复执行,直到调度器中没有新的请求处理;

 

 

 

核心组件交互图

 

我在读完源码后,整理出一个更详细的架构图,其中展示了更多相关组件的细节:

这里需要说明一下图中的Scrapyer,其实这也是在源码的一个核心类,但官方架构图中没有展示出来,这个类其实是处于EngineSpidersPipeline之间,是连通这3个组件的桥梁,后面在文章中会具体讲解。

 

 

 

核心类图

 

涉及到的一些核心类如下:

其中标没有样式的黑色文字是类的核心属性黄色样式的文字都是核心方法

可以看到,Scrapy的核心类,其实主要包含5大组件、4大中间件管理器、爬虫类和爬虫管理器、请求、响应对象和数据解析类这几大块。