Python爬虫基础之简单说一下scrapy的框架结构

scrapy 框架结构

思考

  • scrapy 为什么是框架而不是库?
  • scrapy是如何工作的?

项目结构

在开始爬取之前,必须创建一个新的Scrapy项目。进入您打算存储代码的目录中,运行下列命令:

注意:创建项目时,会在当前目录下新建爬虫项目的目录。

这些文件分别是:

  • scrapy.cfg:项目的配置文件
  • quotes/:该项目的python模块。之后您将在此加入代码
  • quotes/items.py:项目中的item文件
  • quotes/middlewares.py:爬虫中间件、下载中间件(处理请求体与响应体)
  • quotes/pipelines.py:项目中的pipelines文件
  • quotes/settings.py:项目的设置文件
  • quotes/spiders/:放置spider代码的目录

Scrapy原理图

Python爬虫基础之简单说一下scrapy的框架结构

各个组件的介绍

1.Engine。引擎,处理整个系统的数据流处理、触发事务,是整个框架的核心。

2.ltem。项目,它定义了爬取结果的数据结构,爬取的数据会被赋值成该ltem对象。

3.Scheduler。调度器,接受引擎发过来的请求并将其加入队列中,在引擎再次请求的时候将请求提供给引擎。

4.Downloader。下载器,下载网页内容,并将网页内容返回给蜘蛛。

5.Spiders。蜘蛛,其内定义了爬取的逻辑和网页的解析规则,它主要负责解析响应并生成提结果和新的请求。

6.Item Pipeline。项目管道,负责处理由蜘蛛从网页中抽取的项目,它的主要任务是清洗、验证和存储数据。

7.Downloader Middlewares。下载器中间件,位于引擎和下载器之间的钩子框架,主要处理引擎与下载器之间的请求及响应。

8.Spider Middlewares。蜘蛛中间件,位于引擎和蜘蛛之间的钩子框架,主要处理蜘蛛输入的响应和输出的结果及新的请求。

Python爬虫基础之简单说一下scrapy的框架结构

数据的流动

  • Scrapy Engine(引擎):负责Spider、ltemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。
  • Scheduler(调度器):负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。
  • Downloader(下载器):负责下载Scrapy Engine(引擎)发送的所有Requests请求,并将其获取到的Responses交还给Scrapy Engine(引擎),由引擎交给Spider来处理,
  • Spider(爬虫)︰负责处理所有Responses,从中分析提取数据,获取ltem字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器),
  • ltem Pipeline(管道):负责处理Spider中获取到的ltem,并进行进行后期处理(详细分析、过滤、存储等)的地方.
  • Downloader Middlewares(下载中间件):你可以当作是一个可以自定义扩展下载功能的组件。
  • Spider Middlewares(Spider中间件):你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件(比如进入Spider的Responses;和从Spider出去的Requests)

到此这篇关于Python爬虫基础之简单说一下scrapy的框架结构的文章就介绍到这了,更多相关scrapy的框架结构内容请搜索179885.Com以前的文章或继续浏览下面的相关文章希望大家以后多多支持179885.Com!

猜你在找的Python爬虫基础之简单说一下scrapy的框架结构相关文章

今天给大家带来的是关于Python的相关知识,文章围绕着Python注释的用法展开,文中有非常详细的介绍及代码示例,需求的大佬可以参考下
今天给大家带来的是关于Python爬虫的相关知识,文章围绕着scrapy的框架结构展开,文中有非常详细的介绍及代码示例,需求的大佬可以参考下
今天给大家带来的是关于Python的相关知识,文章围绕着OpenCV实现猫脸检测展开,文中有非常详细的介绍及代码示例,需求的大佬可以参考下
介绍了在Linux下使用命令行安装Python,通过详细的图文介绍Linux安装Python的全部过程,希望对你有所帮助
今天给大家带来的是关于Python的相关知识,文章围绕着为什么Python不用设计模式展开,文中有非常详细的介绍及代码示例,需求的大佬可以参考下
今天给大家带来的是关于Python函数的相关知识,文章围绕着python中readlines函数的参数hint展开,文中有非常详细的介绍及代码示例,需求的大佬可以参考下
ansible是基于 paramiko 开发的,并且基于模块化工作,本身没有批量部署的能力,接下来通过本文给大家分享python ansible自动化运维工具的特点及执行流程,感兴趣的朋友
今天带大家了解一下能让Python提速超40倍的神器,文章围绕着神器Cython展开,文中有非常详细的介绍及代码示例,需求的大佬可以参考下
在上一篇讲了几个常用的“Pandas”函数之后,今天小编就为大家介绍一下在数据统计分析当中经常用到的“Pandas”函数方法,希望能对大家有所收获,需求的大佬可以参
最近打算在win系统下使用pycharm开发程序,并远程连接服务器调试程序,其中在import tensorflow时报错,本文就来介绍一下如何解决,感兴趣的可以了解一下
本文主要介绍了在pycharm下调用tensorflow库时会出现的问题,在本文做个小结,也给自己留个笔记,感兴趣的可以了解一下
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章。本文主要介绍了使用Python获取公众号下所有的文章,感兴趣的可以了解