Scrapy网络爬虫简介

  • 内容
  • 评论
  • 相关

Scrapy 是一个为了爬取网站数据、提取结构性数据而编写的应用框架,可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。

1. Scrapy 架构

Scrapy 的整体架构由 Scrapy 引擎(ScrapyEngine)、调度器(Scheduler)、下载器(Downloader)、爬虫(Spiders)和数据项管道(itemPipeline)5 个组件组成。图 1 展示了各个组件的交互关系和系统中的数据流。

Scrapy架构
图 1  Scrapy 架构

本文标题:Scrapy网络爬虫简介

本文地址:https://www.hosteonscn.com/5342.html

评论

0条评论

发表评论

邮箱地址不会被公开。 必填项已用*标注