scrapy_splash是scrapy的一个组件

1. scrapy_splash加载js数据是基于Splash来实现的。
2. Splash是一个JavaScript渲染服务。它是一个实现了HTTP API的轻量级浏览器，Splash是用Python和Lua语言实现的，基于Twisted和QT等模块构建。
3. 使用scrapy_splash最终拿到的response相当于是在浏览器全部渲染完成以后的网页源代码。

scrapy_redis原理分析并实现断点续爬以及分布式爬虫

简单的说分布式就是不同的节点（服务器，ip不同）共同完成一个任务

根据scrapy运行流程中所在位置不同分为

1. 下载中间件
2. 爬虫中间件

crawlspider 继承自Spider爬虫类

可以自动根据规则提取链接并且告诉你给引擎

1. 不同的pipeline可以处理不同爬虫的数据， 通过spider.name属性来区分
2. 不同的pipeline能够对一个或多个爬虫爬虫进行不同的数据的操作，比如一个进行数据清洗，一个进行数据的保存
3. 同一个管道类也可以处理不同爬虫的数据，通过spider.name属性来区分

scrapy携带cookies直接获取需要登陆后的页面

一、数据建模

通常在做项目的过程中，在items.py中进行数据建模

1. 为什么建模
   1. 定义item即提前规划好那些字段需要抓，防止手误，因为定义好之后，在运行过程中，系统会自动检查
   2. 配合注释一起可以清晰的知道要抓取那些字段，没有定义的字段不能抓取，在目标字段少的时候可以使用字典代替
   3. 使用 scrapy的一些特定组件需要item做支持，如scrapy的ImagePipeline管道类，百度收索了解更多

一、安装scrapy

pip install scrapy

二、scrapy项目开发流程

1. 创建项目：
   scrapy startproject mySpider
2. 生成一个爬虫：
   scrapy genspider wenxk wenxk.top
3. 提取数据：
   根据网站结果在spider中实现数据采集相关内容
4. 保存数据：
   使用pipeline进行数据后续处理和保存

一、scrapy的概念

Scrapy是一个python编写的开源网络爬虫框架。它是一个被设计用于爬取网络数据、提取结构性数据的框架、

二、scrapy框架的作用

少量的代码，就能够快速的抓取

三、scrapy的工作流程