Scrapy-Redis如何实现分布式爬虫功能？

本文共计1045个文字，预计阅读时间需要5分钟。

1. Scrapy-Redis是什么？Scrapy-Redis是Scrapy框架的扩展，基于Redis的分布式组件。它可以将多台主机组合成一个分布式爬虫，共同完成一个爬取任务，从而快速高效地提升爬取效率。

1.什么是Scrapy-Redis

• Scrapy-Redis是scrapy框架基于redis的分布式组件，是scrapy的扩展；分布式爬虫将多台主机组合起来，共同完成一个爬取任务，快速高效地提高爬取效率。
• 原先scrapy的请求是放在内存中，从内存中获取。scrapy-redisr将请求统一放在redis里面，各个主机查看请求是否爬取过，没有爬取过，排队入队列，主机取出来爬取。爬过了就看下一条请求。
• 各主机的spiders将最后解析的数据通过管道统一写入到redis中
• 优点：加快项目的运行速度；单个节点的不稳定性不影响整个系统的稳定性；支持端点爬取
• 缺点：需要投入大量的硬件资源，硬件、网络带宽等

• 在scrapy框架流程的基础上，把存储request对象放到了redis的有序集合中，利用该有序集合实现了请求队列
• 并对request对象生成指纹对象，也存储到同一redis的集合中，利用request指纹避免发送重复的请求

2.Scrapy-Redis分布式策略

假设有三台电脑：Windows 10、Ubuntu 16.04、Windows 10，任意一台电脑都可以作为 Master端 或 Slaver端，比如：

• Master端(核心服务器) ：使用 Windows 10，搭建一个Redis数据库，不负责爬取，只负责url指纹判重、Request的分配，以及数据的存储。