redis中set去重，redis set去重原理

scrapy-redis分布式爬虫启动为什么会等待

scrapy-redis所实现的两种分布式：爬虫分布式以及item处理分布式就是由模块scheduler和模块pipelines实现。上述其它模块作为为二者辅助的功能模块。

Scrapy-redis可以通过Redis数据库实现分布式爬虫，其天然具备断点续爬的功能。

因为爬取队列本身就是用数据库保存的，如果爬虫中断了，数据库中的Request依然是存在的，下次启动就会接着上次中断的地方继续爬取。

相关问答

Q1: 分布式爬虫需要用多台主机吗?

1、分布式爬虫：将一个项目拷贝到多台电脑上，同时爬取数据。必须保证所有电脑上的代码是相同的配置。在其中一台电脑上启动redis和MySQL的数据库服务。同时将所有的爬虫项目运行起来。

2、一台主机大概可以保证30个左右的从机的URL供应，所以我们只需要一台计算机作为主机就够用了。

3、我们需要做的就是在多台主机上同时运行爬虫任务协同爬取，而协同爬取的前提就是共享爬取队列。这样各台主机就不需要各自维护爬取队列，而是从共享爬取队列存取Request。

Q2: 一起讨论下,消息幂等(去重)通用解决方案

1、如果要保证一致性，需要生产者在失败后重试，不过重试又会导致消息重复的问题，一个解决方案是每个消息给一个唯一的id，通过服务端的主动去重来避免重复消息的问题，不过这一机制目前Kafka还未实现。

2、另外打造一个高可靠的幂等服务还需要考虑很多问题，比如一台机器虽然把全局ID先写入了存储，但是在写入之后挂了，这就需要引入全局ID的超时机制。使用全局唯一ID是一个通用方案，可以支持插入、更新、删除业务操作。

3、消息堆积的产生原因 消息堆积的原因主要在于两方面，其一为消费的太慢或消费方出现异常，其二为生产方生产的太快，总的来说就是 消息的速度赶不上生产的速度，生产和消费速度不匹配造成的 。

redis中set去重的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于redis set去重原理、redis中set去重的信息别忘了在本站进行查找喔。