redispipeline被拒绝，redis broken pipe怎么解决

predixy一款高性能全功能redis代理

在功能redispipeline被拒绝的对比上redispipeline被拒绝，predixy相比另外三款代理更为全面redispipeline被拒绝，基本可以完全适用原生redis的使用场景。在性能上，predixy在各轮测试中都以较大优势领先。

相关问答

Q1: 使用python同步mysql到redis?由于数据较多,一条一条读出来写到redis太...

mysql2redis_mission.sql文件就是将mysql数据的输出数据格式和redis的输入数据格式协议相匹配，从而大大缩短了同步时间。

而Redis的主从同步和数据快照有关，Redis定期将内存中数据作快照保存在文件中，mater只要将文件发送给slave更新就可以了。

同时要注意避免冲突，在redis启动时去mysql读取所有表键值存入redis中，往redis写数据时，对redis主键自增并进行读取，若mysql更新失败，则需要及时清除缓存及同步redis主键。

二者数据同步的关键在于mysql数据库中主键，方案是在redis启动时区mysql读取所有表键值存入redis中，往redis写数据是，对redis主键自增并进行读取，若mysql更新失败，则需要及时清除缓存及同步redis主键。

我们大多倾向于使用这种方式，也就是将数据库中的变化同步到Redis，这种更加可靠。Redis在这里只是做缓存。

Q2: scrapy-redis分布式爬虫启动为什么会等待

1、scrapy-redis所实现的两种分布式：爬虫分布式以及item处理分布式就是由模块scheduler和模块pipelines实现。上述其它模块作为为二者辅助的功能模块。

2、scrapy自带有去重set（）集合功能，但是set是在内存中的，一旦关机就要重新开始。那么我拿到数据不是在set里面，我把他存入redis，mysql，mongo，在取数据的时候，pop一下不就可以实现断点续传了。

3、Scrapy-redis可以通过Redis数据库实现分布式爬虫，其天然具备断点续爬的功能。

4、放慢爬取速度，减少对于目标网站带来的压力，但会减少单位时间类的爬取量。测试出网站设置的限制速度阈值，设置合理的访问速度。

redispipeline被拒绝的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于redis broken pipe怎么解决、redispipeline被拒绝的信息别忘了在本站进行查找喔。