包含kafka为什么比redis占用内存的词条

RabbitMQ与redis的区别是什么呢?

我们介绍了RabbitMQ，Kafka和Redis的一些特征。这三种动物都是它们的类别，但是如上所述，它们的运行方式大不相同。这是我们建议正确的消息代理根据不同用例使用的建议。

实验表明：入队时，当数据比较小时Redis的性能要高于RabbitMQ，而如果数据大小超过了10K，Redis则慢的无法忍受；出队时，无论数据大小，Redis都表现出非常好的性能，而RabbitMQ的出队性能则远低于Redis。

消息队列指：一端进消息，一端出消息 RabbitMQ就是实现了消息队列概念的一个组件，以面向对象的思想去理解，消息队列就是类，而RabbitMQ就是实例，当然不仅仅只有RabbitMQ，例如ActiveMQ，RocketMQ，Kafka，包括Redis也可以实现消息队列。

RabbitMQ与redis的区别是什么呢？我们介绍了RabbitMQ，Kafka和Redis的一些特征。这三种动物都是它们的类别，但是如上所述，它们的运行方式大不相同。这是我们建议正确的消息代理根据不同用例使用的建议。

相关问答

Q1: kafka怎么做到基于磁盘却比内存还快?

kafka正是利用了这个特性，顺序写入，速度相对较快。

首先肯定是从磁盘中读出数据到页缓存，然后从页缓存中拷贝到kafka中，然后再从kafka中拷贝到socket中，最后再给网卡。

Kafka使用零拷贝(Zero-Copy)技术来提供它的性能，所谓的零拷贝是指将数据直接从磁盘文件复制到网卡设备中，而不需要经由应用程序之手，减少了内核和用户模式之间的上下文切换，零拷贝技术通过DMA技术实现。

顺序读写，是kafka利用磁盘特性的一个重要体现。 零拷贝 sendfile(in，out) 数据直接在内核完成输入和输出，不需要拷贝到用户空间再写出去。 kafka数据写入磁盘前，数据先写到进程的内存空间。

因为kafka写入消息时将消息写入内存中就返回了，如果consumer跟上了producer的写入速度，拉取消息时不需要读磁盘，直接从内存获取消息发送出去就可以了。

Q2: Redis的各数据类型的内存占用

其中SDS的保存占用的内存如下所示：在 SDS 中，buf 保存实际数据，而 len 和 alloc 本身其实是 SDS 结构体的额外开销。

对象内存（推荐学习：Redis视频教程）对象内存是Redis内存占用最大的一块，存储着用户所有的数据。Redis所有数据都采用key-value数据类型，每次创建键值对时，至少创建两个类型对象：key对象和value对象。

used_memory 为 Redis 内存分配器（如：jemalloc）分配的 内存总量 ，这些内存主要用于存储 Redis 实际运行时产生的数据。注意，这里说的内存总量包含 内存 和 虚拟内存 。

用一个 hash 来存储一个类型的所有实体（即一张表），在实现上比较简单，内存占用尚可。用多个 hash 来存储一个类型的所有实体（即分表），在实现上稍微复杂点，但占用的内存最小。

Q3: redis主要消耗什么资源

redis主要消耗内存物理资源。Redis（Remote Dictionary Server )，即远程字典服务，是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。

内存限制：Redis是基于内存的存储系统，当缓存数据量过大时，可能会消耗大量内存资源，影响软件其他功能的性能。缓存穿透、缓存击穿和缓存雪崩：这些现象可能导致缓存系统承受较大压力，进而影响整个软件的性能和稳定性。

我们在使用Redis的时候，String 类型是我们使用最多的，他也是唯一的一个非集合类型。然而String类型并不是适用于所有场合的，它有一个明显的短板，就是它保存数据时所消耗的内存空间较多。

redis存储的所有数据都是存在内存中的，包括json数据，因此如果大量存储json数据会占用较多的内存。json数据还需要进行序列化和反序列化操作，这也会增加redis中使用的CPU和内存负载。

第一，单线程简化算法的实现，并发的数据结构实现不但困难且测试也麻烦。第二，单线程避免了线程切换以及加锁释放锁带来的消耗，对于服务端开发来说，锁和线程切换通常是性能杀手。

Redis的主从复制是建立在内存快照的持久化基础上，只要有Slave就一定会有内存快照发生。

Q4: Redis、Kafka或RabbitMQ:哪个作为微服务消息代理最合适?

Kafka是一个高吞吐量的分布式队列，用于长时间存储大量数据。对于需要持久性的一对多用例，Kafka是理想的选择。复杂路由：RabbitMQ RabbitMQ是一个较老但很成熟的代理，具有许多支持复杂路由的功能。

综上所述： 一般公司会利用kafka收集一些日志之类的消息，因为日志一般量特别大，即使丢几条数据也没事，并且要求吞吐量也高，一般就是收发消息，不需要太多的功能，所以kafka非常适合这个场景。

我们介绍了RabbitMQ，Kafka和Redis的一些特征。这三种动物都是它们的类别，但是如上所述，它们的运行方式大不相同。这是我们建议正确的消息代理根据不同用例使用的建议。

Q5: 常用的消息队列

常用的消息队列有RabbitMQ，ActiveMQ，个人觉得这种消息队列太大太重，本文介绍下基于Redis的轻量级消息队列服务。 一般来说，消息队列有两种模式，一种是发布者订阅模式，另外一种是生产者和消费者模式。

ActiveMQ，是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1和J2EE 4规范的 JMS Provider实现，尽管JMS规范出台已经是很久的事情了，但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。

ZeroMQ号称最快的消息队列系统，尤其针对大吞吐量的需求场景。ZeroMQ能够实现RabbitMQ不擅长的高级/复杂的队列，但是开发人员需要自己组合多种技术框架，技术上的复杂度是对这MQ能够应用成功的挑战。

消息发布者只管把消息发布到 MQ 中而不用管谁来取，消息使用者只管从 MQ 中取消息而不管是谁发布的。这样发布者和使用者都不用知道对方的存在。

消息队列(Message Queue)是一种进程间通信或同一进程的不同线程间的通信方式。 Broker(消息服务器) Broker的概念来自与Apache ActiveMQ，通俗的讲就是MQ的服务器。

对于FIFO，最后一个引用它的进程终止时，留在FIFO的数据也将会被删除，而对于消息队列却不是这样，它会一直留到被显示删除或者系统自举，另外消息队列于其他方式相比并没有特别的优势。

关于kafka为什么比redis占用内存和的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。