Kafka 和 ES 都是用来处理大数据的中间件,一个是消息中间件的代表(Kafka),另一个是大数据搜索引擎的代表(ES)。它们在 Java 领域的使用非常广泛,在大数据方面就更不用说了,但它们的选主(选择主节点)有什么关联与区别呢?接下来,我们一起来看。
Kafka 是一个分布式流处理平台,由 LinkedIn 公司开发和维护,之后成为 Apache 软件基金会的一部分。它主要是为处理实时数据而设计的,是一个高吞吐量的分布式发布订阅消息系统。
Kafka 集群组成如下:
ES 全称 Elasticsearch,是一个开源的高扩展的分布式全文检索引擎。它可以近乎实时地存储、检索数据,并且具有出色的扩展性,可以扩展到上百台服务器,处理 PB 级别的数据。Elasticsearch 使用 Java 开发,并使用 Apache Lucene 作为其核心来实现所有索引和搜索的功能,但它通过简单的 RESTful API 来隐藏 Lucene 的复杂性,使得全文搜索变得简单。
ES 集群组成如下:
Kafka 选主指的是选 Broker 中的 Controller,而 ES 选主指的是选取集群中的 Master,它们两个的关联是 Kafka 新版本(2.8 之后)和 ES 新版本(7.0 之后), 它们的选主策略都是基于 Raft 算法实现的 。
Raft 算法是一种分布式一致性算法,主要用于在分布式系统中实现数据副本的一致性。该算法是 Paxos 算法的工程实现,其主要特点是通过较为简单的算法实现分布式系统的数据一致性和高可用。
在 Raft 算法中,分布式系统中的所有节点被划分为三种角色:领导者(Leader)、追随者(Follower)和候选人(Candidate),这三者身份的转换如下:
leader -> follower :倘若 leader 发现当前系统中出现了更大的任期,则会进行“禅让”,主动退位成 follower。这里 leader 发现更大任期的方式包括:
follower -> candidate :leader 需要定期向 follower 发送心跳,告知自己仍健在的消息。倘若 follower 超过一定时长没收到 leader 心跳时,会将状态切换为 candidate,在当前任期的基础上加 1 作为竞选任期,发起竞选尝试补位。
candidate -> follower :candidate 参与竞选过程中,出现以下两种情形时会退回 follower:
多数派投了反对票。
竞选期间,收到了任期大于等于自身竞选任期的 leader 传来的请求。
candidate -> leader :candidate 竞选时,倘若多数派投了赞同票,则切换为 leader。
candidate -> candidate :candidate 的竞选流程有一个时间阈值. 倘若超时仍未形成有效结论(多数派赞同或拒绝),则会维持 candidate 身份,将竞选任期加1,发起新一轮竞选。
Raft 算法的选举流程如下图所示:
它的投票流程有三种:
竞选者投票给原 leader :
竞选者投票给 follower :
倘若任期落后于自己,拒绝请求,并回复自己所在的任期。
倘若任期大于自己,判断最后的同步日志是否够新,如果比自己新就把这一票投给竞选者,如果没有自己新则拒绝。
竞选者投票给 candidate :
倘若 leader 任期大于等于自己,同意此次投票,并退回 follower,按照 follower 模式处理请求。
如果 leader 任期小于自己,拒绝,并回复自己的最新任期。
每个竞选者根据以上投票来决定新的 leader,如果有一个投票过半,那么它就升级为新的 leader,并把这个消息同步给其他节点。否则会开启新的一轮投票,为了防止一直投票,会在开启新一轮投票时,设置的随机等待时间,和一定次数投票失败后弃权的机制,来保证投票顺利完成。
本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://www.jmbhsh.com/keji/35995.html