包含"Kafka"标签的文章
-
谈谈你对Kafka数据存储原理的理解
一位5年工作经验的小伙伴面试的时候被问到这样一个问题,说,谈谈你对Kafka数据存储原理的理解,然后,这位小伙伴突然愣住了,什么是零拷贝,零拷贝跟Kafka有关系吗,那么今天,我给大家来聊一聊我对Kafka零拷贝原理的理解,1、Topic主题在Kafka中,这个用来存储消息的队列叫做Topic,它是...
-
OpenStack
使用Fuel安装OpenStackjuno之三使用OpenStack创建云主机和Volume其一,创建云主机,并可以SSH登录其二,给云主机附加磁盘volume上面已经跟大家介绍了怎么创建和访问云主机,接下来介绍怎么给虚机附加磁盘,那么为什么要给云主机增加额外的磁盘呢,这就看需求了,一是虚机时创建在...
-
分布式
技术分享,Etcd如何实现分布式负载均衡及分布式通知与协调Etcd是一个高度一致的分布式键值存储,它提供了一种可靠的方式来存储需要由分布式系统或机器集群访问的数据,Etcd比较多的应用场景是用于服务注册与发现,前面文章已经介绍过,,除此之外,也可用于键值对存储,应用程序可以读取和写入Etcd中的数据...
-
PaaS
生产,部署高可用k8s集群,kubeadmkubeadm是官方提供的开源工具,是一个开源项目,用于快速搭建kubernetes集群,目前是比较方便和推荐使用的,kubeadminit以及kubeadmjoin这两个命令可以快速创建kubernetes集群,Kubeadm初始化k8s,所有的组件都是以...
-
建行2面 Kafka的分区容错设计思想! 聊聊
对于一款优秀的分布式框架来说,绝大多数情况下会优先考虑CAP定理中的P,分区容错性,,因为它可以确保即使在某些服务器出现故障的情况下,数据仍然可用,这篇文章,我们来一起深入探讨Kafka的分区容错性是如何实现的,Kafka分区的基本概念在Kafka中,Topic是数据的逻辑分类,每个Topic可以有...
-
虚拟化
VMware以平台工程能力加速现代应用开发与交付,赋能企业业务创新谈到平台工程,VMwareTanzu,业务,大中化区总经理邓惠钧认为,随着多云、跨云、云原生等时代的到来,过去的应用开发模式显然已经无法满足业务创新和发展的需求,平台工程的出现,不但具备更加灵活、敏捷的开发方式,而且还能够克服应用开发...
-
云计算
阿里云100万核算力支撑天猫双11,弹性计算规模刷新纪录继天猫双11全面上云后,今年,阿里云首度在公共云上为天猫双11提供超100万核CPU资源支撑,弹性规模刷新纪录,记者了解到,依托于不断迭代更新的云计算全栈技术,云基础设施处理器CIPU首次大规模应用于天猫双11,不但保障了用户丝滑体验,还将双1...
-
什么场景下 不适合使用Apache Kafka
ApacheKafka是处理流式数据的事实标准,随着它在各行各业中的广泛应用,我经常会听到一个非常有意思的问题,我什么时候不适合使用ApacheKafka,流式数据处理平台有哪些限制,Kafka在什么场合下不能胜任,这篇文章探讨了Kafka擅长做的和不擅长做的场景,并且用单独的章节列出了何时适合使用...
-
面试官 Kafka是如何实现百万级高吞吐量的
我们还是用一张图先概括所有的要点,批量发送与压缩Kafka发送消息时,首先将消息进行批量打包,然后压缩后通过网络传输,Producer可以通过GZIP或Snappy格式对消息集合进行压缩,这样可以减少网络传输的开销,同时也可以利用压缩算法来降低磁盘存储的空间占用,优秀的网络模型Kafka使用了基于J...
-
我到底该如何选 vs RabbitMQ Kafka
介绍作为一名有着大量微服务系统处理经验的软件架构师,我经常遇到一个不断重复的问题,我应该使用RabbitMQ还是Kafka,出于某种原因,许多开发人员认为这些技术是可以互换的,虽然在某些情况下确实如此,但RabbitMQ还是Kafka之间存在根本上的差异,因此,不同的场景需要不同的解决方案,选择错误...
-
一口气说出Kafka为啥这么快?
在过去的几年里,软件架构领域发生了巨大的变化,人们不再认为所有的系统都应该共享一个数据库,图片来自Pexels微服务、事件驱动架构和CQRS,命令查询的责任分离CommandQueryResponsibilitySegregation,是构建当代业务应用程序的主要工具,除此以外,物联网、移动设备和可...