Office365混合部署实战系列教程一，混合部署前的准备工作本套系列教程，来源于某跨国公司项目实践，并结合其他项目经验编写而成，混合部署此类教程网上也非常多，本套系列教程的侧重点在于项目管理思路，在保证技术实现的同时，优先考虑如何让项目更加容易获得成功，希望这会给大家在项目实践时提供一些思路，在混...

  ​一、Hadoop技术概述在大数据时代，针对大数据处理的新技术也在不断地开发和运用中，并逐渐成为数据处理挖掘行业广泛使用的主流技术，Hadoop作为处理大数据的分布式存储和计算框架，已在国内外大、中、小型企业中得到了广泛应用，学习Hadoop技术是从事大数据行业工作必不可少的一步，1.Hadoop的...

  大约十年前，大数据开始流行，随着存储成本不断下降，很多企业开始存储他们获取或生成的大部分数据，以便他们可以挖掘这些数据，以获得关键的业务洞察力，企业分析所有这些数据的需求推动着各种大数据框架的开发，这些框架能够筛选大量数据，从Hadoop开始，大数据框架最初用于数据仓库或数据湖中的静态数据，但最近的...

  LinkedIn的开发团队，为了解决数据管道问题，起初采用了ActiveMQ来进行数据交换，大约是在2010年前后，那时的ActiveMQ还远远无法满足LinkedIn对数据传递系统的要求，经常由于各种缺陷而导致消息阻塞或者服务无法正常访问，为了能够解决这个问题，LinkedIn决定研发自己的消息传...

  异步提交消费位点也有一些缺点，比如消费位点不能重复提交，因为提交位点失败后，重新提交位点可能更晚的消费位点已经提交了，这里提交已经是没有意义的了，...。...

  这篇文章，同样给大家聊一个硬核的技术知识，我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的，1、Kafka的客户端缓冲机制首先，先得给大家明确一个事情，那就是在客户端发送消息给kafka服务器的时候，一定是有一个内存缓冲机制的，也就是说，消...

  以前我在知其然而知其所以然，为什么Kafka在2.8版本中会，抛弃，Zookeeper一文中阐述了为什么官方要废弃Zookeeper，当时我记得有读者反驳说zookeeper非常稳定，基本不会出现什么问题，笔者在双十一期间遇到的问题，就证明了Zookeeper的，脆弱性，，而zookeeper的脆弱...

  我们都知道Kafka是基于磁盘进行存储的，但Kafka官方又称其具有高性能、高吞吐、低延时的特点，其吞吐量动辄几十上百万，在座的靓仔和靓女们是不是有点困惑了，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，那Kafka又是怎么做到其吞吐量动辄几十上百万的呢，KafkaReactorI...

  你是一个程序员，假设你维护了两个服务A和B，B服务每秒只能处理100个消息，但A服务却每秒发出200个消息，B服务哪里顶得住，分分钟被压垮，那么问题就来了，有没有办法让B在不被压垮的同时，还能处理掉A的消息，当然有，没有什么是加一层中间层不能解决的，如果有，那就再加一层，这次我们要加的中间层是消息队...

  哈喽大家好，我是咸鱼今天我们继续来讲一讲Kafka当消息被生产出来的时候，如果没有指定分区或者指定key，那么消费会按照，轮询，的方式均匀地分配到所有可用分区中，但不一定按照分区顺序来分配我们知道，在Kafka中消费者可以订阅一个或多个主题，并被分配一个或多个分区如果一个消费者消费了多个分区，某些场...

  MQ，MessageQueue，消息积压问题指的是在消息队列中累积了大量未处理的消息，导致消息队列中的消息积压严重，超出系统处理能力，影响系统性能和稳定性的现象，1、消息积压是哪个环节的问题，MQ执行有三大阶段，很显然，消息堆积是出现在第三个消息消费阶段的，消息积压问题的处理取决于消息积压的类型，例...

  该函数是Kafka服务进程的入口，它是整个Kafka运行过程的驱动程序，该函数首先通过调用getPropsFromArgs函数解析命令行参数并获得属性集合，然后使用这些属性创建KafkaServerStartable实例，接着，它注册一个shutdownhook，用于在程序终止时执行KafkaSer...

  背景我司使用的是亚马逊厂商的云服务，厂商的消息队列产品我们并没有用，我们选择自建，自建的好处是更灵活，定制性更广，公司内部有多套Kafka集群，100，broker节点，针对kafka我司也有比较完善的自动化运维管理体系，最近出现过一次业务连接kafka集群频繁超时的情况，在这里记录下处理过程，加深...

  1、背景引入，很多同学看不懂kafka参数今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统，而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的，所以我就见过很多年轻的同学，可能刚刚加入团队，对Kafka这个技术其实并...

  一文聊透如何监控Kafka服务2023，05，1108，16，13今天我们来讲解几款Kafka常用可视化监控工具，主要有以下几个，JConsole，、，KafkaManager，、，KafkaOffsetExplorer，、，KafkaOffsetMonitor，、，LogiKM，大家好，我是华仔，...