1. 首页 > 百货 > 其他百货

Kafka和k8s构建下一代数据管道 用Spark

Lambda架构主要两个层次:Batch和Stream。Batch能够按照预定的批次转换数据,而Stream负责近乎实时地处理数据。Batch层通常被使用的场景是:在源系统中批量发送的数据,需要访问整个数据集,以进行所需的数据处理,不过因为数据集太大,无法执行流式处理。相反,那些带有小块数据包的高速数据需要在Speed层被处理。这些数据包要么相互独立,要么按照速度相近的方式形成了对应的上下文。显然,这两种类型的数据处理方式,都属于计算密集型,尽管Batch层的内存需求要高于Speed层。与之对应的架构方案需要具备可扩展性、容错性、性能优势、成本效益、灵活性、以及分布式。

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载者并注明出处:https://jmbhsh.com/qitabaihuo/36474.html

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息