在MapReduce框架中，Shuffle阶段是连接Map与Reduce之间的桥梁，Map阶段通过Shuffle过程将数据输出到Reduce阶段中，由于Shuffle涉及磁盘的读写和网络I，O，因此Shuffle性能的高低直接影响整个程序的性能，Spark也有Map阶段和Reduce阶段，因此也会出...

  以Flink和Spark为代表的分布式流批计算框架的下层资源管理平台逐渐从Hadoop生态的YARN转向Kubernetes生态的k8s原生scheduler以及周边资源调度器，比如Volcano和Yunikorn等，这篇文章简单比较一下两种计算框架在NativeKubernetes的支持和实现上的...

  一、云原生化挑战及阿里实践大数据技术发展趋势云原生化面临挑战如何构建以对象存储为底座的HCFS文件系统完全兼容现有的HDFS性能对标HDFS，成本降低如何解决ACK混合异构机型异构机型没有本地盘社区[Spark，25299]讨论，支持Spark动态资源，成为业界共识如何有效支持跨机房、跨专线混合云需...

  本文从数据倾斜的危害、现象、原因等方面，由浅入深阐述Spark数据倾斜及其解决方案，一、什么是数据倾斜对Spark，Hadoop这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜，对于分布式系统而言，理想情况下，随着系统规模，节点数量，的增加，应用整体耗时线性下降，如果一台机器处理一批大...

  任务提交脚本脚本模板当我们提交一个Spark作业到YARN上，通常情况下会使用如下的脚本模板，参数解读具体参数的含义如下图所示，每个executor的最大核数每个node的executor数=总核数，每个executor的最大cup核数，具体是通过参数yarn.nodemanager.resourc...

  用了这么久spark了，今天总结下他的一些优化方面的核心原理，今天我们分这么几个方面来谈，一.RDDRDD是弹性分布式数据集的简称，他是其他后来者，比如DataFrame，DataSet等的基础，他有四大核心属性，如下所示，这4大属性又可以划分为两类，横向属性和纵向属性，其中，横向属性锚定数据分片实...

  在Spark中，内存计算有两层含义，那Stage内的流水线式计算模式到底长啥样呢?在Spark中，流水线计算模式指的是，在同一Stage内部，所有算子融合为一个函数，Stage的输出结果，由这个函数一次性作用在输入数据集而产生，我们用一张图来直观地解释这一计算模式，在上面的计算流程中，如果你把流水线...

  大家好久不见了，最近生活发生了很多变故，同时我也大病了一场，希望一切都尽快好起来吧，今天跟大家分享下Spark吧，谈谈如何修改SparkSQL解析，让其更符合你的业务逻辑，好，我们开始吧......。...

  首先我们先来了解一下SparkSQL的整体执行流程，输入的查询先被解析成未关联元数据的逻辑计划，然后根据元数据和解析规则，生成逻辑计划，再经过优化规则，形成优化过的逻辑计划，RBO，，将逻辑计划转换成物理计划在经过代价模型，CBO，，输出真正的物理执行计划，...。...

  众所周知，Spark它是专门为大规模数据处理而设计的快速通用计算引擎，因此Spark它在数据的挖掘等领域便有着非常广泛的应用，而从现阶段来讲的话它也已经形成了一个高速发展并且应用相当广泛的生态系统了，所以，今天这篇文章便要为大家做一个Spark入门基础的简单介绍，满满干货，请不要错过，一．关于Spa...

  一旦我们有了数据帧，我们就可以运行尽可能多的sql查询，并根据所需的有效负载写入kafka主题，因此，我们可以创建一个包含所有sql查询的列表，并通过该列表进行循环，并调用writeStream函数，让我们假设，我们有一个名为queryList的列表，它只包含字符串，即sql查询，...。...

  Spark3.0为我们带来了许多令人期待的特性，动态分区裁剪，dynamicpartitionpruning，就是其中之一，本文将通过图文的形式来带大家理解什么是动态分区裁剪，Spark中的静态分区裁剪在介绍动态分区裁剪之前，有必要对Spark中的静态分区裁剪进行介绍，在标准数据库术语中，裁剪意味着...

  大约十年前，大数据开始流行，随着存储成本不断下降，很多企业开始存储他们获取或生成的大部分数据，以便他们可以挖掘这些数据，以获得关键的业务洞察力，企业分析所有这些数据的需求推动着各种大数据框架的开发，这些框架能够筛选大量数据，从Hadoop开始，大数据框架最初用于数据仓库或数据湖中的静态数据，但最近的...

  面对Hadoop与Spark孰优孰劣这个问题，最准确的观点就是，设计人员旨在让Hadoop和Spark在同一个团队里面协同运行，直接比较Hadoop和Spark有难度，因为它们处理的许多任务都一样，但是在一些方面又并不相互重叠，比如说，Spark没有文件管理功能，因而必须依赖Hadoop分布式文件系...

  我们一起聊聊如何做一个优秀的数据分析项目，纵观整个过程，我们能看到，做好项目的过程，就是把数据方法应用于企业实践的过程，数据本身有统计学、数学、编程、数据库等专业知识，但其中相当部分，比如数仓、ETL，是为保障数据本身的正常运行；相当部分，比如语义判断、图像识别，是用于工业应用，不用考虑业务理解和配...