用了这么久spark了，今天总结下他的一些优化方面的核心原理，今天我们分这么几个方面来谈:

一.RDD

RDD是弹性分布式数据集的简称，他是其他后来者，比如DataFrame,DataSet等的基础。他有四大核心属性，如下所示。

这4 大属性又可以划分为两类，横向属性和纵向属性。其中，横向属性锚定数据分片实体，并规定了数据分片在分布式集群中如何分布。

纵向属性用于在纵深方向构建 DAG，通过提供重构 RDD 的容错能力保障内存计算的稳定性。

其实RDD还有个特性:优先位置列表.算上他总共有5大特性。白话文总结就是:3个列表，2个函数。3个列表是分区列表，依赖列表和优先位置列表;2个函数就是：计算函数和分区函数。

二.内存计算

在 Spark 中，内存计算有两层含义：第一层含义就是众所周知的分布式数据缓存，第二层含义是 Stage 内的流水线式计算模式。

流水线计算模式指的是：在同一 Stage 内部，所有算子融合为一个函数，Stage 的输出结果由这个函数一次性作用在输入数据集而产生。

所谓内存计算，不仅仅是指数据可以缓存在内存中，更重要的是，通过计算的融合来大幅提升数据在内存中的转换效率，进而从整体上提升应用的执行性能。

比如这个栗子:

如图所示，在上面的计算流程中，如果你把流水线看作是内存，每一步操作过后都会生成临时数据，如图中的 clean 和slice，这些临时数据都会缓存在内存里。但在下面的内存计算中，所有操作步骤如clean、slice、bake，都会被捏合在一起构成一个函数。这个函数一次性地作用在“带泥土豆”上，直接生成“即食薯片”，在内存中不产生任何中间数据形态。

补充下:从程序员的视角出发，DAG 的构建是通过在分布式数据集上不停地调用算子来完成的，DAG 以 Actions 算子为起点，从后向前回溯，以Shuffle 操作为边界，划分出不同的 Stages。同一 Stage 内所有算子融合为一个函数，Stage的输出结果由这个函数一次性作用在输入数据集而产生。