包含"Shuffle"标签的文章

  • Spark的两种核心Shuffle详解

      在MapReduce框架中,Shuffle阶段是连接Map与Reduce之间的桥梁,Map阶段通过Shuffle过程将数据输出到Reduce阶段中,由于Shuffle涉及磁盘的读写和网络I,O,因此Shuffle性能的高低直接影响整个程序的性能,Spark也有Map阶段和Reduce阶段,因此也会出...

    2024-11-15 467

联系我们

QQ号:***

微信号:***

工作日:9:30-18:30,节假日休息