网站建设报价明细,软件开发专业哪个学校好,免费手机网站,开发微信小程序公司Shuffle 为何需要shuffle • Reduce阶段的数据来源于不同的Map Shuffle由Map端和Reduce端组成 Shuffle的核心机制 • 数据分区排序 Map端 • 对Map输出结果进行spill Reduce端 • 拷贝Map端输出结果到本地 • 对拷贝的数据进行归并排序Shuffle Map端 Map端会源源不断的把数据输…Shuffle 为何需要shuffle • Reduce阶段的数据来源于不同的Map Shuffle由Map端和Reduce端组成 Shuffle的核心机制 • 数据分区排序 Map端 • 对Map输出结果进行spill Reduce端 • 拷贝Map端输出结果到本地 • 对拷贝的数据进行归并排序Shuffle Map端 Map端会源源不断的把数据输入到一个环形内存缓冲区 达到阈值(默认80%)时 • 新启动一个线程 • 把内存缓冲区的数据溢写到磁盘 在溢出的过程中 • Partitioner分组 • 对于每个组按照key排序 Map处理完成后 • 对溢出到磁盘上的多个文件进行Merge操作 • 合并为一个大文件和一个索引文件Shuffle Reduce端 Map端完成之后后暴露一个Http Server给Reduce端获取数据使用 Reduce启动拷贝线程从各个Map端拷贝结果 • 大量的网络IO开销 一边拷贝一边进行Merge操作(归并排序)
