flink
未读
Flink Shuffle机制的重构与优化
1. 概述 本文讲述的shuffle概念范围如下图虚线框所示，从上游算子产出数据到下游算子消费数据的全部流程，基本可以划分成三个子模块： 上游写数据：算子产出的record序列化成buffer数据结构插入到sub partition队列； 网络传输：上下游可能调度部署到不同的container中，上
Flink Sort-Shuffle 实现简介
本文介绍 Sort-Shuffle 如何帮助 Flink 在应对大规模批数据处理任务时更加游刃有余。主要内容包括： 数据 Shuffle 简介 引入 Sort-Shuffle 的意义 Flink Sort-Shuffle 实现 测试结果 调优参数 未来展望 Flink 作为批流一体的大数据计算引擎，
Flink 1.13：面向流批一体的运行时与 DataStream API 优化
本文由社区志愿者苗文婷整理，内容来源自阿里巴巴技术专家高赟(云骞) 在 5 月 22 日北京站 Flink Meetup 分享的《面向流批一体的 Flink 运行时与 DataStream API 优化》。文章主要分为 4 个部分： 回顾 Flink 流批一体的设计 介绍针对运行时的优化点 介绍针对