深入解读 Flink 1.17
摘要：本文整理自阿里云技术专家，Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 的分享。内容主要分为四个部分： Flink 1.17 Overview Flink 1.17 Overa
自适应批作业调度器：为 Flink 批作业自动推导并行度
一、引言 对大部分用户来说，为 Flink 算子配置合适的并行度并不是一件容易的事。对于批作业，小的并行度会导致作业运行时间长，故障恢复慢，而不必要的大并行度会导致资源浪费，任务部署和数据 shuffle 开销也会变大。 为了控制批作业的执行时长，算子的并行度应该和其需要处理的数据量成正比。用户需要
Flink 1.13：面向流批一体的运行时与 DataStream API 优化
本文由社区志愿者苗文婷整理，内容来源自阿里巴巴技术专家高赟(云骞) 在 5 月 22 日北京站 Flink Meetup 分享的《面向流批一体的 Flink 运行时与 DataStream API 优化》。文章主要分为 4 个部分： 回顾 Flink 流批一体的设计 介绍针对运行时的优化点 介绍针对
浅谈Linux cgroup机制与YARN的CPU资源隔离
前言 我们在生产环境中经常可以发现有计算密集型任务争用NodeManager的CPU，以及个别Container消耗太多CPU资源导致其他系统服务抖动的情况。好在Hadoop 2.2版本之后，YARN通过利用Linux系统的cgroup机制支持了CPU资源隔离。本文先简单看看cgroup，然后分析一