深入解读 Flink 1.17
摘要：本文整理自阿里云技术专家，Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 的分享。内容主要分为四个部分： Flink 1.17 Overview Flink 1.17 Overa
Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint
流处理系统最重要的特性是端到端的延迟，端到端延迟是指开始处理输入数据到输出该数据产生的结果所需的时间。Flink，作为流式计算的标杆，其端到端延迟包括容错的快慢主要取决于检查点机制（Checkpointing），所以如何将 Checkpoint 做得高效稳定是 Flink 流计算的首要任务。我们在
flink
未读
Flink CheckPoint奇技淫巧 | 原理和在生产中的应用
Flink本身为了保证其高可用的特性，以及保证作用的Exactly Once的快速恢复，进而提供了一套强大的Checkpoint机制。 Checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一
Flink几篇核心论文
Lightweight Asynchronous Snapshots for Distributed Dataflows Lightweight Asynchronous Snapshots for Distributed Dataflows.pdf Apache Flink™: Stream an
Hadoop Namenode元数据持久化机制与SecondaryNamenode的作用详解
概述 我们都知道namenode是用来存储元数据的，他并不是用来存储真正的数据。 那么他的元数据怎么进行持久化呢！ FsImage 文件系统的镜像文件叫fsImage，它包括了文件和块信息的映射，还有文件系统的属性信息。
轻量级异步屏障快照（ABS）算法解析
Flink的检查点过程正是依赖于Chandy-Lamport算法的“本地化”版本——异步屏障快照（asynchronous barrier snapshotting, ABS）算法。该算法由五位大佬（其中也包含Data Artisans的两位：Stephen Ewen与Kostas Tzoumas）
Flink Checkpoint 问题排查实用指南
在 Flink 中，状态可靠性保证由 Checkpoint 支持，当作业出现 failover 的情况下，Flink 会从最近成功的 Checkpoint 恢复。在实际情况中，我们可能会遇到 Checkpoint 失败，或者 Checkpoint 慢的情况，本文会统一聊一聊 Flink 中 Chec
Flink 的状态管理和检查点机制
从状态说起 状态 (State) 是 Flink 程序中构建复杂逻辑的基本组件。流处理中的状态可以视作算子上的记忆能力，可以保留和已经处理完的输入相关的信息，并对后续输入的处理造成影响。与之相反，流处理中的无状态操作只会考虑到当前处理的元素，不会受到处理完毕的元素的影响，也不会影响到后续待处理的元素