官宣|Apache Flink 1.19 发布公告
一、Flink SQL 提升 源表自定义并行度 现在,在 Flink 1.19 中,您可以通过选 scan.parallelism 设置自定义并行度,以调整性能。第一个可用的连接器是 DataGen( Kafka 连接器即将推出)。下面是一个使用 SQL Client 的示例: -- set par
官宣|Apache Flink 1.18 发布公告
迈向 Streaming Lakehouse Flink SQL 提升 Flink SQL Gateway 的 JDBC Driver Flink 1.18 版本提供了 Flink SQL Gateway 的 JDBC Driver。因此,您现在可以使用支持 JDBC 的任何 SQL 客户端通过 F
官宣|Apache Flink 1.17 发布公告
迈向 Streaming Warehouse 为了在 流式数仓 领域实现更高效的处理,Flink 1.17 对批处理和流处理的性能和语义都进行了实质性的改进。这些增强措施代表了朝着创建一个更高效、更简化的数据仓库,能够实时处理大量数据的目标迈进了一大步。<
官宣|Apache Flink 1.16 发布公告
Flink 已经是流计算领域的领跑者,流批一体的概念逐渐得到大家的认可,并在越来越多的公司成功落地。之前的流批一体更强调统一的 API 和统一的计算框架。今年,在此基础上,Flink 推出了 Streaming Warehouse[2],进一步升级了流批一体的概念:真正完成了流批一体的计算和流批一体
官宣|Apache Flink 1.15 发布公告
Apache Flink 核心概念之一是流 (无界数据) 批 (有界数据) 一体。流批一体极大的降低了流批融合作业的开发复杂度。在过去的几个版本中,Flink 流批一体逐渐成熟,Flink 1.15 版本中流批一体更加完善,后面我们也将继续推动这一方向的进展。目前大数据处理的一个趋势是越来越多的业务
官宣|Apache Flink 1.14.0 发布公告
新版本在 SQL API、更多连接器支持、Checkpoint 机制、PyFlink 等多个方面带来了大量的新特性与改进。其中一个主要的改进是针对流批一体的使用体验。我们相信,在实践中,对无界的数据流的处理与对有界的批数据的处理是密不可分的,因为很多场景都需要在处理实时数据流的同时处理来自各种数据源
flink
未读
Flink Shuffle机制的重构与优化
1. 概述 本文讲述的shuffle概念范围如下图虚线框所示,从上游算子产出数据到下游算子消费数据的全部流程,基本可以划分成三个子模块: 上游写数据:算子产出的record序列化成buffer数据结构插入到sub partition队列; 网络传输:上下游可能调度部署到不同的container中,上
flink
未读
Flink DataStream API 批处理能力演进之路
摘要:本文由阿里云 Flink 团队郭伟杰老师撰写,旨在向 Flink Batch 社区用户介绍 Flink DataStream API 批处理能力的演进之路。内容主要分为以下三个部分: 批处理语义和性能优化 Batch API 功能增强 总结 最近在和一个朋友闲聊时,他问了一个很有意思的问题:F
深入解读 Flink 1.17
摘要:本文整理自阿里云技术专家,Apache Flink PMC Member & Committer、Flink CDC Maintainer 徐榜江(雪尽) 在深入解读 Flink 1.17 的分享。内容主要分为四个部分: Flink 1.17 Overview Flink 1.17 Overa