标签: 背压 | 程序员笔记

跳表 1 事务 1 clickhouse 1 数据传输 1 MemoryManagment 1 Slot 1 HA 1 Akka 1 RPC 1 ExecutionGraph 1 JobGraph 1 源码分析 3 StreamGraph 1 savepoint savepoint 1 ConcurrentHashMap 1 ORC 1 snapshot 1 ABS算法 1 lock 2 thread 1 kafka-producer 1 kafkaproducer partition 1 cgroup 1 HBase 1 LSM 2 B+树 1 SecondaryNmenode 1 NameNode 1 令牌桶 1 Guava 1 Flink CDC 1 Flink SQL 4 最佳实践 6 资源管理 2 维度表 1 调度 4 流批一体 2 join 2 Chain 1 Operator 1 ClassLoader 1 RocksDB 2 time 2 window 2 checkpoint 8 网络优化 1 watermark 3 背压 2 CEP 1 Shuffle 3 精确一致性 3 窗口 1 kafka-consumer 2 view 1 transformation 1 state 10 kudu 2 impala 2 内存管理 4 GC 1 Exception 1 多线程 1 YARN 1 MapReduce 2 HDFS 2 hadoop 0 Halo 0

flink 未读

Flink Back Pressure

1. 什么是 Back Pressure 如果看到任务的背压警告（如 High 级别），这意味着生成数据的速度比下游算子消费的的速度快。以一个简单的 Source -> Sink 作业为例。如果能看到 Source 有警告，这意味着 Sink 消耗数据的速度比 Source 生成速度慢。Sink

背压 2021-12-31

bigdataflink 未读

Flink 原理与实现：如何处理反压问题

流处理系统需要能优雅地处理反压（backpressure）问题。反压通常产生于这样的场景：短时负载高峰导致系统接收数据的速率远高于它处理数据的速率。许多日常问题都会导致反压，例如，垃圾回收停顿可能会导致流入的数据快速堆积，或者遇到大促或秒杀活动导致流量陡增。反压如果不能得到正确的处理，可能会导致资源

背压 2020-04-30