Flink1.12的状态后端

  1. MemoryStateBackend
    内部数据作为对象在java堆空间中存储。checkpoint时，状态快照发送给jobmanager。

//第一个参数是配置最大使用的堆内存大小 第二个是是否启用异步快照(默认true) 
new MemoryStateBackend(MAX_MEM_STATE_SIZE, false); 
env.setStateBackend(new MemoryStateBackend());
Java

  1. FsStateBackend

文件系统状态后端将正在进行的数据保存在TaskManager内存中。检查点完成后，将状态快照保存到文件系统中。最小的元数据存储在JobManager的内存中（或在高可用性模式下，存储在元数据检查点中）。

// 第一个参数是配置路径(hdfs://namenode:8020/flink/checkpoints或file:///data/flink/checkpoints)  // 第二个是是否启用异步快照(默认true)
new FsStateBackend(path, false);
env.setStateBackend(new FsStateBackend("hdfs://namenode:8020/flink/checkpoints"));
Java

  1. RocksDBStateBackend

RocksDB状态后端将RocksDB数据库中的数据保存在TaskManager目录中。检查点完成后，整个数据库的数据将进入配置的目录。最小的元数据存储在JobManager的内存中（或在高可用性模式下，存储在元数据检查点中）。

//第一个参数是配置路径(hdfs://namenode:8020/flink/checkpoints或file:///data/flink/checkpoints)  第二个是是否增量
new RocksDBStateBackend(path, true);
env.setStateBackend(new RocksDBStateBackend("hdfs://namenode:8020/flink/checkpoints"));
Java

Flink1.13的状态后端

  1. HashMapStateBackend

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStateBackend(new HashMapStateBackend());
//等价于MemoryStateBackend
env.getCheckpointConfig().setCheckpointStorage(new JobManagerStateBackend());
//等价于FsStateBackend
env.getCheckpointConfig().setCheckpointStorage(new FileSystemCheckpointStorage("hdfs://namenode:8020/flink/checkpoints"));
Java

  1. EmbeddedRocksDBStateBackend

//等价于RocksDBStateBackend，默认全量检查点
env.setStateBackend(new EmbeddedRocksDBStateBackend());
//开启增量检查点
env.setStateBackend(new EmbeddedRocksDBStateBackend(true));
env.getCheckpointConfig().setCheckpointStorage(new FileSystemCheckpointStorage("hdfs://namenode:8020/flink/checkpoints"));
Java