基于k8s部署Session模式Flink集群

在分布式计算领域中，Apache Flink是一个快速、可靠且易于使用的计算引擎。Flink集群是一个分布式系统，它由Flink JobManager和多个Flink TaskManager组成。部署Flink集群时，高可用性是非常重要的一个考虑因素。在本文中，我们将介绍如何基于kubernetes(k8s)部署高可用Session模式的Flink集群,并使用minio作为文件系统(filesystem)。

什么是Session模式

在Flink中，有两种部署模式：Standalone和Session。Standalone模式下，Flink集群是一组独立的进程，它们共享同一个配置文件，并通过Akka通信。Session模式下，Flink集群是动态的、可伸缩的，可以根据需要启动或停止。Session模式下，Flink JobManager和TaskManager进程运行在容器中，可以通过k8s进行动态管理。

Session模式的优点是：

• 可以根据需要启动或停止Flink集群
• 可以动态添加或删除TaskManager
• 可以使用k8s的伸缩功能自动调整Flink集群的大小
• 可以与k8s的其他资源进行整合，例如存储卷、网络策略等

因此，Session模式是在Kubernetes上部署Flink集群的首选模式。

Flink的filesystem

在 Flink 的处理过程中，数据可能会存储在不同的文件系统中，如本地文件系统、HDFS、S3 等。为了统一处理这些文件系统，Flink 引入了 FileSystem 的概念，它是一个抽象的接口，提供了对不同文件系统的统一访问方式。

fileSystem 的实现类可以通过 Flink 的配置文件指定。Flink 支持多种文件系统，包括本地文件系统、HDFS、S3、Google Cloud Storage 等,因为minio实现了s3协议,所以也可以使用minio来作为文件系统。

基于k8s部署高可用Session模式Flink集群

各组件版本号

制作镜像

使用minio作为文件系统需要增加s3相关的依赖jar包,所以需要自己制作镜像

Dockerfile: