flink架构设计与运行，flink架构原理

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

Flink集群架构

Flink采用Master-Slave架构，其中JobManager作为集群Master节点，主要负责任务协调和资源分配，TaskWorker作为Salve节点，用于执行流task。除了JobManager和TaskManager，还有一个重要的角色就是Client。

整个Flink的架构体系可以分为三层：Deployment层：该层主要涉及了Flink的部署模式，Flink支持多种部署模式：本地、集群（Standalone/YARN），云（GCE/EC2），Kubernetes等。

Flink Application Cluster集群部署模式又称为Application mode。该模式集群属于专属集群模式，只会执行一个Flink Application中的job，集群管理器为每个Flink Application启动一个flink runtime cluster(JobManager和TaskManager)。

Apache Flink 是一个流处理和批处理的开源框架，它用于构建大规模数据流和离线处理应用程序。Flink 提供了一个高效的分布式计算引擎，能够在多核和集群环境中处理实时数据流，并且能够同时处理大规模数据集。

Flink的集群，如果要使用到JobManager的HA，以及Yarn的资源调度的话，整体的部署过程还是比较复杂的。本系列文章将完整介绍Hadoop，Kerberos，SASL，Yarn，以及Flink集群的搭建过程，一步步完成整个系统环境的部署。

总的来说，Apache Flink是一个强大的流处理框架，适用于实时数据分析和处理。它具有高效的内存处理和分布式执行能力，可以轻松扩展到大规模集群，并拥有庞大的社区支持。这些特点使得Flink成为处理实时数据流的理想选择。

相关问答

Q1: 基于Flink的实时计算平台的构建

消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的。

像Flink 、 Spark Streaming 这类包含状态的实时计算框架，需要恢复 Master 节点的同时还需要对其状态进行恢复，Master 状态信息包含一些必要的配置、以及对 Slave 节点状态管理的信息(如“某个 Slave 节点的状态快照所在的 HDFS 路径”)。

Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个中间结果数据，而Transformation是一个操作，它对一个或多个输入Stream进行计算处理，输出一个或多个结果Stream。 Flink程序被执行的时候，它会被映射为Streaming Dataflow。

Flink在德语中是快速和灵敏的意思，用来体现流式数据处理速度快和灵活性强等特点。

Q2: Flink:特性、概念、组件栈、架构及原理分析

1、组件栈 Flink是一个分层架构的系统，每一层所包含的组件都提供了特定的抽象，用来服务于上层组件。

2、Flink流处理特性： Flink以层级式系统形式组件其软件栈，不同层的栈建立在其下层基础上，并且各层接受程序不同层的抽象形式。

3、在Flink整个软件架构体系中，统一遵循了分层的架构设计理念，在降低系统耦合度的同时，为上层用户构建Flink应用提供了丰富且友好的接口。

4、第一个是阿里巴巴重构了Flink的分布式架构，对Flink的作业调度和资源管理做了明确的分层和解耦。这样做的第一个好处是Flink可以在各种开源资源管理器上本地运行。

5、Flink目前是处理框架领域一个独特的技术。虽然Spark也可以执行批处理和流处理，但Spark的流处理采取的微批架构使其无法适用于很多用例。Flink流处理为先的方法可提供低延迟，高吞吐率，近乎逐项处理的能力。Flink的很多组件是自行管理的。

6、大数据处理的技术栈共有四个层次，分别是数据采集和传输层、数据存储层、数据处理和分析层、数据应用层。数据采集和传输层：这一层主要负责从各种数据源收集数据，并将数据传输到数据中心。

Q3: Flink架构、原理

理解Flink的容错机制，首先需要了解一下Barrier这个概念：Stream Barrier是Flink分布式Snapshotting中的核心元素，它会作为数据流的记录被同等看待，被插入到数据流中，将数据流中记录的进行分组，并沿着数据流的方向向前推进。

在Flink整个软件架构体系中，统一遵循了分层的架构设计理念，在降低系统耦合度的同时，为上层用户构建Flink应用提供了丰富且友好的接口。

下图则是与Flink类似的固定窗口+流式处理机制。由这张图可以看出启发式水印的问题：数据9在水印触发时实际上还没有到，也就是水印太快了。而数据7要到8触发水印时才会输出，也就是水印太慢了。