正文
flink学习笔记-快速生成Flink项目
提示：扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：
Flink大数据项目实战：http://t.cn/EJtKhaz
1. 快速生成Flink项目
1.推荐开发工具
idea+maven+git
2.推荐开发语言
Java或者Scala
https://ci.apache.org/projects/flink/flink-docs-release-1.6/quickstart/java_api_quickstart.html
3.Flink项目构建步骤
1）通过maven构建Flink项目
这里我们选择构建1.6.2版本的Flink项目，打开终端输入如下命令：
mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.6.2
项目构建过程中需要输入groupId，artifactId，version和package
然后输入y确认
然后显示Maven项目构建成功
2）打开IDEA导入Flink 构建的maven项目
打开IDEA开发工具，点击open选项
选择刚刚创建的Flink项目
IDEA打开Flink项目
2. Flink Batch版WordCount
新建一个batch package
打开github Flink源码，将批处理WordCount代码copy到batch包下。
https://github.com/apache/flink/tree/master/flink-examples/flink-examples-batch/src/main/java/org/apache/flink/examples/java/wordcount
打开批处理WordCount代码：
右键选择run，运行Flink批处理WordCount，运行结果如下所示：
3. Flink Stream版WordCount
同样，流处理我们也单独创建一个包stream
打开github Flink源码，将流处理WordCount代码copy到stream包下。
https://github.com/apache/flink/tree/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/wordcount
打开流处理WordCount代码：
右键选择run，运行Flink流处理WordCount，运行结果如下所示：
（3）Flink核心概念与编程模型1. Flink分层架构
1.1 Flink生态之核心组件栈
大家回顾一下Flink生态圈中的核心组件栈即可，前面已经详细讲过，这里就不再赘叙。
1.2 Flink分层架构
Flink一共分为四个层级，具体如下图所示：
Flink 最下面的一层API为Stateful Stream Processing，它是Flink最底层的API，控制更灵活但一般很少使用。然后上面一层就是Flink Core（核心）API，它包含DataStream和DataSet API，应用层的用户经常使用 Core API。然后再上面一层就是 Table API，它相当于在Core API中可以定义数据的Table结构，可以做table操作。最上面一层就是SQL 操作，用户可以直接使用SQL语句对数据处理，更简单更方便。
注意：越底层的API越灵活，但越复杂。越上层的API越轻便，但灵活性差。
- Stateful Stream Processing
a）它位于最底层，是Core API 的底层实现。
b）它是嵌入到Stream流里面的处理函数（processFunction）。
c）当Core API满足不了用户需求，可以利用低阶API构建一些新的组件或者算子。
d）它虽然灵活性高，但开发比较复杂，需要具备一定的编码能力。
- Core API
a） DataSet API 是批处理API，处理有限的数据集。
b） DataStream API是流处理API，处理无限的数据集。
- Table API & SQL
a）SQL 构建在Table 之上，都需要构建Table 环境。
b）不同的类型的Table 构建不同的Table 环境中。
c）Table 可以与DataStream或者DataSet进行相互转换。
d）Streaming SQL不同于存储的SQL，最终会转化为流式执行计划。
1.3Flink DataFlow
Flink DataFlow基本套路：先创建Data Source读取数据，然后对数据进行转化操作，然后创建DataSink对数据输出。
结合代码和示意图理解DataFlow
Flink DataFlow 基本套路如下所示：
步骤1：构建计算环境(决定采用哪种计算执行方式)
步骤2：创建Source(可以多个数据源)
步骤3：对数据进行不同方式的转换(提供了丰富的算子)
步骤4：对结果的数据进行Sink(可以输出到多个地方)
并行化DataFlow
从上图可以看出Source的并行度为2，它们可以并行运行在不同的节点上。Map的并行度也为2，source读取数据后做Stream Partition操作，source1将数据交给map1，source2将数据交给map2。keyBy（或者window等）的并行度为2，map处理后的数据需要经过shuffle操作，然后交给keyBy进行分组统计。Sink的并行度为1，keyBy最后分组统计后的数据交给sink，将数据进行输出操作。
算子间数据传递模式
从上图可以看出，Flink算子间的数据传递模式大概分为两种：
1.One-to-one streams：保持元素的分区和顺序，比如数据做map操作。
2.Redistributing streams： 它会改变流的分区，重新分区策略取决于使用的算子
keyBy() (re-partitions by hashing the key) ：根据hash key对数据重新分区。
broadcast()：即为广播操作，比如map1有100条数据，发送给keyBy1是100条数据，发给keyBy2也是100条数据。
rebalance() (which re-partitions randomly)：即随机打散，数据随机分区发送给下游操作。
2. Windows
前面我们已经了解了Flink的Stream流处理和Batch批处理，那么我们这里讲的Windows操作是对一段数据进行操作，它可以按照固定数据量进行Windows操作，也可以按照固定时间进行windows操作，它是Stream 流处理所特有的窗口操作。
Flink Windows操作的类型大概分为以下几类：
- Count Windows
顾名思义，是按照Events的数量进行操作，比如每3个Event做一次windows操作。
- Time Windows
基于时间长度进行Windows操作
a） Tumbling Windows：即翻滚窗口，不会重叠，比如每隔3s操作一次。
b） Sliding Windows：即滑动窗口，有重叠，比如窗口大小为3s，每次向前滑动1s。
c） Session Windows：类似于Web编程里的Session，以不活动间隙作为窗口进行操作，比如每10s内没有活动，就会做一次Windows操作。
- 自定义Windows
当Flink内置的windows不能满足用户的需求，我们可以自定义Windows操作。
