Flink对流处理和批处理采用统一的处理方式,执行模式可以通过execute.runtime-mode来配置。有三种可选的值:STREAMING:流模式,BATCH:批模式,AUTOMATIC:由系统决定。
在流模式下,所有任务需要一直在线运行,所以集群需要一次性分配足够的资源来运行所有任务。这样每个任务都可以立即执行新的记录,达到连续和低延迟的流处理。
流执行模式下,网络shuffle是流水式的,在网络层进行一些缓冲然后传递到下一个处理节点,在任务之间没有数据点。
在批处理模式下,作业可以一个阶段接一个阶段执行,集群只需要分配单个阶段的资源就可以运行任务。分阶段处理时Flink会将任务的中间结果保存到一些非永久性存储中,上游任务执行完毕可以下线,下游任务从存储中读取中间结果继续执行。
flink程序从编写到提交过程中执行图的转化涉及很多概念,在进行介绍执行图之前先了解一下Job、Operation、Task、SubTask、Task Slot等。
Flink的应用程序是由flink算子组合而的dataflow所组成,Flink会将程序直接映射成数据流图StreamGraph,在提交到集群前会优化生成JobGraph。JobManager会根据并发度生成执行图ExecutionGraph,然后调度部署到TaskManager的TaskSlot中形成物理执行图。
Flink中从程序到最后的物理执行分为四层:StreamGraph->JobGraph->ExecutionGraph->物理执行。
应用程序用用户自定义的算子组成,由输入算子、计算算子、输出算子三类组成。
在程序执行过程中,一个流可以有多个分区,也就是每个算子可以有多个子任务,每个任务并行的处理各自的数据。每个算子子任务的数量就是这个算子的并行度。
算子之间传输数据分为两种情况:
如果将每个算子都转化成一个任务,这样计算过程可能会需要线程切换、中间结果缓冲等,增加了调度开销和系统的延迟,所以会把一些算子算作一个任务进行调度,可以减少开销和延迟。如果增加算子链优化后,逻辑执行图如下:
每个TaskManager都是一个JVM进程,包含的多个TaskSlot是线程,每个TaskSlot可以执行一个或者多个SubTask。
Flink支持SubTask共享slot,即来自同一个作业的SubTask由同一个TaskSlot执行。这样所需要的TaskSlot和作业并行度一致,可以更好的利用资源,增加并行度。
Flink集群中JobManager负责调度SubTask在TaskManager上的执行。TaskManager通过TaskSlot来定义执行资源,每个TaskSlot可以执行一个SubTask或者来自同一个作业的多个SubTask。
比如:由一个数据源、并行度为4的Map和并行度为3的Reduce组成的作业。那么在TaskManager实际分配资源如下。
在JobGraph中的Task由数据结构JobVertex表示,包含并行度和运行的代码。
在ExecutionGraph中的SubTask由数据结构ExecutionVertex表示,ExecutionVertex负责跟踪子任务的执行状态,而数据结构ExecutionJobVertex会负责跟踪任务的执行状态。
Flink 作业刚开始会处于 created 状态,然后切换到 running 状态,当所有任务都执行完之后会切换到 finished 状态。
Finished、canceled 和 failed 会导致全局的终结状态,并且触发作业的清理。跟这些状态不同,suspended 状态只是一个局部的终结。局部的终结意味着作业的执行已经被对应的 JobManager 终结,但是集群中另外的 JobManager 依然可以从高可用存储里获取作业信息并重启。因此一个处于 suspended 状态的作业不会被彻底清理掉。
在整个 ExecutionGraph 执行期间,每个并行 task 都会经历多个阶段,从 created 状态到 finished 或 failed。下图展示了各种状态以及他们之间的转换关系。由于一个 task 可能会被执行多次(比如在异常恢复时),ExecutionVertex 的执行是由 Execution 来跟踪的,每个 ExecutionVertex 会记录当前的执行,以及之前的执行。
主要介绍Flink执行模式以及Flink作业提交过程中拓扑图的生产和优化,还有作业调度和其中涉及的数据结构。
1.Flink官网
文章浏览阅读122次。还是A+BTime Limit: 2000/1000 MS (Java/Others)Memory Limit: 65536/32768 K (Java/Others)Total Submission(s): 24568Accepted Submission(s): 11729Problem Description读入两个小于10000的正整数A和B,计算A+B。...
文章浏览阅读419次。HEADERS:在BASIC的基础上,额外记录了请求和响应的头信息。FULL:记录所有请求和响应的明细,包括头信息、请求体、元数据。BASIC:仅记录请求的方法,URL以及响应状态码和执行时间。NONE:不记录任何日志信息,这是默认值。配置Feign日志有两种方式;方式二:java代码实现。注解中声明则代表某服务。方式一:配置文件方式。_feign 日志设置
文章浏览阅读155次。将容器管理的持久性 Bean 用于面向服务的体系结构本文将介绍如何使用 IBM WebSphere Process Server 对容器管理的持久性 (CMP) Bean的连接和持久性逻辑加以控制,使其可以存储在非关系数据库..._javax.ejb.objectnotfoundexception: no such entity!
文章浏览阅读1.5k次。基础java练习题一、递归实现跳台阶从第一级跳到第n级,有多少种跳法一次可跳一级,也可跳两级。还能跳三级import java.math.BigDecimal;import java.util.Scanner;public class Main{ public static void main(String[]args){ Scanner reader=new Scanner(System.in); while(reader.hasNext()){ _java 递归例题
文章浏览阅读1.5k次,点赞6次,收藏6次。目录1.串应用- 计算一个串的最长的真前后缀题目描述输入输出样例输入样例输出题解2.字符串替换(string)题目描述输入输出样例输入样例输出题解3.可重叠子串 (Ver. I)题目描述输入输出样例输入样例输出题解4.字符串操作(string)题目描述输入输出样例输入样例输出题解1.串应用- 计算一个串的最长的真前后缀题目描述给定一个串,如ABCDAB,则ABCDAB的真前缀有:{ A, AB,ABC, ABCD, ABCDA }ABCDAB的真后缀有:{ B, AB,DAB, CDAB, BCDAB_对存储在string数组内的所有以字符‘a’开始并以字符‘e’结尾的单词做加密处理。
文章浏览阅读68次。西安交通大学/算法设计与问题求解/树与二叉树/MOOC_算法设计与问题求解西安交通大学
文章浏览阅读1.6k次。问题:在Vue项目中出现如下错误提示:[Vue warn]: Computed property "totalPrice" was assigned to but it has no setter. (found in <Anonymous>)代码:<input v-model="totalPrice"/>原因:v-model命令,因Vue 的双向数据绑定原理 , 会自动操作 totalPrice, 对其进行set 操作而 totalPrice 作为计..._computed property "totalprice" was assigned to but it has no setter.
文章浏览阅读60次。十分暴力而简洁的解决方式:读取P和T的位置并自动生成唯一正确答案,将题给测点与之对比,不一样就给我爬!_basic 1003 case 1
文章浏览阅读422次。原标题:详解将Web项目War包部署到Tomcat服务器基本步骤详解将Web项目War包部署到Tomcat服务器基本步骤1 War包War包一般是在进行Web开发时,通常是一个网站Project下的所有源码的集合,里面包含前台HTML/CSS/JS的代码,也包含Java的代码。当开发人员在自己的开发机器上调试所有代码并通过后,为了交给测试人员测试和未来进行产品发布,都需要将开发人员的源码打包成Wa..._/opt/bosssoft/war/medical-web.war/web-inf/web.xml of module medical-web.war.
文章浏览阅读3k次,点赞3次,收藏13次。# -*- coding: utf-8 -*-# 简述:这里有四个数字,分别是:1、2、3、4#提问:能组成多少个互不相同且无重复数字的三位数?各是多少?def f(n):list=[]count=0for i in range(1,n+1):for j in range(1, n+1):for k in range(1, n+1):if i!=j and j!=k and i!=k:list.a..._python求从0到9任意组合成三位数数字不能重复并输出
文章浏览阅读1k次,点赞3次,收藏2次。<el-table-column prop="studentSex" label="性别" :formatter="sex"></el-table-column>然后就在vue的methods中写方法就OK了methods: { sex(row,index){ if(row.studentSex == 1){ return '男'; }else{ return '女'; }..._elementui table 性别
文章浏览阅读1.1k次。java文件操作之移动文件到指定的目录_java中怎么将pro.txt移动到design_mode_code根目录下