Flink作业提交具体步骤是怎样的?
- 内容介绍
- 文章标签
- 相关推荐
本文共计3536个文字,预计阅读时间需要15分钟。
大家好,我是小寒。今天给大家带来一篇Flink作业相关的文章。我们都知道,在开发完一个Flink应用后,需要将其打包成jar包,然后通过Flink CLI或Web UI提交作业到Flink集群。
大家好,我是小寒~
今天给大家带来一篇 flink 作业提交相关的文章。
我们都知道,在开发完一个 flink 应用程序后,打包成 jar 包,然后通过 FLink CLI 或者 Web UI 提交作业到 FLink 集群。其实,Flink 的 jar 文件并不是 FLink 集群的可执行文件,需要经过转换之后提交给集群。其转换过程分为两个大的步骤。
- 在 FLink Client 中通过反射启动 Jar 中的 main 函数,生成 Flink StreamGraph、JobGraph,将 JobGraph 提交给 Flink 集群。
- FLink 集群收到 JobGraph 之后,将 JobGraph 翻译成 ExecutionGraph,然后开始调度执行,启动成功之后开始消费数据。
总的来说,对用户API的调用,可以转换为 StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行拓扑(Task DAG)
提交流程FLink 作业在开发完毕之后,需要提交到 FLink 集群执行。
本文共计3536个文字,预计阅读时间需要15分钟。
大家好,我是小寒。今天给大家带来一篇Flink作业相关的文章。我们都知道,在开发完一个Flink应用后,需要将其打包成jar包,然后通过Flink CLI或Web UI提交作业到Flink集群。
大家好,我是小寒~
今天给大家带来一篇 flink 作业提交相关的文章。
我们都知道,在开发完一个 flink 应用程序后,打包成 jar 包,然后通过 FLink CLI 或者 Web UI 提交作业到 FLink 集群。其实,Flink 的 jar 文件并不是 FLink 集群的可执行文件,需要经过转换之后提交给集群。其转换过程分为两个大的步骤。
- 在 FLink Client 中通过反射启动 Jar 中的 main 函数,生成 Flink StreamGraph、JobGraph,将 JobGraph 提交给 Flink 集群。
- FLink 集群收到 JobGraph 之后,将 JobGraph 翻译成 ExecutionGraph,然后开始调度执行,启动成功之后开始消费数据。
总的来说,对用户API的调用,可以转换为 StreamGraph -> JobGraph -> ExecutionGraph -> 物理执行拓扑(Task DAG)
提交流程FLink 作业在开发完毕之后,需要提交到 FLink 集群执行。

