跳到主要内容
版本: 0.6

Flink SQL 作业快速入门

零基础上手​

Dinky 是基于 Flink 的流批一体化数据汇聚、数据同步的实时计算平台，通过阅读本文档，您将可以零基础上手实时计算平台 Dinky 。

创建集群配置或集群实例​

首先，登录 Dlinky，选择注册中心>>集群管理>>集群实例管理或集群配置管理，点击新建 Flink 集群

说明

集群实例管理或集群配置管理添加集群步骤相同

集群实例管理或集群配置管理可通过数据开发>>快捷引导 进行集群创建

创建作业​

选择数据开发>>目录，首先点击创建目录，点击创建好的目录右键即可创建作业

image-20220625124837416

创建集群​

集群实例​

Dinky 推荐您在使用 Yarn Session、K8s Session、StandAlone 采用集群实例的方式注册集群。

操作步骤

1.可通过数据开发中的快捷引导注册集群实例。或者通过注册中心中的集群管理注册集群实例。

2.添加 Flink 集群

image-20220625130448549

集群实例创建完成后，会显示在列表。

cluserInstanceList

集群配置​

Dinky 推荐您在使用 Yarn Per Job、Yarn Application、K8s Application 采用集群配置的方式注册集群。

操作步骤

1.可通过数据开发中的快捷引导注册集群配置。或者通过注册中心中的集群管理注册集群配置。

2.添加集群配置

cluseterConfig1

cluseterConfig2

集群配置创建完成后，会显示在列表。

cluseterConfigList

先关集群管理的说明，详见用户手册中注册中心的集群管理

作业开发​

创建集群完成后，就可进一步开发 FlinkSQL 作业

脚本准备​

脚本选用 Flink 官网提供的 SQL 脚本，参考链接如下：

https://github.com/ververica/flink-sql-cookbook
#下载 flink-faker 放入$FLINK_HOME/lib下及Dlinky的plugins下
https://github.com/knaufk/flink-faker/releases

FlinkSQL 作业创建​

下面创建一个作业名称为"test66"的作业

createJob

创建完成后，即可在"test66"作业下写 SQL 及 配置作业参数

createJob2

FlinkSQL 语句编写​

FlinkSQL 作业编写，分为三部分内容，分别是 SET 参数设置、DDL 语句编写、DML 语句编写。下面以Inserting Into Tables 为例。

SQL

另外，FlinkSQL 的语法详见 SQL 开发指南

作业配置​

当 FlinkSQL 编写完成后，即可进行作业的配置。作业配置的详细说明详见用户手册的作业基础配置

在作业配置中，您可以选择作业执行模式、Flink 集群、SavePoint策略等配置，对作业进行提交前的配置。

job_config

SQL查询预览​

上述 FlinkSQL 作业配置完成后，可以对 SQL 做查询预览。

点击执行配置，开启打印流，保存。点击执行当前的SQL。即可获取到最新结果。

SQLView

发布运行作业​

在数据写入 Sink 端时，Dlinky 提供了异步提交 和 上线发布功能，将其作业提交到远程集群

SQLInsert

查看作业运行情况​

当作业提交到远程集群后，您可以在运维中心查看作业的运行情况。

dataopsCenter

运维中心的说明，详见用户手册的运维中心

作业开发指引​

import