跳到主要内容
版本: Dev

EXECUTE PIPELINE

背景

该功能是为了在 Dinky 中直接提交 FlinkCDC 3.0 的 Pipeline 任务,并支持所有运行模式及 Dinky 的相关特性。 可以理解为把 FlinkCDC Pipeline 任务转换为 Operations,并可延用 Dinky 的能力。

注意事项
  1. 需要添加 Flink CDC 3.0 Pipeline 相关依赖才可使用。
  2. 内容使用了 yaml 语句,强烈要求注意缩进。
  3. 如果使用 CheckpointSavepoint ,请在右边作业,选择 Savepoint策略,其次检查点 跳过 请使用 execution.savepoint.ignore-unclaimed-state: true 参数控制

语法结构

EXECUTE PIPELINE WITHYAML (
<flinkcdc_pipeline_yaml>
)

Demo:

EXECUTE PIPELINE WITHYAML (
source:
type: mysql
hostname: localhost
port: 3306
username: root
password: 123456
tables: app_db.\.*
server-id: 5400-5404
server-time-zone: UTC

sink:
type: doris
fenodes: 127.0.0.1:8030
username: root
password: ""
table.create.properties.light_schema_change: true
table.create.properties.replication_num: 1

pipeline:
name: Sync MySQL Database to Doris
parallelism: 2
)