Doris Pipeline 连接器¶
本文介绍了Pipeline Doris Connector的使用
示例¶
source:
type: values
name: Values Source
sink:
type: doris
name: Doris Sink
fenodes: 127.0.0.1:8030
username: root
password: ""
table.create.properties.replication_num: 1
pipeline:
parallelism: 1
Pipeline选项¶
| Option | Required | Default | Type | Description |
|---|---|---|---|---|
| type | required | (none) | String | 指定要使用的Sink, 这里是 'doris'. |
| name | optional | (none) | String | PipeLine的名称 |
| fenodes | required | (none) | String | Doris集群FE的Http地址, 比如 127.0.0.1:8030 |
| benodes | optional | (none) | String | Doris集群BE的Http地址, 比如 127.0.0.1:8040 |
| jdbc-url | optional | (none) | String | Doris集群的JDBC地址，比如：jdbc:mysql://127.0.0.1:9030/db |
| username | required | (none) | String | Doris集群的用户名 |
| password | optional | (none) | String | Doris集群的密码 |
| auto-redirect | optional | false | String | 是否通过FE重定向写入，直连BE写入 |
| sink.enable.batch-mode | optional | true | Boolean | 是否使用攒批方式写入Doris |
| sink.flush.queue-size | optional | 2 | Integer | 攒批写入的队列大小 |
| sink.buffer-flush.max-rows | optional | 50000 | Integer | 单个批次最大Flush的记录数 |
| sink.buffer-flush.max-bytes | optional | 10485760(10MB) | Integer | 单个批次最大Flush的字节数 |
| sink.buffer-flush.interval | optional | 10s | String | Flush的间隔时长，超过这个时间，将异步Flush数据 |
| sink.properties. | optional | (none) | String | StreamLoad的参数。
For example: sink.properties.strict_mode: true.
查看更多关于 StreamLoad的Properties 属性 |
| table.create.properties.* | optional | (none) | String | 创建表的Properties配置。
For example: table.create.properties.replication_num: 1.
查看更多关于 Doris Table 的 Properties 属性 |