Skip to content

Commit

Permalink
[Doc] added resource hdfs ha doc (DataLinkDC#3062)
Browse files Browse the repository at this point in the history
  • Loading branch information
Zzm0809 authored Jan 25, 2024
1 parent 04df91e commit 65b7194
Showing 1 changed file with 12 additions and 3 deletions.
Original file line number Diff line number Diff line change
Expand Up @@ -27,18 +27,27 @@ HDFS, OSS 三种文件系统.

### HDFS 配置

![global_setting_resource_hdfs](http://pic.dinky.org.cn/dinky/docs/test/global_setting_resource_hdfs.png)
![global_setting_resource_hdfs](http://pic.dinky.org.cn/dinky/docs/zh-CN/user_guide/system_setting/global_settings/resource_setting/global_setting_resource_hdfs.png)

| 参数名称 | 参数说明 | 默认值 |
|----------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|----------|
| 是否启用Resource | 启用资源管理功能,如果切换存储模式时,需关闭此开关,相关配置完成后,再开启。 | true |
| 存储模式 | 支持HDFS、S3(Minio、阿里云OSS、腾讯云COS等..),切换选项后即可生效。 | Local |
| 上传目录的根路径 | 资源存储在HDFS/OSS (S3)路径上,资源文件将存储到此基本路径,自行配置,请确保该目录存在于相关存储系统上并具有读写权限。<br/>如果是本地存储,则写本地文件存储路径,如 /User/xxx/data<br/>如果是 HDFS 存储则写 HDFS 文件访问路径,如 hdfs://localhost:9000/user/xxx<br/>如果是 OSS 存储则写 OSS 文件访问路径,如 oss://dinky/xxx ||
| HDFS操作用户名 | hdfs用户名 | hdfs |
| HDFS defaultFS | fs.defaultFS 配置项,例如: 远程 HDFS:hdfs://localhost:9000,本地:file:/// | file:/// |
| HDFS defaultFS | fs.defaultFS 配置项,例如: 远程 HDFS:hdfs://localhost:9000,本地:file:/// 高可用: hdfs://namespace | file:/// |
| core-site.xml | core-site.xml 配置文件内容,高可用必填 , 请手动将配置文件内容填入到此处(全选复制粘贴即可) | file:/// | | file:/// |
| hdfs-site.xml | hdfs-site.xml 配置文件内容,高可用必填 , 请手动将配置文件内容填入到此处(全选复制粘贴即可) | file:/// |

:::warning 注意
HDFS defaultFS 配置项,目前暂时不支持高可用 ,请填写可用节点(active)的 HDFS 地址

1. HDFS defaultFS 配置项,可以支持高可用, 但是需要配置 core-site.xml 和 hdfs-site.xml 文件内容,
请手动将配置文件内容写到此处(全选复制粘贴即可)
2. core-site.xml 和 hdfs-site.xml 仅在你的 HDFS 是高可用模式时才需要填写, 如果是其他模式,则不需要填写
3. core-site.xml 和 hdfs-site.xml 不是填写文件路径,而是文件内容,这么做的好处在于 在 Dinky 中提交 Application 任务时可以直接使用
HDFS 文件系统(高可用模式), 达到全模式通用目的
4. 请自行确保上述配置文件内容正确, 否则会导致 HDFS 文件系统无法正常使用

:::

### OSS 配置
Expand Down

0 comments on commit 65b7194

Please sign in to comment.