From 65b719489c20805782f3a142f89b7a0658fcc654 Mon Sep 17 00:00:00 2001 From: Zzm0809 <934230207@qq.com> Date: Thu, 25 Jan 2024 09:32:31 +0800 Subject: [PATCH] [Doc] added resource hdfs ha doc (#3062) --- .../global_settings/resource_setting.md | 15 ++++++++++++--- 1 file changed, 12 insertions(+), 3 deletions(-) diff --git a/docs/docs/user_guide/system_setting/global_settings/resource_setting.md b/docs/docs/user_guide/system_setting/global_settings/resource_setting.md index 5379a46b8c..a57e6c2f4b 100644 --- a/docs/docs/user_guide/system_setting/global_settings/resource_setting.md +++ b/docs/docs/user_guide/system_setting/global_settings/resource_setting.md @@ -27,7 +27,7 @@ HDFS, OSS 三种文件系统. ### HDFS 配置 -![global_setting_resource_hdfs](http://pic.dinky.org.cn/dinky/docs/test/global_setting_resource_hdfs.png) +![global_setting_resource_hdfs](http://pic.dinky.org.cn/dinky/docs/zh-CN/user_guide/system_setting/global_settings/resource_setting/global_setting_resource_hdfs.png) | 参数名称 | 参数说明 | 默认值 | |----------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|----------| @@ -35,10 +35,19 @@ HDFS, OSS 三种文件系统. | 存储模式 | 支持HDFS、S3(Minio、阿里云OSS、腾讯云COS等..)，切换选项后即可生效。 | Local | | 上传目录的根路径 | 资源存储在HDFS/OSS (S3)路径上，资源文件将存储到此基本路径，自行配置，请确保该目录存在于相关存储系统上并具有读写权限。
如果是本地存储，则写本地文件存储路径，如 /User/xxx/data
如果是 HDFS 存储则写 HDFS 文件访问路径，如 hdfs://localhost:9000/user/xxx
如果是 OSS 存储则写 OSS 文件访问路径，如 oss://dinky/xxx | 无 | | HDFS操作用户名 | hdfs用户名 | hdfs | -| HDFS defaultFS | fs.defaultFS 配置项，例如: 远程 HDFS：hdfs://localhost:9000，本地：file:/// | file:/// | +| HDFS defaultFS | fs.defaultFS 配置项，例如: 远程 HDFS：hdfs://localhost:9000，本地：file:/// 高可用: hdfs://namespace | file:/// | +| core-site.xml | core-site.xml 配置文件内容，高可用必填 , 请手动将配置文件内容填入到此处(全选复制粘贴即可) | file:/// | | file:/// | +| hdfs-site.xml | hdfs-site.xml 配置文件内容，高可用必填 , 请手动将配置文件内容填入到此处(全选复制粘贴即可) | file:/// | :::warning 注意 -HDFS defaultFS 配置项，目前暂时不支持高可用 ,请填写可用节点(active)的 HDFS 地址 + +1. HDFS defaultFS 配置项，可以支持高可用, 但是需要配置 core-site.xml 和 hdfs-site.xml 文件内容, + 请手动将配置文件内容写到此处(全选复制粘贴即可) +2. core-site.xml 和 hdfs-site.xml 仅在你的 HDFS 是高可用模式时才需要填写, 如果是其他模式,则不需要填写 +3. core-site.xml 和 hdfs-site.xml 不是填写文件路径，而是文件内容,这么做的好处在于 在 Dinky 中提交 Application 任务时可以直接使用 + HDFS 文件系统(高可用模式), 达到全模式通用目的 +4. 请自行确保上述配置文件内容正确, 否则会导致 HDFS 文件系统无法正常使用 + ::: ### OSS 配置