From 06ff57bb40b1d4732677d01a87dd4bcb3ce2ec27 Mon Sep 17 00:00:00 2001 From: Zzm0809 <934230207@qq.com> Date: Tue, 26 Dec 2023 08:06:14 +0800 Subject: [PATCH] Optimize-some docs (#2787) --- .../devops_center/_category_.json | 2 +- docs/docs/administrator_guide/hotkey.md | 37 ----------- .../administrator_guide/metrics_overview.md | 28 +++++++++ .../register_center/git_project.md | 17 +++++- .../register_center/resource.md | 24 ++++++++ .../global_settings/dinky_setting.md | 18 ++++-- .../dolphinscheduler_setting.md | 9 +++ .../global_settings/flink_setting.md | 1 + .../system_setting/global_settings/ldap.md | 7 +++ .../global_settings/maven_setting.md | 9 ++- .../global_settings/metrics_setting.md | 12 +++- .../global_settings/resource_setting.md | 61 ++++++++++++++----- .../system_setting/system_log.md | 26 ++++++++ .../system_setting/system_log/_category_.json | 4 -- .../system_setting/system_log/system_log.md | 9 --- .../udf_develop/_category_.json | 2 +- 16 files changed, 187 insertions(+), 79 deletions(-) delete mode 100644 docs/docs/administrator_guide/hotkey.md create mode 100644 docs/docs/administrator_guide/metrics_overview.md create mode 100644 docs/docs/administrator_guide/register_center/resource.md create mode 100644 docs/docs/administrator_guide/system_setting/system_log.md delete mode 100644 docs/docs/administrator_guide/system_setting/system_log/_category_.json delete mode 100644 docs/docs/administrator_guide/system_setting/system_log/system_log.md diff --git a/docs/docs/administrator_guide/devops_center/_category_.json b/docs/docs/administrator_guide/devops_center/_category_.json index 4981fe22e1..df230944fb 100644 --- a/docs/docs/administrator_guide/devops_center/_category_.json +++ b/docs/docs/administrator_guide/devops_center/_category_.json @@ -1,4 +1,4 @@ { "label": "运维中心", - "position": 3 + "position": 2 } diff --git a/docs/docs/administrator_guide/hotkey.md b/docs/docs/administrator_guide/hotkey.md deleted file mode 100644 index 63ef907afb..0000000000 --- a/docs/docs/administrator_guide/hotkey.md +++ /dev/null @@ -1,37 +0,0 @@ ---- -sidebar_position: 6 -id: feature -title: 快捷键使用指南 ---- - -**在数据开发编辑器内可使用以下快捷键** - - -| 功能描述 | 快捷键 | 备注 | -| ---------------- | -------------------------- | ------ | -| 全屏开发 | `F2` | | -| 关闭弹框及全屏 | `Esc` | | -| 保存 | `Ctrl + S` | | -| 校验 | `Alt + 2` | | -| 美化 | `Alt + 3` | | -| 搜索 | `Ctrl + F` | | -| 替换 | `Ctrl + H` | | -| 撤销 | `Ctrl + Z` | | -| 重做 | `Ctrl + Y` | | -| 注释 | `Ctrl + /` | | -| 缩进 | `选中 + Tab` | | -| 取消缩进 | `选中 + Shift + Tab` | | -| 选中后续 | `Shift + Alt + Right` | | -| 格式化 | `Shift + Alt + F` | | -| 编辑多行 | `Ctrl + Shift + Up/Down` | | -| 复制一行 | `Shift + Alt + Up/Down` | | -| 删除一行 | `Ctrl + Shift + K` | | -| 匹配下一个 | `Ctrl + F3` | | -| 匹配上一个 | `Ctrl + Shift + F3` | | -| 前往下一个高亮 | `F7` | | -| 前往上一个高亮 | `Shift +F7` | | -| 前面追加换行 | `Ctrl + Shift + End` | | -| 追加换行 | `Ctrl + End` | | -| 上下换位 | `Alt + Up/Down` | | -| 折叠/展开 | `Ctrl + Shift + [/]` | | -| 更多快捷键 | `F1` | | diff --git a/docs/docs/administrator_guide/metrics_overview.md b/docs/docs/administrator_guide/metrics_overview.md new file mode 100644 index 0000000000..bd221cf167 --- /dev/null +++ b/docs/docs/administrator_guide/metrics_overview.md @@ -0,0 +1,28 @@ +--- +position: 6 +sidebar_position: 6 +id: metrics_overview +title: 监控 +--- + +:::info 简介 +Dinky1.0增加了Metrics监控功能，可以实现对 Dinky Server的 JVM 信息的监控 +如需要查看 Dinky Server 的实时的 JVM 等信息，需要再 **配置中心** > **全局配置** > **[Metrics 配置](../system_setting/global_settings/metrics_setting)** 中开启 Dinky JVM Monitor 开关 + +注意: 在 Dinky v1.0.0 版本及以上，Metrics 监控功能默认关闭，需要手动开启，否则无法正常监控 + +::: + + +### Dinky Server 监控 + + +![metrics_overview_dinky](http://www.aiwenmo.com/dinky/docs/test/metrics_overview_dinky.png) + + +### Flink 监控 + +> 此功能 主要展示在 **运维中心** > **任务详情** > **监控** 中 定义的监控指标 + + +![metrics_flink](http://www.aiwenmo.com/dinky/docs/test/metrics_flink.png) \ No newline at end of file diff --git a/docs/docs/administrator_guide/register_center/git_project.md b/docs/docs/administrator_guide/register_center/git_project.md index d00c2758cd..18ec246d31 100644 --- a/docs/docs/administrator_guide/register_center/git_project.md +++ b/docs/docs/administrator_guide/register_center/git_project.md @@ -10,18 +10,29 @@ Dinky 在 v1.0.0 版本开始,提供了 Git 项目管理的功能，可以在 Di ::: ## 支持功能列表 -1. 可以托管 Jar任务的项目, 并将打包产物自动推送至 [`资源中心`](resource_center) 以便数据开发中使用 jar 任务提交方式 -2. 可以托管 UDF 项目, 并将打包产物自动推送至 [`资源中心`](resource_center) 以便数据开发中使用该 UDF +1. 可以托管 Jar任务的项目, 并将打包产物自动推送至 [`资源中心`](resource) 以便数据开发中使用 jar 任务提交方式 +2. 可以托管 UDF 项目, 并将打包产物自动推送至 [`资源中心`](resource) 以便数据开发中使用该 UDF 3. 支持自动解析 UDF 项目打包后的 UDF function 4. 支持查看 clone 后的代码 5. 支持查看全流程构建日志 6. 支持配置 GitHub 项目/GitLab 项目 7. 支持配置 Maven 私服仓库,配置详见: [Maven 配置](../system_setting/global_settings/maven_setting) 8. 支持 Python/Java 项目 +9. 支持 https/ssh 协议 clone 方式 ## 列表 ![git_project](http://www.aiwenmo.com/dinky/docs/test/git_project_list.png) ## 构建 -**注意:** 构建完成后,会将构建产物推送至 [`资源中心`](resource_center) ,进行集中管理 \ No newline at end of file +![git_build](http://www.aiwenmo.com/dinky/docs/test/git.png) + + +**注意:** 构建完成后,会将构建产物推送至 [`资源中心`](resource_center) ,进行集中管理 + + +## 查看代码 + +![git_show_code](http://www.aiwenmo.com/dinky/docs/test/git_show_code.png) + +**注意:** 目前仅支持查看 clone 后的代码,不支持编辑代码 \ No newline at end of file diff --git a/docs/docs/administrator_guide/register_center/resource.md b/docs/docs/administrator_guide/register_center/resource.md new file mode 100644 index 0000000000..7459148b38 --- /dev/null +++ b/docs/docs/administrator_guide/register_center/resource.md @@ -0,0 +1,24 @@ +--- +position: 8 +sidebar_position: 8 +id: resource +title: 资源中心 +--- + +:::info 简介 +Dinky 在 v1.0.0 版本开始,提供了资源中心的功能，可以在 Dinky 中管理资源,方便的进行资源的上传下载操作. +::: + +## 支持功能列表 +1. 可以托管 Git 构建任务的产物,包含 Jar Zip 等 +2. 可以上传资源 +3. 预览部分文件类型内容 + + +:::warning 注意 +1. 该功能依赖于资源配置, 请确保已经配置了文件系统,配置详见: [文件系统配置](../system_setting/global_settings/resource_setting) +请在配置完成后,再使用该功能,否则会出现异常 +2. 请注意,虽然提供了删除功能,为了避免误操作,在 Dinky 中删除资源并不会删除文件系统中的文件,仅会删除 Dinky 的数据库中的记录, 如需彻底删除, 请手动删除文件系统中的文件 +3. 如果上传 同名文件,会覆盖原有文件,请谨慎操作 +::: + diff --git a/docs/docs/administrator_guide/system_setting/global_settings/dinky_setting.md b/docs/docs/administrator_guide/system_setting/global_settings/dinky_setting.md index bf125dab0e..07eeb06839 100644 --- a/docs/docs/administrator_guide/system_setting/global_settings/dinky_setting.md +++ b/docs/docs/administrator_guide/system_setting/global_settings/dinky_setting.md @@ -1,18 +1,28 @@ --- position: 1 id: dinky_setting +sidebar_position: 1 title: Dinky 环境配置 --- +:::info 简介 +为了方便用户使用 Dinky，避免因为配置变更而重启 Dinky 服务，Dinky 提供了页面化配置功能，可以在页面上修改配置，修改后会自动生效，无需重启 +Dinky 服务。 +::: + +![global_setting_dinky](http://www.aiwenmo.com/dinky/docs/test/global_setting_dinky.png) **参数配置说明:** +| 参数名称 | 参数说明 | 默认值 | +|-------------|----------------------------------------------------------------------------------------------------------------------------|----------------| +| Python 环境变量 | Python 环境变量,用于提交 Python 任务以及构建 Python Udf ,PyFlink任务需要设置此参数 | 127.0.0.1:8080 | +| Dinky 地址 | Dinky 后端服务地址,用于 application 和 prejob 模式下任务状态回传, 这样就不会出现0.7那样任务结束后dinky页面变为unknown或者还是running的情况，所以这个参数务必为容器内与dinky可以互通的地址。 | 127.0.0.1:8080 | +| 作业历史最大保留数量 | 提交的作业历史与自动注册的集群记录最大保留数量，如果不足该数量，则不会被删除，即使已经过了最大保留天数,也不会被删除, 单位(个) | 10 | +| 作业历史最大保留天数 | 提交的作业历史与自动注册的集群记录最大保留天数，过期会被自动删除, 单位(天) | 30 | -- **Python 环境变量:** pyflink任务需要设置此参数。 -- **Dinky 地址:** Dinky后端服务地址，用于application和prejob模式下任务状态回传，这样就不会出现0.7那样任务结束后dinky页面变为unknown或者还是running的情况，所以这个参数务必为容器内与dinky可以互通的地址。 :::warning 注意 - - dinky有自动获取ip地址，但是大多数情况下服务器可能不止一个网卡，需要用户手动检查，并修改。 +dinky有自动获取ip地址，但是大多数情况下服务器可能不止一个网卡，需要用户手动检查，并修改。 ::: \ No newline at end of file diff --git a/docs/docs/administrator_guide/system_setting/global_settings/dolphinscheduler_setting.md b/docs/docs/administrator_guide/system_setting/global_settings/dolphinscheduler_setting.md index 842753c8b5..4e0d59c597 100644 --- a/docs/docs/administrator_guide/system_setting/global_settings/dolphinscheduler_setting.md +++ b/docs/docs/administrator_guide/system_setting/global_settings/dolphinscheduler_setting.md @@ -1,10 +1,19 @@ --- position: 4 +sidebar_position: 4 id: dolphinscheduler_setting title: Dolphinscheduler 配置 --- +:::info 简介 + +为了方便用户使用 Dinky 与 DolphinScheduler 进行集成，Dinky 提供了 DolphinScheduler 相关配置。 + +在 Dinky V1.0.0 版本开始，提供了 DolphinScheduler 页面化配置功能，可以在页面上修改配置，修改后会自动生效，无需重启 Dinky 服务。 + +::: + 如果用户想要将Dinky开发好的Flink任务推送到Dolphinscheduler。 diff --git a/docs/docs/administrator_guide/system_setting/global_settings/flink_setting.md b/docs/docs/administrator_guide/system_setting/global_settings/flink_setting.md index 818c9fc0c8..cb7f4305d4 100644 --- a/docs/docs/administrator_guide/system_setting/global_settings/flink_setting.md +++ b/docs/docs/administrator_guide/system_setting/global_settings/flink_setting.md @@ -1,6 +1,7 @@ --- position: 2 id: flink_setting +sidebar_position: 2 title: Flink 配置 --- diff --git a/docs/docs/administrator_guide/system_setting/global_settings/ldap.md b/docs/docs/administrator_guide/system_setting/global_settings/ldap.md index b55f228f7c..77079b5ed6 100644 --- a/docs/docs/administrator_guide/system_setting/global_settings/ldap.md +++ b/docs/docs/administrator_guide/system_setting/global_settings/ldap.md @@ -1,9 +1,16 @@ --- position: 5 +sidebar_position: 5 id: ldap_setting title: LDAP 配置 --- +:::info 简介 + +为了方便用户使用 Dinky 并与公司内部的用户进行集成时，Dinky 提供了LDAP配置。并支持可视化配置，修改后会自动生效，无需重启 Dinky 服务。 +同时实现了LDAP用户自动导入功能，开启后，当用户使用LDAP登录时，如果没有相应的Dinky用户映射，则会自动拉取LDAP信息创建一个Dinky用户与之映射。如果关闭此功能，对于未导入的LDAP用户将无法登录。 + +::: ## 1. 什么是LDAP？ LDAP（轻量级目录访问协议）是一种用于访问和维护分布式目录服务信息的开放标准协议。 diff --git a/docs/docs/administrator_guide/system_setting/global_settings/maven_setting.md b/docs/docs/administrator_guide/system_setting/global_settings/maven_setting.md index 303c4c0ebe..d88e060c04 100644 --- a/docs/docs/administrator_guide/system_setting/global_settings/maven_setting.md +++ b/docs/docs/administrator_guide/system_setting/global_settings/maven_setting.md @@ -1,14 +1,13 @@ --- position: 3 id: maven_setting +sidebar_position: 3 title: Maven 配置 --- - - - -Dinky1.0增加了从git拉取项目编译的功能（比如udf项目），当用户使用 **注册中心** > **Git项目**，构建项目需要下载jar包依赖，所以需要在 **配置中心** > **全局配置** > **Maven 配置** 页面进行相关设置。 - +:::info 简介 +Dinky1.0增加了从git拉取项目编译的功能（比如udf项目），当用户使用 **注册中心** > **[Git项目](../../register_center/git_project)**，构建项目需要下载jar包依赖，所以需要在 **配置中心** > **全局配置** > **Maven 配置** 页面进行相关设置。 +::: ![maven_setting](http://www.aiwenmo.com/dinky/docs/test/maven_setting.png) diff --git a/docs/docs/administrator_guide/system_setting/global_settings/metrics_setting.md b/docs/docs/administrator_guide/system_setting/global_settings/metrics_setting.md index 6823ae3a58..6cddd7eec1 100644 --- a/docs/docs/administrator_guide/system_setting/global_settings/metrics_setting.md +++ b/docs/docs/administrator_guide/system_setting/global_settings/metrics_setting.md @@ -1,9 +1,19 @@ --- position: 6 +sidebar_position: 6 id: metrics_setting title: Metrics 配置 --- -此配置决定监控页面JVM图的数据采集和展示 + +:::info 简介 + +Dinky1.0增加了Metrics监控功能，可以实现对 Dinky Server的JVM信息的监控 + +如开启Dinky JVM Monitor开关，可以在`监控`中看到 Dinky Server 的实时的 JVM 等信息 + +::: + + ![metrics_setting](http://www.aiwenmo.com/dinky/docs/test/metrics_setting.png) **参数配置说明:** diff --git a/docs/docs/administrator_guide/system_setting/global_settings/resource_setting.md b/docs/docs/administrator_guide/system_setting/global_settings/resource_setting.md index fd48af7b44..982c1a0432 100644 --- a/docs/docs/administrator_guide/system_setting/global_settings/resource_setting.md +++ b/docs/docs/administrator_guide/system_setting/global_settings/resource_setting.md @@ -1,26 +1,59 @@ --- position: 7 +sidebar_position: 7 id: resource_setting title: Resource 配置 --- -当用户使用 **注册中心** > **资源**，需要上传并管理资源时，需要先在 **配置中心** > **全局配置** > **Resource 配置** 页面进行相关参数配置。 + + +当用户使用 **注册中心** > **[资源](../../register_center/resource)**，需要再本功能页面进行相关参数配置。配置保存后即生效 + +:::info 简介 +从 Dinky v1.0.0 版本开始，提供了资源管理的功能，可以在 Dinky 中管理资源. 方便管理各个文件系统, 支持了 Local File System, +HDFS, OSS 三种文件系统. +::: + +### Local File System 配置 + +![global_setting_resource_local](http://www.aiwenmo.com/dinky/docs/test/global_setting_resource_local.png) **参数配置说明:** -- **是否启用Resource：** 启用资源管理功能，如果切换存储模式时，需关闭此开关，相关配置完成后，再开启. -- **上传目录的根路径：** 资源存储在HDFS/OSS上的文件目录，请确保该目录存在并具有读写权限。 -- **存储模式：** 目前支持三种存储模式：本地存储，HDFS 存储和 OSS 存储。 -![metrics_setting](http://www.aiwenmo.com/dinky/docs/test/hdfs_setting.png) +| 参数名称 | 参数说明 | 默认值 | +|--------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------| +| 是否启用Resource | 启用资源管理功能，如果切换存储模式时，需关闭此开关，相关配置完成后，再开启。 | true | +| 存储模式 | 支持HDFS、S3(Minio、阿里云OSS、腾讯云COS等..)，切换选项后即可生效，同时并迁移资源文件。 | Local | +| 上传目录的根路径 | 资源存储在HDFS/OSS (S3)路径上，资源文件将存储到此基本路径，自行配置，请确保该目录存在于相关存储系统上并具有读写权限。
如果是本地存储，则写本地文件存储路径，如 /User/xxx/data
如果是 HDFS 存储则写 HDFS 文件访问路径，如 hdfs://localhost:9000/user/xxx
如果是 OSS 存储则写 OSS 文件访问路径，如 oss://dinky/xxx | 无 | + + + + +### HDFS 配置 + +![global_setting_resource_hdfs](http://www.aiwenmo.com/dinky/docs/test/global_setting_resource_hdfs.png) + +| 参数名称 | 参数说明 | 默认值 | +|----------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|----------| +| 是否启用Resource | 启用资源管理功能，如果切换存储模式时，需关闭此开关，相关配置完成后，再开启。 | true | +| 存储模式 | 支持HDFS、S3(Minio、阿里云OSS、腾讯云COS等..)，切换选项后即可生效，同时并迁移资源文件。 | Local | +| 上传目录的根路径 | 资源存储在HDFS/OSS (S3)路径上，资源文件将存储到此基本路径，自行配置，请确保该目录存在于相关存储系统上并具有读写权限。
如果是本地存储，则写本地文件存储路径，如 /User/xxx/data
如果是 HDFS 存储则写 HDFS 文件访问路径，如 hdfs://localhost:9000/user/xxx
如果是 OSS 存储则写 OSS 文件访问路径，如 oss://dinky/xxx | 无 | +| HDFS操作用户名 | hdfs用户名 | hdfs | +| HDFS defaultFS | fs.defaultFS 配置项，例如: 远程 HDFS：hdfs://localhost:9000，本地：file:/// | file:/// | + +### OSS 配置 -- **HDFS操作用户名：** hdfs用户名 -- **HDFS defaultFS：** dinky自定义了 rs 协议，读取 fs.defaultFS 配置项，自动根据参数路径解析是本地文件存储还是 HDFS 存储。如果是本地存储则写本地文件存储路径，如 file:/// 。 -如果是 HDFS 存储则写 HDFS 文件访问路径，如 hdfs://localhost:9000/。 +![global_setting_resource_oss](http://www.aiwenmo.com/dinky/docs/test/global_setting_resource_oss.png) -![metrics_setting](http://www.aiwenmo.com/dinky/docs/test/oss_setting.png) +| 参数名称 | 参数说明 | 默认值 | +|-----------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-----------------------| +| 是否启用Resource | 启用资源管理功能，如果切换存储模式时，需关闭此开关，相关配置完成后，再开启。 | true | +| 存储模式 | 支持HDFS、S3(Minio、阿里云OSS、腾讯云COS等..)，切换选项后即可生效，同时并迁移资源文件。 | Local | +| 上传目录的根路径 | 资源存储在HDFS/OSS (S3)路径上，资源文件将存储到此基本路径，自行配置，请确保该目录存在于相关存储系统上并具有读写权限。
如果是本地存储，则写本地文件存储路径，如 /User/xxx/data
如果是 HDFS 存储则写 HDFS 文件访问路径，如 hdfs://localhost:9000/user/xxx
如果是 OSS 存储则写 OSS 文件访问路径，如 oss://dinky/xxx | 无 | +| 对象存储服务的 URL（Endpoint） | 例如：https://oss-cn-hangzhou.aliyuncs.com | http://localhost:9000 | +| Access key | Access key就像用户ID，可以唯一标识你的账户 | minioadmin | +| Secret key | Secret key是你账户的密码，必须保管好，切勿泄露。 | minioadmin | +| 存储桶名称 | 存储的Bucket名称 | dinky | +| 区域 | 区域是oss的服务所在地域 如:oss-cn-hangzhou，无默认值，但是必须填写。 | 无 | +| Path Style | 是否开启 path style, 不同的提供方（如阿里云oss，腾讯云cos）支持情况不同，请阅读提供方文档说明进行填写 | true | -- **对象存储服务的URL：** oss文件存储地址 -- **Access key：** oss账号AccessKey -- **Secret key：** oss账号AccessKey对应的秘钥 -- **存储桶名称：** 存储的Bucket名称 -- **区域：** 区域 diff --git a/docs/docs/administrator_guide/system_setting/system_log.md b/docs/docs/administrator_guide/system_setting/system_log.md new file mode 100644 index 0000000000..d08e2bc44e --- /dev/null +++ b/docs/docs/administrator_guide/system_setting/system_log.md @@ -0,0 +1,26 @@ +--- +position: 2 +id: system_log +sidebar_position: 2 +title: 系统日志 +--- + +:::info + +为了方便的查看系统日志，Dinky 提供了页面化查看系统日志功能，方便排查问题。不需要频繁使用 SSH 登录服务器查看日志。 + +1. 支持查看主日志文件 +2. 支持查看所有历史归档日志文件 +3. 在查看同时支持 向下/向上, 跳至顶部/底部, 以及定时刷新(5s) 等功能 +4. 支持日志下载功能 +::: + + +## 查看系统日志 + +![root_log](http://www.aiwenmo.com/dinky/docs/test/root_log.jpg) + + +## 查看历史归档日志 + +![history_logs](http://www.aiwenmo.com/dinky/docs/test/history_logs.jpg) \ No newline at end of file diff --git a/docs/docs/administrator_guide/system_setting/system_log/_category_.json b/docs/docs/administrator_guide/system_setting/system_log/_category_.json deleted file mode 100644 index 28fc72575b..0000000000 --- a/docs/docs/administrator_guide/system_setting/system_log/_category_.json +++ /dev/null @@ -1,4 +0,0 @@ -{ - "label": "系统日志", - "position": 2 -} diff --git a/docs/docs/administrator_guide/system_setting/system_log/system_log.md b/docs/docs/administrator_guide/system_setting/system_log/system_log.md deleted file mode 100644 index bebb994634..0000000000 --- a/docs/docs/administrator_guide/system_setting/system_log/system_log.md +++ /dev/null @@ -1,9 +0,0 @@ ---- -position: 3 -id: system_log -title: 系统日志 ---- - -日志对应dinky安装目录/logs下面的日志文件 - -![system_log](http://www.aiwenmo.com/dinky/docs/test/system_log.png) diff --git a/docs/docs/administrator_guide/udf_develop/_category_.json b/docs/docs/administrator_guide/udf_develop/_category_.json index 2bacbe5168..d7c7e7c3e3 100644 --- a/docs/docs/administrator_guide/udf_develop/_category_.json +++ b/docs/docs/administrator_guide/udf_develop/_category_.json @@ -1,4 +1,4 @@ { "label": "函数开发", - "position": 2 + "position": 10 }