Skip to content

Commit

Permalink
Optimize-some docs (DataLinkDC#2787)
Browse files Browse the repository at this point in the history
  • Loading branch information
@Zzm0809
Zzm0809 authored Dec 26, 2023
1 parent 1ec156b commit 06ff57b
Show file tree
Hide file tree
Showing 16 changed files with 187 additions and 79 deletions.
2 changes: 1 addition & 1 deletion docs/docs/administrator_guide/devops_center/_category_.json
View file
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
{
"label": "运维中心",
"position": 3
"position": 2
}
37 changes: 0 additions & 37 deletions docs/docs/administrator_guide/hotkey.md
View file

This file was deleted.

28 changes: 28 additions & 0 deletions docs/docs/administrator_guide/metrics_overview.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,28 @@
---
position: 6
sidebar_position: 6
id: metrics_overview
title: 监控
---

:::info 简介
Dinky1.0增加了Metrics监控功能，可以实现对 Dinky Server的 JVM 信息的监控
如需要查看 Dinky Server 的实时的 JVM 等信息，需要再 **配置中心** > **全局配置** > **[Metrics 配置](../system_setting/global_settings/metrics_setting)** 中开启 Dinky JVM Monitor 开关

注意: 在 Dinky v1.0.0 版本及以上，Metrics 监控功能默认关闭，需要手动开启，否则无法正常监控

:::


### Dinky Server 监控


![metrics_overview_dinky](http://www.aiwenmo.com/dinky/docs/test/metrics_overview_dinky.png)


### Flink 监控

> 此功能 主要展示在 **运维中心** > **任务详情** > **监控** 中 定义的监控指标

![metrics_flink](http://www.aiwenmo.com/dinky/docs/test/metrics_flink.png)
17 changes: 14 additions & 3 deletions docs/docs/administrator_guide/register_center/git_project.md
View file
Original file line number Diff line number Diff line change
Expand Up @@ -10,18 +10,29 @@ Dinky 在 v1.0.0 版本开始,提供了 Git 项目管理的功能，可以在 Di
:::

## 支持功能列表
1. 可以托管 Jar任务的项目, 并将打包产物自动推送至 [`资源中心`](resource_center) 以便数据开发中使用 jar 任务提交方式
2. 可以托管 UDF 项目, 并将打包产物自动推送至 [`资源中心`](resource_center) 以便数据开发中使用该 UDF
1. 可以托管 Jar任务的项目, 并将打包产物自动推送至 [`资源中心`](resource) 以便数据开发中使用 jar 任务提交方式
2. 可以托管 UDF 项目, 并将打包产物自动推送至 [`资源中心`](resource) 以便数据开发中使用该 UDF
3. 支持自动解析 UDF 项目打包后的 UDF function
4. 支持查看 clone 后的代码
5. 支持查看全流程构建日志
6. 支持配置 GitHub 项目/GitLab 项目
7. 支持配置 Maven 私服仓库,配置详见: [Maven 配置](../system_setting/global_settings/maven_setting)
8. 支持 Python/Java 项目
9. 支持 https/ssh 协议 clone 方式

## 列表
![git_project](http://www.aiwenmo.com/dinky/docs/test/git_project_list.png)

## 构建

**注意:** 构建完成后,会将构建产物推送至 [`资源中心`](resource_center) ,进行集中管理
![git_build](http://www.aiwenmo.com/dinky/docs/test/git.png)


**注意:** 构建完成后,会将构建产物推送至 [`资源中心`](resource_center) ,进行集中管理


## 查看代码

![git_show_code](http://www.aiwenmo.com/dinky/docs/test/git_show_code.png)

**注意:** 目前仅支持查看 clone 后的代码,不支持编辑代码
24 changes: 24 additions & 0 deletions docs/docs/administrator_guide/register_center/resource.md
View file
Original file line number Diff line number Diff line change
@@ -0,0 +1,24 @@
---
position: 8
sidebar_position: 8
id: resource
title: 资源中心
---

:::info 简介
Dinky 在 v1.0.0 版本开始,提供了资源中心的功能，可以在 Dinky 中管理资源,方便的进行资源的上传下载操作.
:::

## 支持功能列表
1. 可以托管 Git 构建任务的产物,包含 Jar Zip 等
2. 可以上传资源
3. 预览部分文件类型内容


:::warning 注意
1. 该功能依赖于资源配置, 请确保已经配置了文件系统,配置详见: [文件系统配置](../system_setting/global_settings/resource_setting)
请在配置完成后,再使用该功能,否则会出现异常
2. 请注意,虽然提供了删除功能,为了避免误操作,在 Dinky 中删除资源并不会删除文件系统中的文件,仅会删除 Dinky 的数据库中的记录, 如需彻底删除, 请手动删除文件系统中的文件
3. 如果上传 同名文件,会覆盖原有文件,请谨慎操作
:::

18 changes: 14 additions & 4 deletions docs/docs/administrator_guide/system_setting/global_settings/dinky_setting.md
View file
Original file line number Diff line number Diff line change
@@ -1,18 +1,28 @@
---
position: 1
id: dinky_setting
sidebar_position: 1
title: Dinky 环境配置
---

:::info 简介

为了方便用户使用 Dinky，避免因为配置变更而重启 Dinky 服务，Dinky 提供了页面化配置功能，可以在页面上修改配置，修改后会自动生效，无需重启
Dinky 服务。

:::

![global_setting_dinky](http://www.aiwenmo.com/dinky/docs/test/global_setting_dinky.png)

**参数配置说明:**

| 参数名称 | 参数说明 | 默认值 |
|-------------|----------------------------------------------------------------------------------------------------------------------------|----------------|
| Python 环境变量 | Python 环境变量,用于提交 Python 任务以及构建 Python Udf ,PyFlink任务需要设置此参数 | 127.0.0.1:8080 |
| Dinky 地址 | Dinky 后端服务地址,用于 application 和 prejob 模式下任务状态回传, 这样就不会出现0.7那样任务结束后dinky页面变为unknown或者还是running的情况，所以这个参数务必为容器内与dinky可以互通的地址。 | 127.0.0.1:8080 |
| 作业历史最大保留数量 | 提交的作业历史与自动注册的集群记录最大保留数量，如果不足该数量，则不会被删除，即使已经过了最大保留天数,也不会被删除, 单位(个) | 10 |
| 作业历史最大保留天数 | 提交的作业历史与自动注册的集群记录最大保留天数，过期会被自动删除, 单位(天) | 30 |

- **Python 环境变量:** pyflink任务需要设置此参数。
- **Dinky 地址:** Dinky后端服务地址，用于application和prejob模式下任务状态回传，这样就不会出现0.7那样任务结束后dinky页面变为unknown或者还是running的情况，所以这个参数务必为容器内与dinky可以互通的地址。
:::warning 注意

dinky有自动获取ip地址，但是大多数情况下服务器可能不止一个网卡，需要用户手动检查，并修改。
dinky有自动获取ip地址，但是大多数情况下服务器可能不止一个网卡，需要用户手动检查，并修改。
:::
9 changes: 9 additions & 0 deletions .../administrator_guide/system_setting/global_settings/dolphinscheduler_setting.md
View file
Original file line number Diff line number Diff line change
@@ -1,10 +1,19 @@
---
position: 4
sidebar_position: 4
id: dolphinscheduler_setting
title: Dolphinscheduler 配置
---


:::info 简介

为了方便用户使用 Dinky 与 DolphinScheduler 进行集成，Dinky 提供了 DolphinScheduler 相关配置。

在 Dinky V1.0.0 版本开始，提供了 DolphinScheduler 页面化配置功能，可以在页面上修改配置，修改后会自动生效，无需重启 Dinky 服务。

:::



如果用户想要将Dinky开发好的Flink任务推送到Dolphinscheduler。
Expand Down
1 change: 1 addition & 0 deletions docs/docs/administrator_guide/system_setting/global_settings/flink_setting.md
View file
Original file line number Diff line number Diff line change
@@ -1,6 +1,7 @@
---
position: 2
id: flink_setting
sidebar_position: 2
title: Flink 配置
---

Expand Down
7 changes: 7 additions & 0 deletions docs/docs/administrator_guide/system_setting/global_settings/ldap.md
View file
Original file line number Diff line number Diff line change
@@ -1,9 +1,16 @@
---
position: 5
sidebar_position: 5
id: ldap_setting
title: LDAP 配置
---

:::info 简介

为了方便用户使用 Dinky 并与公司内部的用户进行集成时，Dinky 提供了LDAP配置。并支持可视化配置，修改后会自动生效，无需重启 Dinky 服务。
同时实现了LDAP用户自动导入功能，开启后，当用户使用LDAP登录时，如果没有相应的Dinky用户映射，则会自动拉取LDAP信息创建一个Dinky用户与之映射。如果关闭此功能，对于未导入的LDAP用户将无法登录。

:::

## 1. 什么是LDAP？
LDAP（轻量级目录访问协议）是一种用于访问和维护分布式目录服务信息的开放标准协议。
Expand Down
9 changes: 4 additions & 5 deletions docs/docs/administrator_guide/system_setting/global_settings/maven_setting.md
View file
Original file line number Diff line number Diff line change
@@ -1,14 +1,13 @@
---
position: 3
id: maven_setting
sidebar_position: 3
title: Maven 配置
---




Dinky1.0增加了从git拉取项目编译的功能（比如udf项目），当用户使用 **注册中心** > **Git项目**，构建项目需要下载jar包依赖，所以需要在 **配置中心** > **全局配置** > **Maven 配置** 页面进行相关设置。

:::info 简介
Dinky1.0增加了从git拉取项目编译的功能（比如udf项目），当用户使用 **注册中心** > **[Git项目](../../register_center/git_project)**，构建项目需要下载jar包依赖，所以需要在 **配置中心** > **全局配置** > **Maven 配置** 页面进行相关设置。
:::

![maven_setting](http://www.aiwenmo.com/dinky/docs/test/maven_setting.png)

Expand Down
12 changes: 11 additions & 1 deletion docs/docs/administrator_guide/system_setting/global_settings/metrics_setting.md
View file
Original file line number Diff line number Diff line change
@@ -1,9 +1,19 @@
---
position: 6
sidebar_position: 6
id: metrics_setting
title: Metrics 配置
---
此配置决定监控页面JVM图的数据采集和展示

:::info 简介

Dinky1.0增加了Metrics监控功能，可以实现对 Dinky Server的JVM信息的监控

如开启Dinky JVM Monitor开关，可以在`监控`中看到 Dinky Server 的实时的 JVM 等信息

:::


![metrics_setting](http://www.aiwenmo.com/dinky/docs/test/metrics_setting.png)

**参数配置说明:**
Expand Down
61 changes: 47 additions & 14 deletions docs/docs/administrator_guide/system_setting/global_settings/resource_setting.md
View file
Original file line number Diff line number Diff line change
@@ -1,26 +1,59 @@
---
position: 7
sidebar_position: 7
id: resource_setting
title: Resource 配置
---
当用户使用 **注册中心** > **资源**，需要上传并管理资源时，需要先在 **配置中心** > **全局配置** > **Resource 配置** 页面进行相关参数配置。


当用户使用 **注册中心** > **[资源](../../register_center/resource)**，需要再本功能页面进行相关参数配置。配置保存后即生效

:::info 简介
从 Dinky v1.0.0 版本开始，提供了资源管理的功能，可以在 Dinky 中管理资源. 方便管理各个文件系统, 支持了 Local File System,
HDFS, OSS 三种文件系统.
:::

### Local File System 配置

![global_setting_resource_local](http://www.aiwenmo.com/dinky/docs/test/global_setting_resource_local.png)

**参数配置说明:**
- **是否启用Resource：** 启用资源管理功能，如果切换存储模式时，需关闭此开关，相关配置完成后，再开启.
- **上传目录的根路径：** 资源存储在HDFS/OSS上的文件目录，请确保该目录存在并具有读写权限。
- **存储模式：** 目前支持三种存储模式：本地存储，HDFS 存储和 OSS 存储。

![metrics_setting](http://www.aiwenmo.com/dinky/docs/test/hdfs_setting.png)
| 参数名称 | 参数说明 | 默认值 |
|--------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-------|
| 是否启用Resource | 启用资源管理功能，如果切换存储模式时，需关闭此开关，相关配置完成后，再开启。 | true |
| 存储模式 | 支持HDFS、S3(Minio、阿里云OSS、腾讯云COS等..)，切换选项后即可生效，同时并迁移资源文件。 | Local |
| 上传目录的根路径 | 资源存储在HDFS/OSS (S3)路径上，资源文件将存储到此基本路径，自行配置，请确保该目录存在于相关存储系统上并具有读写权限。<br/>如果是本地存储，则写本地文件存储路径，如 /User/xxx/data<br/>如果是 HDFS 存储则写 HDFS 文件访问路径，如 hdfs://localhost:9000/user/xxx<br/>如果是 OSS 存储则写 OSS 文件访问路径，如 oss://dinky/xxx | 无 |




### HDFS 配置

![global_setting_resource_hdfs](http://www.aiwenmo.com/dinky/docs/test/global_setting_resource_hdfs.png)

| 参数名称 | 参数说明 | 默认值 |
|----------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|----------|
| 是否启用Resource | 启用资源管理功能，如果切换存储模式时，需关闭此开关，相关配置完成后，再开启。 | true |
| 存储模式 | 支持HDFS、S3(Minio、阿里云OSS、腾讯云COS等..)，切换选项后即可生效，同时并迁移资源文件。 | Local |
| 上传目录的根路径 | 资源存储在HDFS/OSS (S3)路径上，资源文件将存储到此基本路径，自行配置，请确保该目录存在于相关存储系统上并具有读写权限。<br/>如果是本地存储，则写本地文件存储路径，如 /User/xxx/data<br/>如果是 HDFS 存储则写 HDFS 文件访问路径，如 hdfs://localhost:9000/user/xxx<br/>如果是 OSS 存储则写 OSS 文件访问路径，如 oss://dinky/xxx | 无 |
| HDFS操作用户名 | hdfs用户名 | hdfs |
| HDFS defaultFS | fs.defaultFS 配置项，例如: 远程 HDFS：hdfs://localhost:9000，本地：file:/// | file:/// |

### OSS 配置

- **HDFS操作用户名：** hdfs用户名
- **HDFS defaultFS：** dinky自定义了 rs 协议，读取 fs.defaultFS 配置项，自动根据参数路径解析是本地文件存储还是 HDFS 存储。如果是本地存储则写本地文件存储路径，如 file:/// 。
如果是 HDFS 存储则写 HDFS 文件访问路径，如 hdfs://localhost:9000/。
![global_setting_resource_oss](http://www.aiwenmo.com/dinky/docs/test/global_setting_resource_oss.png)

![metrics_setting](http://www.aiwenmo.com/dinky/docs/test/oss_setting.png)
| 参数名称 | 参数说明 | 默认值 |
|-----------------------|------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|-----------------------|
| 是否启用Resource | 启用资源管理功能，如果切换存储模式时，需关闭此开关，相关配置完成后，再开启。 | true |
| 存储模式 | 支持HDFS、S3(Minio、阿里云OSS、腾讯云COS等..)，切换选项后即可生效，同时并迁移资源文件。 | Local |
| 上传目录的根路径 | 资源存储在HDFS/OSS (S3)路径上，资源文件将存储到此基本路径，自行配置，请确保该目录存在于相关存储系统上并具有读写权限。<br/>如果是本地存储，则写本地文件存储路径，如 /User/xxx/data<br/>如果是 HDFS 存储则写 HDFS 文件访问路径，如 hdfs://localhost:9000/user/xxx<br/>如果是 OSS 存储则写 OSS 文件访问路径，如 oss://dinky/xxx | 无 |
| 对象存储服务的 URL（Endpoint） | 例如：https://oss-cn-hangzhou.aliyuncs.com | http://localhost:9000 |
| Access key | Access key就像用户ID，可以唯一标识你的账户 | minioadmin |
| Secret key | Secret key是你账户的密码，必须保管好，切勿泄露。 | minioadmin |
| 存储桶名称 | 存储的Bucket名称 | dinky |
| 区域 | 区域是oss的服务所在地域 如:oss-cn-hangzhou，无默认值，但是必须填写。 | 无 |
| Path Style | 是否开启 path style, 不同的提供方（如阿里云oss，腾讯云cos）支持情况不同，请阅读提供方文档说明进行填写 | true |

- **对象存储服务的URL：** oss文件存储地址
- **Access key：** oss账号AccessKey
- **Secret key：** oss账号AccessKey对应的秘钥
- **存储桶名称：** 存储的Bucket名称
- **区域：** 区域

Loading

0 comments on commit 06ff57b

Please sign in to comment.