Skip to content

Commit

Permalink
[docs](fix) Fix license issue of download link (apache#501)
Browse files Browse the repository at this point in the history
  • Loading branch information
KassieZ authored Apr 1, 2024
1 parent 6152c13 commit 065b209
Show file tree
Hide file tree
Showing 23 changed files with 143 additions and 138 deletions.
4 changes: 2 additions & 2 deletions docs/admin-manual/maint-monitor/monitor-alert.md
Original file line number Diff line number Diff line change
Expand Up @@ -132,7 +132,7 @@ Please start building the monitoring system after you have completed the deploym

Prometheus

1. Download the latest version of Prometheus on the [Prometheus Website](https://prometheus.io/download/) or [click to download](https://doris-community-test-1308700295.cos.ap-hongkong.myqcloud.com/monitor/prometheus-2.43.0.linux-amd64.tar.gz). Here we take version 2.43.0-linux-amd64 as an example.
1. Download the latest version of Prometheus on the [Prometheus Website](https://prometheus.io/download/) Here we take version 2.43.0-linux-amd64 as an example.
2. Unzip the downloaded tar file on the machine that is ready to run the monitoring service.
3. Open the configuration file prometheus.yml. Here we provide an example configuration and explain it (the configuration file is in YML format, pay attention to uniform indentation and spaces):

Expand Down Expand Up @@ -199,7 +199,7 @@ Prometheus

### Grafana

1. Download the latest version of Grafana on [Grafana's official website](https://grafana.com/grafana/download) or [click to download](https://doris-community-test-1308700295.cos.ap-hongkong.myqcloud.com/monitor/grafana-enterprise-8.5.22.linux-amd64.tar.gz). Here we take version 8.5.22.linux-amd64 as an example.
1. Download the latest version of Grafana on [Grafana's official website](https://grafana.com/grafana/download)

2. Unzip the downloaded tar file on the machine that is ready to run the monitoring service.

Expand Down
2 changes: 1 addition & 1 deletion docs/advanced/broker.md
Original file line number Diff line number Diff line change
Expand Up @@ -222,7 +222,7 @@ Same as Apache HDFS
```
#### Baidu Cloud OBS
Currently, when using BOS, it is necessary to download and unzip the [bos-hdfs-sdk-1.0.3-community.jar.zip](https://sdk.bce.baidu.com/console-sdk/bos-hdfs-sdk-1.0.3-community.jar.zip), and then move the jar in the lib directory of the broker.
Currently, when using BOS, it is necessary to download and unzip the SDK, please refer the [BOS HDFS Congif Manual](https://cloud.baidu.com/doc/BOS/s/fk53rav99), and then move the jar in the lib directory of the broker.
```
(
Expand Down
2 changes: 1 addition & 1 deletion docs/get-starting/quick-start.md
Original file line number Diff line number Diff line change
Expand Up @@ -112,7 +112,7 @@ You can see the following screen, which indicates that the FE has started succes
#### Connect FE

We will connect to Doris FE via MySQL client below, download the installation-free [MySQL client](https://doris-build-hk.oss-cn-hongkong.aliyuncs.com/mysql-client/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz)
We will connect to Doris FE via MySQL client below, download the installation-free [MySQL client](https://dev.mysql.com/downloads/mysql/)

Unzip the MySQL client you just downloaded. You can find the `mysql` command line tool in the `bin/` directory. Execute the following command to connect to Doris.

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -52,7 +52,7 @@ Doris 使用 [Prometheus](https://prometheus.io/) 和 [Grafana](https://grafana.

Grafana 是一款开源的数据分析和展示平台。支持包括 Prometheus 在内的多个主流时序数据库源。通过对应的数据库查询语句,从数据源中获取展现数据。通过灵活可配置的 Dashboard,快速的将这些数据以图表的形式展示给用户。

> : 本文档仅提供一种使用 Prometheus 和 Grafana 进行 Doris 监控数据采集和展示的方式。原则上不开发、维护这些组件。更多关于这些组件的详细介绍,请移步对应官方文档进行查阅。
> 本文档仅提供一种使用 Prometheus 和 Grafana 进行 Doris 监控数据采集和展示的方式。原则上不开发、维护这些组件。更多关于这些组件的详细介绍,请移步对应官方文档进行查阅。
## 监控数据

Expand Down Expand Up @@ -132,7 +132,7 @@ jvm_heap_size_bytes{type="used"} 156375280

### Prometheus

1.[Prometheus 官网](https://prometheus.io/download/) 下载最新版本的 Prometheus 或者直接[点击下载](https://doris-community-test-1308700295.cos.ap-hongkong.myqcloud.com/monitor/prometheus-2.43.0.linux-amd64.tar.gz)。这里我们以 2.43.0-linux-amd64 版本为例。
1.[Prometheus 官网](https://prometheus.io/download/) 下载最新版本的 Prometheus。这里我们以 2.43.0-linux-amd64 版本为例。
2. 在准备运行监控服务的机器上,解压下载后的 tar 文件。
3. 打开配置文件 prometheus.yml。这里我们提供一个示例配置并加以说明(配置文件为 yml 格式,一定注意统一的缩进和空格):

Expand Down Expand Up @@ -199,7 +199,7 @@ jvm_heap_size_bytes{type="used"} 156375280
### Grafana
1. 在 [Grafana 官网](https://grafana.com/grafana/download) 下载最新版本的 Grafana 或者直接[点击下载](https://doris-community-test-1308700295.cos.ap-hongkong.myqcloud.com/monitor/grafana-enterprise-8.5.22.linux-amd64.tar.gz)。这里我们以 8.5.22.linux-amd64 版本为例。
1. 在 [Grafana 官网](https://grafana.com/grafana/download) 下载最新版本的 Grafana。这里我们以 8.5.22.linux-amd64 版本为例。
2. 在准备运行监控服务的机器上,解压下载后的 tar 文件。
Expand Down Expand Up @@ -296,7 +296,7 @@ jvm_heap_size_bytes{type="used"} 156375280
2. 点击下方的图例,可以单独查看某一监控项。再次点击,则显示所有。
3. 在图表中拖拽可以选定时间范围。
4. 标题的 [] 中显示选定的集群名称。
5. 一些数值对应左边的Y轴,一些对应右边的,可以通过图例末尾的 `-right` 区分。
5. 一些数值对应左边的 Y 轴,一些对应右边的,可以通过图例末尾的 `-right` 区分。
6. 点击图表名称->`Edit`,可以对图表进行编辑。
## Dashboard 更新
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -71,7 +71,7 @@ Broker 在 Doris 系统架构中的位置如下:
- 支持通过 kerberos 认证访问
- 支持 HDFS HA 模式访问
2. 对象存储
- 所有支持S3协议的对象存储
- 所有支持 S3 协议的对象存储

1. [Broker Load](../data-operate/import/import-way/broker-load-manual)
2. [数据导出(Export)](../data-operate/export/export-manual)
Expand Down Expand Up @@ -145,7 +145,7 @@ WITH BROKER "broker_name"
)
```

如果采用Kerberos认证方式,则部署Broker进程的时候需要[krb5.conf (opens new window)](https://web.mit.edu/kerberos/krb5-1.12/doc/admin/conf_files/krb5_conf.html)文件, krb5.conf文件包含Kerberos的配置信息,通常,您应该将krb5.conf文件安装在目录/etc中。您可以通过设置环境变量KRB5_CONFIG覆盖默认位置。 krb5.conf文件的内容示例如下
如果采用 Kerberos 认证方式,则部署 Broker 进程的时候需要[krb5.conf (opens new window)](https://web.mit.edu/kerberos/krb5-1.12/doc/admin/conf_files/krb5_conf.html)文件,krb5.conf 文件包含 Kerberos 的配置信息,通常,您应该将 krb5.conf 文件安装在目录/etc 中。您可以通过设置环境变量 KRB5_CONFIG 覆盖默认位置。krb5.conf 文件的内容示例如下

```text
[libdefaults]
Expand All @@ -166,8 +166,8 @@ WITH BROKER "broker_name"
这个配置用于访问以 HA 模式部署的 HDFS 集群。

- `dfs.nameservices`:指定 hdfs 服务的名字,自定义,如:"dfs.nameservices" = "my_ha"。
- `dfs.ha.namenodes.xxx`:自定义 namenode 的名字,多个名字以逗号分隔。其中 xxx 为 `dfs.nameservices` 中自定义的名字,如: "dfs.ha.namenodes.my_ha" = "my_nn"。
- `dfs.namenode.rpc-address.xxx.nn`:指定 namenode 的rpc地址信息。其中 nn 表示 `dfs.ha.namenodes.xxx` 中配置的 namenode 的名字,如:"dfs.namenode.rpc-address.my_ha.my_nn" = "host:port"。
- `dfs.ha.namenodes.xxx`:自定义 namenode 的名字多个名字以逗号分隔。其中 xxx 为 `dfs.nameservices` 中自定义的名字,如: "dfs.ha.namenodes.my_ha" = "my_nn"。
- `dfs.namenode.rpc-address.xxx.nn`:指定 namenode 的 rpc 地址信息。其中 nn 表示 `dfs.ha.namenodes.xxx` 中配置的 namenode 的名字,如:"dfs.namenode.rpc-address.my_ha.my_nn" = "host:port"。
- `dfs.client.failover.proxy.provider`:指定 client 连接 namenode 的 provider,默认为:org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider。

示例如下:
Expand Down Expand Up @@ -198,7 +198,7 @@ WITH BROKER "broker_name"
)
```

关于HDFS集群的配置可以写入hdfs-site.xml文件中,用户使用Broker进程读取HDFS集群的信息时,只需要填写集群的文件路径名和认证信息即可。
关于 HDFS 集群的配置可以写入 hdfs-site.xml 文件中,用户使用 Broker 进程读取 HDFS 集群的信息时,只需要填写集群的文件路径名和认证信息即可。

#### 腾讯云 CHDFS

Expand All @@ -215,7 +215,8 @@ WITH BROKER "broker_name"
```

#### 百度云 BOS
当前使用BOS时需要将[bos-hdfs-sdk-1.0.3-community.jar.zip](https://sdk.bce.baidu.com/console-sdk/bos-hdfs-sdk-1.0.3-community.jar.zip)下载并解压后把jar包放到broker的lib目录下。

当前使用 BOS 时需要下载相应的 SDK 包,具体配置与使用,可以参考 [BOS HDFS 官方文档](https://cloud.baidu.com/doc/BOS/s/fk53rav99)。在下载完成并解压后将 jar 包放到 broker 的 lib 目录下。

```
(
Expand Down Expand Up @@ -258,7 +259,7 @@ WITH BROKER "broker_name"
```

#### GCS
在使用 Broker 访问 GCS 时,Project ID 是必须的,其他参数可选,所有参数配置请参考 [GCS Config](https://github.com/GoogleCloudDataproc/hadoop-connectors/blob/branch-2.2.x/gcs/CONFIGURATION.md)
在使用 Broker 访问 GCS 时,Project ID 是必须的,其他参数可选所有参数配置请参考 [GCS Config](https://github.com/GoogleCloudDataproc/hadoop-connectors/blob/branch-2.2.x/gcs/CONFIGURATION.md)
```
(
"fs.gs.project.id" = "你的 Project ID",
Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -31,7 +31,7 @@ Apache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据

## 下载 Doris

Doris 运行在 Linux 环境中,推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本,同时你需要安装 Java 运行环境(JDK版本要求为8),要检查你所安装的 Java 版本,请运行以下命令:
Doris 运行在 Linux 环境中,推荐 CentOS 7.x 或者 Ubuntu 16.04 以上版本,同时你需要安装 Java 运行环境(JDK 版本要求为 8),要检查你所安装的 Java 版本,请运行以下命令:

```
java -version
Expand Down Expand Up @@ -63,7 +63,7 @@ priority_networks=172.23.16.0/24

>注意:
>
>这个参数我们在安装的时候是必须要配置的,特别是当一台机器拥有多个IP地址的时候,我们要为 FE 指定唯一的IP地址
>这个参数我们在安装的时候是必须要配置的,特别是当一台机器拥有多个 IP 地址的时候,我们要为 FE 指定唯一的 IP 地址
> 这里假设你的节点 IP 是 `172.23.16.32`,那么我们可以通过掩码的方式配置为 `172.23.16.0/24`
Expand All @@ -75,7 +75,7 @@ meta_dir=/path/your/doris-meta

>注意:
>
>这里你可以不配置,默认是在你的Doris FE 安装目录下的 doris-meta,
>这里你可以不配置,默认是在你的 Doris FE 安装目录下的 doris-meta,
>
>单独配置元数据目录,需要你提前创建好你指定的目录
Expand All @@ -95,11 +95,11 @@ meta_dir=/path/your/doris-meta
curl http://127.0.0.1:8030/api/bootstrap
```

这里 IP 和 端口分别是 FE 的 IP 和 http_port(默认8030),如果是你在 FE 节点执行,直接运行上面的命令即可。
这里 IP 和 端口分别是 FE 的 IP 和 http_port(默认 8030),如果是你在 FE 节点执行,直接运行上面的命令即可。

如果返回结果中带有 `"msg":"success"` 字样,则说明启动成功。

你也可以通过 Doris FE 提供的Web UI 来检查,在浏览器里输入地址
你也可以通过 Doris FE 提供的 Web UI 来检查,在浏览器里输入地址

http:// fe_ip:8030

Expand All @@ -116,7 +116,7 @@ http:// fe_ip:8030
#### 连接 FE

我们下面通过 MySQL 客户端来连接 Doris FE,下载免安装的 [MySQL 客户端](https://doris-build-hk.oss-cn-hongkong.aliyuncs.com/mysql-client/mysql-5.7.22-linux-glibc2.12-x86_64.tar.gz)
我们下面通过 MySQL 客户端来连接 Doris FE,下载免安装的 [MySQL 客户端](https://dev.mysql.com/downloads/mysql/)

解压刚才下载的 MySQL 客户端,在 `bin/` 目录下可以找到 `mysql` 命令行工具。然后执行下面的命令连接 Doris。

Expand All @@ -127,8 +127,8 @@ mysql -uroot -P9030 -h127.0.0.1
>注意:
>
>1. 这里使用的 root 用户是 doris 内置的默认用户,也是超级管理员用户,具体的用户权限查看 [权限管理](../admin-manual/privilege-ldap/user-privilege.md)
>2. -P :这里是我们连接 Doris 的查询端口,默认端口是 9030,对应的是fe.conf里的 `query_port`
>3. -h这里是我们连接的 FE IP地址,如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1。
>2. -P:这里是我们连接 Doris 的查询端口,默认端口是 9030,对应的是 fe.conf 里的 `query_port`
>3. -h这里是我们连接的 FE IP 地址,如果你的客户端和 FE 安装在同一个节点可以使用 127.0.0.1。
执行下面的命令查看 FE 运行状态

Expand Down Expand Up @@ -162,30 +162,30 @@ ReplayedJournalId: 49292
1 row in set (0.03 sec)
```

1. 如果 IsMaster、Join 和 Alive 三列均为true,则表示节点正常。
1. 如果 IsMaster、Join 和 Alive 三列均为 true,则表示节点正常。

#### 加密连接 FE

Doris支持基于SSL的加密连接,当前支持TLS1.2,TLS1.3协议,可以通过以下配置开启Doris的SSL模式
修改FE配置文件`conf/fe.conf`,添加`enable_ssl = true`即可。
Doris 支持基于 SSL 的加密连接,当前支持 TLS1.2,TLS1.3 协议,可以通过以下配置开启 Doris 的 SSL 模式
修改 FE 配置文件`conf/fe.conf`,添加`enable_ssl = true`即可。

接下来通过`mysql`客户端连接Doris,mysql支持五种SSL模式
接下来通过`mysql`客户端连接 Doris,mysql 支持五种 SSL 模式

1.`mysql -uroot -P9030 -h127.0.0.1``mysql --ssl-mode=PREFERRED -uroot -P9030 -h127.0.0.1`一样,都是一开始试图建立SSL加密连接,如果失败,则尝试使用普通连接。
1.`mysql -uroot -P9030 -h127.0.0.1``mysql --ssl-mode=PREFERRED -uroot -P9030 -h127.0.0.1`一样,都是一开始试图建立 SSL 加密连接,如果失败,则尝试使用普通连接。

2.`mysql --ssl-mode=DISABLE -uroot -P9030 -h127.0.0.1`不使用SSL加密连接,直接使用普通连接。
2.`mysql --ssl-mode=DISABLE -uroot -P9030 -h127.0.0.1`不使用 SSL 加密连接,直接使用普通连接。

3.`mysql --ssl-mode=REQUIRED -uroot -P9030 -h127.0.0.1`强制使用SSL加密连接
3.`mysql --ssl-mode=REQUIRED -uroot -P9030 -h127.0.0.1`强制使用 SSL 加密连接

4.`mysql --ssl-mode=VERIFY_CA --ssl-ca=ca.pem -uroot -P9030 -h127.0.0.1`强制使用SSL加密连接,并且通过指定CA证书验证服务端身份是否有效
4.`mysql --ssl-mode=VERIFY_CA --ssl-ca=ca.pem -uroot -P9030 -h127.0.0.1`强制使用 SSL 加密连接,并且通过指定 CA 证书验证服务端身份是否有效

5.`mysql --ssl-mode=VERIFY_CA --ssl-ca=ca.pem --ssl-cert=client-cert.pem --ssl-key=client-key.pem -uroot -P9030 -h127.0.0.1`强制使用SSL加密连接,双向验证。
5.`mysql --ssl-mode=VERIFY_CA --ssl-ca=ca.pem --ssl-cert=client-cert.pem --ssl-key=client-key.pem -uroot -P9030 -h127.0.0.1`强制使用 SSL 加密连接,双向验证。


>注意:
>`--ssl-mode`参数是mysql5.7.11版本引入的,低于此版本的mysql客户端请参考[这里](https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-connp-props-security.html)
>`--ssl-mode`参数是 mysql5.7.11 版本引入的,低于此版本的 mysql 客户端请参考[这里](https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-connp-props-security.html)
Doris开启SSL加密连接需要密钥证书文件验证,默认的密钥证书文件位于`Doris/fe/mysql_ssl_default_certificate/`下。密钥证书文件的生成请参考[密钥证书配置](../admin-manual/certificate.md)
Doris 开启 SSL 加密连接需要密钥证书文件验证,默认的密钥证书文件位于`Doris/fe/mysql_ssl_default_certificate/`下。密钥证书文件的生成请参考[密钥证书配置](../admin-manual/certificate.md)

#### 停止 FE 节点

Expand Down Expand Up @@ -213,7 +213,7 @@ priority_networks=172.23.16.0/24

>注意:
>
>这个参数我们在安装的时候是必须要配置的,特别是当一台机器拥有多个IP地址的时候,我们要为 BE 指定唯一的IP地址
>这个参数我们在安装的时候是必须要配置的,特别是当一台机器拥有多个 IP 地址的时候,我们要为 BE 指定唯一的 IP 地址
2. 配置 BE 数据存储目录

Expand All @@ -224,7 +224,7 @@ storage_root_path=/path/your/data_dir

>注意:
>
>1. 默认目录在 BE安装目录的 storage 目录下。
>1. 默认目录在 BE 安装目录的 storage 目录下。
>2. BE 配置的存储目录必须先创建好
3. 配置 JAVA_HOME 环境变量
Expand All @@ -234,8 +234,8 @@ storage_root_path=/path/your/data_dir

4. 安装 Java UDF 函数

<version since="1.2.0">安装Java UDF 函数</version>
因为从1.2 版本开始支持Java UDF 函数,需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下,否则可能会启动失败。
<version since="1.2.0">安装 Java UDF 函数</version>
因为从 1.2 版本开始支持 Java UDF 函数,需要从官网下载 Java UDF 函数的 JAR 包放到 BE 的 lib 目录下,否则可能会启动失败。



Expand All @@ -249,7 +249,7 @@ storage_root_path=/path/your/data_dir

#### 添加 BE 节点到集群

通过MySQL 客户端连接到 FE 之后执行下面的 SQL,将 BE 添加到集群中
通过 MySQL 客户端连接到 FE 之后执行下面的 SQL,将 BE 添加到集群中

```sql
ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";
Expand Down Expand Up @@ -297,7 +297,7 @@ ClusterDecommissioned: false
1 row in set (0.01 sec)
```

1. Alive : true表示节点运行正常
1. Alive : true 表示节点运行正常

#### 停止 BE 节点

Expand Down Expand Up @@ -355,14 +355,14 @@ PROPERTIES (

4. 导入数据

这里我们通过Stream load 方式将上面保存到文件中的数据导入到我们刚才创建的表里。
这里我们通过 Stream load 方式将上面保存到文件中的数据导入到我们刚才创建的表里。

```
curl --location-trusted -u root: -T test.csv -H "column_separator:," http://127.0.0.1:8030/api/demo/example_tbl/_stream_load
```

- -T test.csv : 这里使我们刚才保存的数据文件,如果路径不一样,请指定完整路径
- -u root : 这里是用户名密码,我们使用默认用户root,密码是空
- -u root : 这里是用户名密码,我们使用默认用户 root,密码是空
- 127.0.0.1:8030 : 分别是 fe 的 ip 和 http_port

执行成功之后我们可以看到下面的返回信息
Expand Down Expand Up @@ -436,4 +436,4 @@ mysql> select city, sum(cost) as total_cost from example_tbl group by city;



到这里我们整个快速开始就结束了,我们从 Doris 安装部署、启停、创建库表、数据导入及查询,完整的体验了Doris的操作流程,下面开始我们 Doris 使用之旅吧。
到这里我们整个快速开始就结束了,我们从 Doris 安装部署、启停、创建库表、数据导入及查询,完整的体验了 Doris 的操作流程,下面开始我们 Doris 使用之旅吧。
Loading

0 comments on commit 065b209

Please sign in to comment.