Skip to content

Latest commit

 

History

History
256 lines (182 loc) · 11 KB

DSS部署文档单机版.md

File metadata and controls

256 lines (182 loc) · 11 KB
Raw

DataSphere Studio 单机一键部署文档

零、部署前注意事项（重要！！！）

  • 确保安装的系统为CentOS为6或者7

  • 服务器存在多网卡问题。首先通过命令ifconfig命令查看服务器激活状态的网卡，若激活状态的网卡数大于1，那么用户就需要通过命令ifconfig [NIC_NAME] down([NIC_NAME]为网卡名称)来关闭多余的网卡，以确保激活的网卡数只有1个

  • 网卡多IP问题。在确保服务器只存在一个网卡是激活状态的情况下，通过命令echo $(hostname -I)查看网卡对应的IP数，若大于1，那么就需要去掉网卡中指定的IP，采用动态获取IP的方式，具体命令如下：

      ip addr flush dev [NIC_NAME]
  ifdown [NIC_NAME]
  ifup [NIC_NAME]

  • hostname配置。在安装前用户需要配置hostname到ip的映射

  • 若未进行上述设置，安装脚本会默认获取第一个网卡ip

一、基础软件安装

  • 需要的命令工具（在正式安装前，脚本会自动检测这些命令是否可用，如果不存在会尝试自动安装，安装失败则需用户手动安装以下基础shell命令工具）：

    telnet; tar; sed; dos2unix; mysql; yum; java; unzip; zip; expect

  • 需要安装的软件：

    MySQL (5.5+); JDK (1.8.0_141以上); Nginx

  • Tips: 请确保已安装Linkis

二、创建用户

  1. 假设部署用户是hadoop账号（可以不是hadoop用户，但是推荐使用Hadoop的超级用户进行部署，这里只是一个示例）

  2. 在所有需要部署的机器上创建部署用户，用于安装 ，如下命令创建部署用户hadoop

    sudo useradd hadoop

  3. 改部署用户权限

    编辑/etc/sudoers文件：

    vi /etc/sudoers

    在/etc/sudoers文件中添加下面内容：

    hadoop  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL

三、准备安装包

  • 用户可以自行编译或者去 release 页面下载安装包：DSS Release-1.1.1

  • DSS 一键安装部署包的层级目录结构如下：

    ├── dss_install # 一键部署主目录
  ├── bin # 用于一键安装，以及一键启动 DSS
  ├── conf # 一键部署的参数配置目录
  ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后端安装包
  ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端安装包

  • 如果用户选择采用下载安装包直接部署的形式，可直接跳转到 修改配置

  • 如果用户选择自行编译DSS，请确保编译的是DSS master 分支的最新代码，编译方式可以参考:
    DSS后端编译文档
    DSS前端编译文档

      1. 针对后端安装包可直接将上面的 DSS 后端安装包替换成编译后安装包即可。

  2. 针对前端安装包，则需要特别注意，整个前端安装包目录结构如下：
  ```
  ├── wedatasphere-dss-web-x.x.x-dist # DSS前端安装包
    ├── config.sh # 参数配置脚本
    ├── install.sh # 前端部署脚本
    ├── dist # DSS前端包
  ```

  3. DSS前端包可直接替换成用户编译后的相关安装包。

  4. 用户在打包wedatasphere-dss-web-x.x.x-dist.zip的时候需要特别注意，不要在父级目录对其直接压缩，应全选目录下面的所有文件然后压缩。

四、修改配置

  • 用户需要对 xx/dss_install/conf 目录下的 config.sh 和 db.sh 进行修改。

  • 打开 config.sh，按需修改相关配置参数，参数说明如下：

### deploy user
deployUser=hadoop

### DSS Web
DSS_NGINX_IP=127.0.0.1
DSS_WEB_PORT=8085

### DSS VERSION
DSS_VERSION=1.1.1

### 
LINKIS_HOME=
###  EUREKA install information
###  You can access it in your browser at the address below:http://${EUREKA_INSTALL_IP}:${EUREKA_PORT}
###  Microservices Service Registration Discovery Center
LINKIS_EUREKA_INSTALL_IP=127.0.0.1
LINKIS_EUREKA_PORT=20303
#LINKIS_EUREKA_PREFER_IP=true

###  Gateway install information
LINKIS_GATEWAY_INSTALL_IP=127.0.0.1
LINKIS_GATEWAY_PORT=9001



################### The install Configuration of all DataSphereStudio's Micro-Services #####################
#
#    NOTICE:
#       1. If you just wanna try, the following micro-service configuration can be set without any settings.
#            These services will be installed by default on this machine.
#       2. In order to get the most complete enterprise-level features, we strongly recommend that you install
#          the following microservice parameters
#

### DSS_SERVER
### This service is used to provide dss-server capability.

### project-server
#DSS_FRAMEWORK_PROJECT_SERVER_INSTALL_IP=127.0.0.1
#DSS_FRAMEWORK_PROJECT_SERVER_PORT=9002
### orchestrator-server
#DSS_FRAMEWORK_ORCHESTRATOR_SERVER_INSTALL_IP=127.0.0.1
#DSS_FRAMEWORK_ORCHESTRATOR_SERVER_PORT=9003
### apiservice-server
#DSS_APISERVICE_SERVER_INSTALL_IP=127.0.0.1
#DSS_APISERVICE_SERVER_PORT=9004
### dss-workflow-server
#DSS_WORKFLOW_SERVER_INSTALL_IP=127.0.0.1
#DSS_WORKFLOW_SERVER_PORT=9005
### dss-flow-execution-server
#DSS_FLOW_EXECUTION_SERVER_INSTALL_IP=127.0.0.1
#DSS_FLOW_EXECUTION_SERVER_PORT=9006
###dss-scriptis-server
#DSS_SCRIPTIS_SERVER_INSTALL_IP=127.0.0.1
#DSS_SCRIPTIS_SERVER_PORT=9008

###dss-data-api-server
#DSS_DATA_API_SERVER_INSTALL_IP=127.0.0.1
#DSS_DATA_API_SERVER_PORT=9208
###dss-data-governance-server
#DSS_DATA_GOVERNANCE_SERVER_INSTALL_IP=127.0.0.1
#DSS_DATA_GOVERNANCE_SERVER_PORT=9209
###dss-guide-server
#DSS_GUIDE_SERVER_INSTALL_IP=127.0.0.1
#DSS_GUIDE_SERVER_PORT=9210
########## DSS微服务配置完毕#####

############## ############## other default configuration 其他默认配置信息  ############## ##############

## java application default jvm memory
export SERVER_HEAP_SIZE="512M"


##sendemail配置，只影响DSS工作流中发邮件功能
EMAIL_HOST=smtp.163.com
EMAIL_PORT=25
EMAIL_USERNAME[email protected]
EMAIL_PASSWORD=xxxxx
EMAIL_PROTOCOL=smtp

### Save the file path exported by the orchestrator service
ORCHESTRATOR_FILE_PATH=/appcom/tmp/dss
### Save DSS flow execution service log path
EXECUTION_LOG_PATH=/appcom/tmp/dss

五、安装和使用

  1. 停止机器上所有DSS服务

  • 若从未安装过DSS服务，忽略此步骤

  1. 将当前目录切换到bin目录

    cd xx/dss_install/bin

  2. 执行安装脚本

    sh install.sh

  • 该安装脚本会检查各项集成环境命令，如果没有请按照提示进行安装，以下命令为必须项：

    yum; java; mysql; unzip; expect; telnet; tar; sed; dos2unix; nginx

  • 安装时，脚本会询问您是否需要初始化数据库并导入元数据，第一次安装必须选是

  • 通过查看控制台打印的日志信息查看是否安装成功，如果有错误信息，可以查看具体报错原因

  • 除非用户想重新安装整个应用，否则该命令执行一次即可

  1. 启动服务

  • 在xx/dss_install/bin目录下执行启动服务脚本

    sh start-all.sh

  • 如果启动产生了错误信息，可以查看具体报错原因。启动后，各项微服务都会进行通信检测，如果有异常则可以帮助用户定位异常日志和原因

  1. 安装默认Appconn

    # 切换目录到dss，正常情况下dss目录就在xx/dss_install目录下，
cd xx/dss_install/dss/bin

# 执行启动默认Appconn脚本
sh install-default-appconn.sh
  • 该命令执行一次即可，除非用户想重新安装整个应用

  1. 查看验证是否成功

  • 用户可以在Linkis的Eureka界面查看 DSS 后台各微服务的启动情况，默认情况下DSS有7个微服务

  • 用户可以使用谷歌浏览器访问以下前端地址：http://DSS_NGINX_IP:DSS_WEB_PORT 启动日志会打印此访问地址（在xx/dss_install/conf/config.sh中也配置了此地址）。登陆时默认管理员的用户名和密码均为部署用户为hadoop（用户若做了修改，可以查看xx/linkis/conf/linkis-mg-gateway.properties 文件中的 wds.linkis.admin.password 参数)

  1. 停止服务

    sh stop-all.sh
  • 若用户需要停止所有服务可执行该命令sh stop-all.sh，重新启动所有服务就执行sh start-all.sh，这两条命令均在xx/dss_install/bin目录下执行

六、补充说明