数据可视化之-superset

YtSports 2020-07-28

第1章 Superset安装及使用

Apache Superset是一个开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。

由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Druid等,且支持自定义仪表盘,故可作为数仓的可视化工具。

Superset官网地址:http://superset.apache.org/

1.1 安装Python环境

Superset是由Python语言编写的Web应用,要求Python3.6的环境。

1.1.1 安装Miniconda

conda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同Python版本的软件包及其依赖,并能够在不同的Python环境之间切换,Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等,Miniconda包括Conda、Python。此处,我们不需要如此多的工具包,故选择MiniConda。

1)下载Miniconda(Python3版本)

下载地址:https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

2)安装Miniconda

(1)执行以下命令进行安装,并按照提示操作,直到安装完成。

$ bash Miniconda3-latest-Linux-x86_64.sh

(2)在安装过程中,出现以下提示时,可以指定安装路径

3)配置环境变量

修改/etc/profile.d/env.sh文件,内容如下

 数据可视化之-superset

4)取消激活base环境

Miniconda安装完成后,每次打开终端都会激活其默认的base环境,我们可通过以下命令,禁止激活默认base环境。

conda config --set auto_activate_base false

数据可视化之-superset

1.1.2 创建Python3.6环境

1)配置conda国内镜像

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main

conda config --set show_channel_urls yes

2)创建Python3.6环境

conda create --name superset python=3.6

说明:conda环境管理常用命令

  • 创建环境:conda create -n env_name
  • 查看所有环境:conda info --envs
  • 删除一个环境:conda remove -n env_name --all

3)激活superset环境

conda activate superset

       激活后效果如下图所示

 数据可视化之-superset

备注:退出当前环境

conda deactivate

4)执行python命令查看python版本

 数据可视化之-superset

1.2 Superset部署

1.2.1 安装依赖

安装Superset之前,需安装以下所需依赖

sudo yum install -y python-setuptools

sudo yum install -y gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel cyrus-sasl-devel openldap-devel

2.2.2 安装Superset

1)安装(更新)setuptools和pip

pip install --upgrade setuptools pip -i https://pypi.douban.com/simple/

说明:pip是python的包管理工具,可以和centos中的yum类比

2)安装Supetset

pip install apache-superset -i https://pypi.douban.com/simple/

说明:-i的作用是指定镜像,这里选择国内镜像

3)初始化Supetset数据库

superset db upgrade

4)创建管理员用户

export FLASK_APP=superset
flask fab create-admin

说明:flask是一个python web框架,Superset使用的就是flask

5)Superset初始化

superset init

2.2.3 启动Supterset

1)安装gunicorn

pip install gunicorn -i https://pypi.douban.com/simple/

说明:gunicorn是一个Python Web Server,可以和java中的TomCat类比

2)启动Superset

第1步:确保当前conda环境为superset,及下图所示

第2步:启动

gunicorn --workers 5 --timeout 120 --bind 0.0.0.0:8787  superset:app --daemon

为了看日志我们这么写:

gunicorn --workers 5 --timeout 120 --bind 0.0.0.0:8787  superset:app --daemon --error-logfile error.log

说明:

  • --workers:指定进程个数
  • --timeout:worker进程超时时间,超时会自动重启
  • --bind:绑定本机地址,即为Superset访问地址
  • --daemon:后台运行
  • --error-logfile:输出日志

3)停止superset

停掉gunicorn进程

ps -ef | awk ‘/gunicorn/ && !/awk/{print $2}‘ | xargs kill -9

为什么这么写看下面的图:

数据可视化之-superset

退出superset环境

conda deactivate

4)登录Superset

访问http://192.168.201.6:8787/,并使用创建的管理员账号进行登录。

数据可视化之-superset

 原因需要看日志:

tail -f error.log

数据可视化之-superset

 解决:

1、安装gevent

pip install gevent  -i https://pypi.douban.com/simple

2、启动

gunicorn --workers 5 -k gevent --timeout 120 --bind 0.0.0.0:8787  "superset.app:create_app()" --daemon --error-logfile error.log

数据可视化之-superset

相关推荐