Superset數(shù)據(jù)分析平臺搭建
Superset 是 Airbnb 開源的數(shù)據(jù)分析與可視化平臺,同時也是由 Python 語言構(gòu)建的輕量級 BI 系統(tǒng)。Superset 可實現(xiàn)對 TB 量級數(shù)據(jù)進行處理,兼容常見的數(shù)十種關(guān)系或非關(guān)系型數(shù)據(jù)庫,并在內(nèi)部實現(xiàn) SQL 編輯查詢等操作。除此之外,基于 Web 服務(wù)的 Superset 可實現(xiàn)多用戶協(xié)使用,并可針對不同角色進行權(quán)限管理。Superset 如今已歸屬于 Apache 孵化項目,并被 Yahoo,豆瓣等國內(nèi)外知名公司使用。
Superset 平臺搭建:
Superset 基于 Web 分析與可視化平臺,目前支持 Python 2.7 和 Python 3.4 版本。官方介紹稱,暫時未有支持其他版本的計劃。
下面,介紹 Superset 如果安裝配置,文檔基于在線環(huán)境。如果你選擇在本地安裝,可能會因為環(huán)境不同出現(xiàn)一些問題,但大部分時候都可以順利進行。
1 安裝依賴
首先,需要安裝依賴。打開實驗樓在線環(huán)境終端,鍵入:
- sudo apt-get update
- sudo apt-get install build-essential libssl-dev libffi-dev python-dev python-pip libsasl2-dev libldap2-dev
如果你在本地 Fedora 或 RHEL-derivatives 安裝,鍵入:
- sudo yum upgrade python-setuptools
- sudo yum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-devel
如果你在本地 macOS 上安裝,鍵入:
- brew install pkg-config libffi openssl python
- env LDFLAGS="-L$(brew --prefix openssl)/lib" CFLAGS="-I$(brew --prefix openssl)/include" pip install cryptography==1.7.2
2 使用 virtualenv 虛擬環(huán)境
Superset 推薦我們新建一個 virtualenv虛擬環(huán)境來安裝 Superset,這樣也可以避免出現(xiàn)一些沖突或依賴問題。
首先,我們需要安裝 virtualenv:
- sudo pip install virtualenv
然后創(chuàng)建和激活一個叫 superset 的新環(huán)境,這里我們通過參數(shù)指定版本已匹配 Superset 支持的 python 環(huán)境:
- virtualenv superset --python=python2.7
- source superset/bin/activate
此時,我們看到終端命令前變成了 superset 開頭:
如果你在線下使用 Anaconda 或者 conda,創(chuàng)建虛擬環(huán)境的操作為:
- conda create -n superset python=2.7
- activate superset
3 安裝和配置 Superset
接下來,我們使用 pip 來安裝 superset。首先升級 pip和 setuptools 到***版本。
- sudo pip install --upgrade setuptools pip
然后安裝 superset,由于依賴包非常多,這個過程需要持續(xù)幾分鐘:
- sudo pip install superset
安裝完成之后,需要先創(chuàng)建 superset 管理員用戶。
- fabmanager create-admin --app superset
鍵入命令后,會提示你依次輸入用戶名和密碼,創(chuàng)建用戶需要稍等片刻。
創(chuàng)建好用戶之后,需要初始化數(shù)據(jù)庫:
- sudo superset db upgrade
數(shù)據(jù)庫初始化完成之后,我們可以載入一些樣本數(shù)據(jù)到數(shù)據(jù)庫中(樣本數(shù)據(jù)來源于世界衛(wèi)生組織,由于在線環(huán)境網(wǎng)絡(luò)原因,樣本數(shù)據(jù)很可能下載失敗。):
- sudo superset load_examples
然后,創(chuàng)建默認角色和許可:
- sudo superset init
***,運行 superset 服務(wù)。superset 的 Web 服務(wù)默認端口為 8088,你可以通過 -d 參數(shù)指定端口。
- superset runserver
然后,我們打開瀏覽器。輸入:http://localhost:8088 或 http://0.0.0.0:8088 就可以看到 superset 的登陸界面了。
文章主要演示了如果一步一步完成 Superset 的安裝。總體來講,Superset 安裝過程中不存在大坑,只要安裝步驟執(zhí)行,基本都能順利完成。當(dāng)然,如果你熟悉 Docker,也是可以通過拉取官方認可的社區(qū)鏡像一步完成安裝。
- # 拉取 Superset 社區(qū) Docker 鏡像
- docker pull amancevice/superset