提起高性能計(jì)算（HPC），

你先想到什么？

是全球超算TOP 500

六連冠的天河二號(hào)？

還是幫助中國實(shí)現(xiàn)戈登·貝爾獎(jiǎng)

零突破的神威·太湖之光？

[[279362]]

超高運(yùn)算速度，

超大運(yùn)算資料量，

HPC正以其迅捷性，

促進(jìn)人類信息處理能力再攀升。

有人說了，HPC如此高大上，要實(shí)現(xiàn)肯定很困難吧。

資深I(lǐng)T老司機(jī)告訴你：“不難，一點(diǎn)都不難，只要一臺(tái)筆記本，咱們自己就能整！”

[[279363]]

不過……

咱們整的是HPC演示環(huán)境啦！

[[279364]]

1. 搭建前的準(zhǔn)備

高性能計(jì)算機(jī)也被稱作并行計(jì)算機(jī)，由很多臺(tái)計(jì)算機(jī)同時(shí)并行計(jì)算，以解決一個(gè)復(fù)雜的問題。搭建高性能計(jì)算的演示環(huán)境之前，需要有一些考慮和準(zhǔn)備。

首先是HPC集群軟件的選擇。

目前，HPC系統(tǒng)越來越多運(yùn)行的是Linux OS，入圍世界Top500的超級(jí)計(jì)算機(jī)100%采用的都是Linux系統(tǒng)。為了幫助用戶更方便地搭建和使用HPC，Linux基金會(huì)成立了OpenHPC項(xiàng)目組，將軟件包預(yù)先編譯搭建好，這樣用戶就可以通過標(biāo)準(zhǔn)的Linux安裝流程，快速安裝部署一套HPC系統(tǒng)。

因此本次HPC演示環(huán)境搭建采用了OpenHPC軟件，其網(wǎng)址為http://openHPC.community。以下是OpenHPC集群的架構(gòu)圖：

其次是OpenHPC軟件模塊。

OpenHPC可以支持的操作系統(tǒng)有CentOS，SuSe Linux，集群管理軟件有Warewulf和xCAT，作業(yè)調(diào)度軟件有PBSpro和Slurm等?？紤]到CentOS用戶比較多，Warewulf相對簡單，PBSpro在國內(nèi)有商業(yè)廠商支持，所以本次安裝OpenHPC選擇了CentOS、Warewulf和PBSpro的組合。

最后是筆記本上的虛擬平臺(tái)。

筆者日常工作的筆記本是1臺(tái)Dell Latitude 5490，Inteli5 1.7GHz CPU，16GB內(nèi)存，500GB的SSD硬盤，運(yùn)行Windows10  Enterprise。

由于需要?jiǎng)?chuàng)建虛擬主機(jī)，可以考慮采用的虛擬主機(jī)平臺(tái)主要有三種：VMware Workstation 15 Player,  Oracle VM VirtualBox 和微軟的Hyper-VManager。

由于VMware Workstation Player免費(fèi)版本不可以同時(shí)支持多個(gè)VM(虛擬機(jī))的運(yùn)行，Oracle VirtualBox 的VM安裝CentOS7.6時(shí)會(huì)出現(xiàn)鼠標(biāo)點(diǎn)擊無效的Bug，所以本次部署采用的是Windows10 Hyper-V。

萬事俱備，即刻開始搭建HPC運(yùn)行環(huán)境！

2. HPC運(yùn)行環(huán)境搭建八步走

1) Windows10 Hyper-V虛擬平臺(tái)的設(shè)置

① 開啟Hyper-V模式支持：

在搜索欄輸入“turn windows features”,進(jìn)入配置窗口，勾選Hyper-V復(fù)選框，隨后重啟Windows10。

② 運(yùn)行Hyper-V:

在搜索欄輸入“Hyper-V Manager”，啟動(dòng)Hyper-V manager，隨后將Hyper-V Manager連接到服務(wù)器：點(diǎn)擊右側(cè)的連接到服務(wù)器，選擇本地，即這臺(tái)筆記本電腦，本電腦的名字為“*DST2”。

2) 創(chuàng)建OpenHPC的管理節(jié)點(diǎn)——sms，并安裝CentOS 7.6 操作系統(tǒng)

① 點(diǎn)擊左側(cè)的服務(wù)器“*DST2”,隨后點(diǎn)擊右側(cè)的“New”，在彈出的菜單欄中選擇“Virtual Machine”。

② 按照創(chuàng)建VM導(dǎo)航，創(chuàng)建OpenHPC的管理節(jié)點(diǎn)，在”name“處輸入sms，作為VM的名字；隨后選擇Hyper-V支持的VM類型：第一代“Generation 1”，申請內(nèi)存空間為2GB（CentOS至少需要2GB的內(nèi)存，硬盤容量建議為40GB）。

③ 配置網(wǎng)絡(luò)連接為連接外部網(wǎng)絡(luò)”external”交換機(jī)，配置VM的本地硬盤為40GB。

④ OpenHPC支持的新版本為CentOS7.6，可以在http://vault.centos.org/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso將CentOS7.6下載到本地。然后在Image file (.iso)處，指定CentOS ISO 文件的本地路徑。

⑤ 完成設(shè)置后進(jìn)入總結(jié)頁面，點(diǎn)擊“Finish”完成。

⑥ 開啟sms的VM，在Virtual Machines的窗口中選擇sms后，點(diǎn)擊右側(cè)菜單“action”下屬“sms”的“connection”，連接完成后，點(diǎn)擊彈出窗口“action”下的“start”開始。

⑦ 開始在sms vm虛擬機(jī)上安裝CentOS7.6。選擇”English”語言，時(shí)區(qū)可以選擇“Shanghai,China”，在“Language Support”支持語言中點(diǎn)擊“簡體中文”。在software selection 中，安裝小包——帶有Gnome Application圖形界面的軟件包。

⑧ 隨后按照提示步驟進(jìn)行配置，配置“Installation Destination”,然后等待大約2分鐘，檢測“Installation Source”完成，就會(huì)出現(xiàn)以下界面。

⑨ 點(diǎn)擊“Begin Installation”開始安裝，約安裝1398個(gè)軟件包，在此期間需要設(shè)置root的密碼口令：

估計(jì)運(yùn)行14分鐘，就可以完成OS的安裝。按“reboot”重啟，在”Initial Setup”中，接受License許可。配置主機(jī)名和網(wǎng)絡(luò)，將主機(jī)名設(shè)定為”sms”，網(wǎng)絡(luò)eth0設(shè)置為”ON”開啟。

⑩ 這里需要添加一個(gè)用戶名，如“test“，輸入口令，跳過google等用戶注冊，完成CentOS7.6 的安裝。隨即以“test“用戶登錄到系統(tǒng)，我們需要用root登錄，點(diǎn)擊右上角的開關(guān)按鈕，選擇”logout”退出用戶“test”，然后用root重新登錄系統(tǒng)。

3) 配置OpenHPC sms 管理節(jié)點(diǎn)的網(wǎng)絡(luò)

① 配置Hpyer-v Switch網(wǎng)絡(luò)

進(jìn)入Hyper-v manager，通過“Virtual switch manager”創(chuàng)建2個(gè)網(wǎng)絡(luò)，一個(gè)是“External”的OpenHPC External，用于連接外網(wǎng)Internet的訪問，將連接sms的eth0網(wǎng)卡；一個(gè)是“Private”的OpenHPC Private，用于HPC集群的內(nèi)部管理。

② 在Windows10的網(wǎng)絡(luò)配置中，將OpenHPC External和vEthernet (default)設(shè)為共享。右鍵v Ethernet ,OpenHPC External 的網(wǎng)卡，點(diǎn)擊Properties ->Sharing，在Internet Connection Sharing的下拉菜單中選擇vEthernet(Default Switch)。

③ 配置sms節(jié)點(diǎn)的網(wǎng)絡(luò)接口。在sms控制臺(tái)上創(chuàng)建2個(gè)網(wǎng)絡(luò)接口卡eth0，連接external網(wǎng)，eth1，連接private 網(wǎng)絡(luò)。

重新連接sms，并start，用root登錄后，啟動(dòng)一個(gè)terminal,運(yùn)行

#pingwww.sohu.com，或者其他網(wǎng)絡(luò)網(wǎng)址如www.sina.cn，可以ping通。(www.sohu.com或www.sina.cn是代表互聯(lián)網(wǎng)上的一個(gè)主機(jī)名字，對應(yīng)各自的IP地址，如果可以ping通，即表示可以和Internet網(wǎng)絡(luò)連接。）

#yum list installed, 可以顯示yum 運(yùn)行正常。

4) sms節(jié)點(diǎn)的配置和OpenHPC發(fā)行版本軟件安裝

① 設(shè)置再次確認(rèn)和配置主機(jī)名  

#hostnamectl set-hostname sms

#hostname

可以顯示主機(jī)名已經(jīng)修改；

重新啟動(dòng)一個(gè)terminal，可以在提示符處，看到名字改為sms；

② 設(shè)置eth1網(wǎng)絡(luò)接口IP地址為172.16.0.1/16，可以通過網(wǎng)絡(luò)配置工具。

③ 配置/etc/hosts文件

#echo172.16.0.1 sms >> /etc/hosts

可以檢查一下

#cat/etc/hosts  

④ 禁用selinux

#sestatus

#vim/etc/selinux/config

selinux=disabled

#reboot    

⑤ 安裝OpenHPC release包：

#yum install http://build.openhpc.community/OpenHPC:/1.3/CentOS_7/x86_64/ohpc-release-1.3-1.el7.x86_64.rpm

⑥ 安裝docs-ohpc包：

#yum install docs-ohpc

5) 創(chuàng)建計(jì)算節(jié)點(diǎn)vm，4臺(tái)c1-c4

① 創(chuàng)建vmc1與sms的創(chuàng)建類似，需要配置2GB的內(nèi)存和40GB的硬盤。此外，在配置網(wǎng)絡(luò)時(shí)需要選擇OpenHPCPrivate網(wǎng)絡(luò)：

② 在安裝選項(xiàng)中，選擇后安裝Operating System:

③ 配置c1的BIOS，引導(dǎo)為pxe，由legacy Network Adapter 先引導(dǎo)；

④ 配置c1，添加網(wǎng)卡，選擇添加Legacy Network Adapter, 并添加到OpenHPC Private網(wǎng)絡(luò)中。

⑤ 設(shè)置Legacy Network Adapter 的MAC地址，c1的MAC地址的后兩位為01。

⑥ 依次創(chuàng)建c2-c4vm，并修改其MAC地址的后2位分別為02-04。

6) 在sms管理節(jié)點(diǎn)安裝OpenHPC軟件

① 編輯input.local 文件

[sms]##cp /opt/ohpc/pub/doc/recipes/centos7/input.local input.local

[sms]#cp -p/opt/ohpc/pub/doc/recipes/centos7/x86_64/warewulf/pbspro/recipe.sh .

修改input.local文件，將計(jì)算節(jié)點(diǎn)private網(wǎng)絡(luò)，進(jìn)行pxe引導(dǎo)的網(wǎng)卡MAC輸入到文件中：

#vim input.local

c_mac[0]=00:00:00:00:00:01

c_mac[1]=00:00:00:00:00:02

c_mac[2]=00:00:00:00:00:03

c_mac[3]=00:00:00:00:00:04

② 安裝OpenHPC 軟件

[sms]#export OHPC_INPUT_LOCAL=./input.local

[sms]#./recipe.sh

安裝大約需要45分鐘，具體時(shí)間由網(wǎng)絡(luò)速度和CPU速度決定，此過程一結(jié)束，OpenHPC就成功安裝到sms節(jié)點(diǎn)上。要注意的是，我們vmc1-c4計(jì)算節(jié)點(diǎn)沒有BMC控制端口，需要在vm中手動(dòng)開啟。

7) 啟動(dòng)計(jì)算節(jié)點(diǎn)

① 在Hpyer-v Server，啟動(dòng)c1計(jì)算節(jié)點(diǎn)。隨后依次開啟c2,c3。不過開啟c4的時(shí)候?qū)?huì)出錯(cuò)，這是因?yàn)?strong>筆記本電腦的內(nèi)存無法支持第四個(gè)vm。

② 現(xiàn)在，筆記本電腦上已經(jīng)完成了OpenHPC軟件的部署，運(yùn)行了3個(gè)計(jì)算節(jié)點(diǎn)，由一個(gè)sms管理節(jié)點(diǎn)進(jìn)行管理。

8) 測試

① 測試節(jié)點(diǎn)是否正常運(yùn)行

#pdsh-w c[1-3] hostname

② 用PBS隊(duì)列交互式執(zhí)行

[root@sms]#su– test

[test@sms]#mpicc-O3 /opt/ohpc/pub/examples/mpi/hello.c

[root@sms]#qsub-I -l select=3:mpiprocs=4

[root@sms]#prun./a.out 

這個(gè)命令的意思是在3個(gè)節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)執(zhí)行4次程序，結(jié)果在屏幕上顯示。

③ 用PBS隊(duì)列批處理執(zhí)行

這個(gè)命令的意思是在2個(gè)節(jié)點(diǎn)上，每個(gè)節(jié)點(diǎn)執(zhí)行4次程序，結(jié)果輸出到j(luò)ob.out文件中。

至此，OpenHPC已經(jīng)遵循手冊要求在筆記本電腦上全部安裝完成！

3. 安裝經(jīng)驗(yàn)

➤ 操作前先查閱一下OpenHPC的相關(guān)資料，包括安裝手冊、input.local和recipe.sh 3個(gè)文件；

➤ Windows10 Hyper-V 虛擬機(jī)sms的Internet訪問，需要將網(wǎng)卡設(shè)置為”external”，并在Windows10 的網(wǎng)絡(luò)設(shè)置中將“external”和”default”共享；

➤ Hyper-V計(jì)算節(jié)點(diǎn)vm c1-c3,引導(dǎo)網(wǎng)卡是“Legacy Network Adapter”,其內(nèi)存需要2GB，另外硬盤方面的需求也比較大，筆者這次配置的是40GB；

➤ vm的名字和IP等按照input.local進(jìn)行設(shè)定，會(huì)比較簡單且易于維護(hù)；

➤ 結(jié)束前的代碼。輸入一段html內(nèi)容到httpd的html目錄：

[root@sms]#echo “<html><body><h1>style=”color:red;text-align:center;margin:1em;font-size:3em;\”>我愛祖國！</h1></body></html>”>> /var/www/html/index.html

隨后打開瀏覽器，輸入sms的地址，可以顯示剛剛輸入的內(nèi)容。

以上就是本期高性能計(jì)算演示環(huán)境的搭建過程了，感興趣的童鞋可以動(dòng)手操作一下！

面對5G、AI、AR/VR、物聯(lián)網(wǎng)、云計(jì)算，

新興科技與傳統(tǒng)應(yīng)用同臺(tái)打擂，

一輪又一輪技術(shù)大潮中，

如何避免被顛覆的命運(yùn)，

如何在風(fēng)云變幻的未來穩(wěn)穩(wěn)立足？

拓界·成真

2019戴爾科技峰會(huì)

共赴

“拓界創(chuàng)新、拓界融合、拓界思維”之路動(dòng)動(dòng)手指
即刻掃碼參加

相關(guān)閱讀推薦：IDC認(rèn)為超融合的價(jià)值主張正在轉(zhuǎn)變

了解更多數(shù)字化轉(zhuǎn)型方案查看此鏈接：

https://www.dellemc-solution.com/home/index.html