自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

ClusterShell：一個(gè)在集群節(jié)點(diǎn)上并行運(yùn)行命令的好工具

作者：Magesh Maruthamuthu
系統(tǒng) Linux
我們過去曾寫過兩篇如何并行地在多個(gè)遠(yuǎn)程服務(wù)器上運(yùn)行命令的文章。今天，我們將討論相同類型的主題，但它允許我們?cè)诩汗?jié)點(diǎn)上執(zhí)行相同的操作。你可能會(huì)想，我可以編寫一個(gè)小的 shell 腳本來實(shí)現(xiàn)這個(gè)目的，而不是安裝這些第三方軟件包。

 [[271857]]

我們過去曾寫過兩篇如何并行地在多個(gè)遠(yuǎn)程服務(wù)器上運(yùn)行命令的文章：并行 SSH（PSSH） 和分布式 Shell（DSH）。今天，我們將討論相同類型的主題，但它允許我們?cè)诩汗?jié)點(diǎn)上執(zhí)行相同的操作。你可能會(huì)想，我可以編寫一個(gè)小的 shell 腳本來實(shí)現(xiàn)這個(gè)目的，而不是安裝這些第三方軟件包。

當(dāng)然，你是對(duì)的，如果要在十幾個(gè)遠(yuǎn)程系統(tǒng)中運(yùn)行一些命令，那么你不需要使用它。但是，你的腳本需要一些時(shí)間來完成此任務(wù)，因?yàn)樗前错樞蜻\(yùn)行的。想想你要是在一千多臺(tái)服務(wù)器上運(yùn)行一些命令會(huì)是什么樣子？在這種情況下，你的腳本用處不大。此外，完成任務(wù)需要很長(zhǎng)時(shí)間。所以，要克服這種問題和情況，我們需要可以在遠(yuǎn)程計(jì)算機(jī)上并行運(yùn)行命令。

為此，我們需要在一個(gè)并行應(yīng)用程序中使用它。我希望這個(gè)解釋可以解決你對(duì)并行實(shí)用程序的疑慮。

ClusterShell

ClusterShell 是一個(gè)事件驅(qū)動(dòng)的開源 Python 庫(kù)，旨在在服務(wù)器場(chǎng)或大型 Linux 集群上并行運(yùn)行本地或遠(yuǎn)程命令。（clush 即 ClusterShell）。

它將處理在 HPC 集群上遇到的常見問題，例如在節(jié)點(diǎn)組上操作，使用優(yōu)化過的執(zhí)行算法運(yùn)行分布式命令，以及收集結(jié)果和合并相同的輸出，或檢索返回代碼。

ClusterShell 可以利用已安裝在系統(tǒng)上的現(xiàn)有遠(yuǎn)程 shell 設(shè)施，如 SSH。

ClusterShell 的主要目標(biāo)是通過為開發(fā)人員提供輕量級(jí)、但可擴(kuò)展的 Python API 來改進(jìn)高性能集群的管理。它還提供了 clush、clubak 和 cluset/nodeset 等方便的命令行工具，可以讓傳統(tǒng)的 shell 腳本利用這個(gè)庫(kù)的一些功能。

ClusterShell 是用 Python 編寫的，它需要 Python（v2.6+ 或 v3.4+）才能在你的系統(tǒng)上運(yùn)行。

如何在 Linux 上安裝 ClusterShell？

ClusterShell 包在大多數(shù)發(fā)行版的官方包管理器中都可用。因此，使用發(fā)行版包管理器工具進(jìn)行安裝。

對(duì)于 Fedora 系統(tǒng)，使用 DNF 命令來安裝 clustershell。

  1. $ sudo dnf install clustershell

如果系統(tǒng)默認(rèn)是 Python 2，這會(huì)安裝 Python 2 模塊和工具，可以運(yùn)行以下命令安裝 Python 3 開發(fā)包。

  1. $ sudo dnf install python3-clustershell

在執(zhí)行 clustershell 安裝之前，請(qǐng)確保你已在系統(tǒng)上啟用 EPEL 存儲(chǔ)庫(kù)。

對(duì)于 RHEL/CentOS 系統(tǒng)，使用 YUM 命令 來安裝 clustershell。

  1. $ sudo yum install clustershell

如果系統(tǒng)默認(rèn)是 Python 2，這會(huì)安裝 Python 2 模塊和工具，可以運(yùn)行以下命令安裝 Python 3 開發(fā)包。

  1. $ sudo yum install python34-clustershell

對(duì)于 openSUSE Leap 系統(tǒng)，使用 Zypper 命令 來安裝 clustershell。

  1. $ sudo zypper install clustershell

如果系統(tǒng)默認(rèn)是 Python 2，這會(huì)安裝 Python 2 模塊和工具，可以運(yùn)行以下命令安裝 Python 3 開發(fā)包。

  1. $ sudo zypper install python3-clustershell

對(duì)于 Debian/Ubuntu 系統(tǒng)，使用 APT-GET 命令 或 APT 命令 來安裝 clustershell。

  1. $ sudo apt install clustershell

如何在 Linux 使用 PIP 安裝 ClusterShell？

可以使用 PIP 安裝 ClusterShell，因?yàn)樗怯?Python 編寫的。

在執(zhí)行 clustershell 安裝之前，請(qǐng)確保你已在系統(tǒng)上啟用了 Python 和 PIP。

  1. $ sudo pip install ClusterShell

如何在 Linux 上使用 ClusterShell？

與其他實(shí)用程序（如 pssh 和 dsh）相比，它是直接了當(dāng)?shù)膬?yōu)秀工具。它有很多選項(xiàng)可以在遠(yuǎn)程并行執(zhí)行。

在開始使用 clustershell 之前，請(qǐng)確保你已啟用系統(tǒng)上的無(wú)密碼登錄。

以下配置文件定義了系統(tǒng)范圍的默認(rèn)值。你不需要修改這里的任何東西。

  1. $ cat /etc/clustershell/clush.conf

如果你想要?jiǎng)?chuàng)建一個(gè)服務(wù)器組，那也可以。默認(rèn)情況下有一些示例，請(qǐng)根據(jù)你的要求執(zhí)行相同操作。

  1. $ cat /etc/clustershell/groups.d/local.cfg

只需按以下列格式運(yùn)行 clustershell 命令即可從給定節(jié)點(diǎn)獲取信息：

  1. $ clush -w 192.168.1.4,192.168.1.9 cat /proc/version
  2. 192.168.1.9: Linux version 4.15.0-45-generic ([email protected]) (gcc version 7.3.0 (Ubuntu 7.3.0-16ubuntu3)) #48-Ubuntu SMP Tue Jan 29 16:28:13 UTC 2019
  3. 192.168.1.4: Linux version 3.10.0-957.el7.x86_64 ([email protected]) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-36) (GCC) ) #1 SMP Thu Nov 8 23:39:32 UTC 2018

選項(xiàng)：

  • -w: 你要運(yùn)行該命令的節(jié)點(diǎn)。

你可以使用正則表達(dá)式而不是使用完整主機(jī)名和 IP：

  1. $ clush -w 192.168.1.[4,9] uname -r
  2. 192.168.1.9: 4.15.0-45-generic
  3. 192.168.1.4: 3.10.0-957.el7.x86_64

或者，如果服務(wù)器位于同一 IP 系列中，則可以使用以下格式：

  1. $ clush -w 192.168.1.[4-9] date
  2. 192.168.1.6: Mon Mar  4 21:08:29 IST 2019
  3. 192.168.1.7: Mon Mar  4 21:08:29 IST 2019
  4. 192.168.1.8: Mon Mar  4 21:08:29 IST 2019
  5. 192.168.1.5: Mon Mar  4 09:16:30 CST 2019
  6. 192.168.1.9: Mon Mar  4 21:08:29 IST 2019
  7. 192.168.1.4: Mon Mar  4 09:16:30 CST 2019

clustershell 允許我們以批處理模式運(yùn)行命令。使用以下格式來實(shí)現(xiàn)此目的：

  1. $ clush -w 192.168.1.4,192.168.1.9 -b
  2. Enter 'quit' to leave this interactive mode
  3. Working with nodes: 192.168.1.[4,9]
  4. clush> hostnamectl
  5. ---------------
  6. 192.168.1.4
  7. ---------------
  8.    Static hostname: CentOS7.2daygeek.com
  9.          Icon name: computer-vm
  10.            Chassis: vm
  11.         Machine ID: 002f47b82af248f5be1d67b67e03514c
  12.            Boot ID: f9b37a073c534dec8b236885e754cb56
  13.     Virtualization: kvm
  14.   Operating System: CentOS Linux 7 (Core)
  15.        CPE OS Name: cpe:/o:centos:centos:7
  16.             Kernel: Linux 3.10.0-957.el7.x86_64
  17.       Architecture: x86-64
  18. ---------------
  19. 192.168.1.9
  20. ---------------
  21.    Static hostname: Ubuntu18
  22.          Icon name: computer-vm
  23.            Chassis: vm
  24.         Machine ID: 27f6c2febda84dc881f28fd145077187
  25.            Boot ID: f176f2eb45524d4f906d12e2b5716649
  26.     Virtualization: oracle
  27.   Operating System: Ubuntu 18.04.2 LTS
  28.             Kernel: Linux 4.15.0-45-generic
  29.       Architecture: x86-64
  30. clush> free -m
  31. ---------------
  32. 192.168.1.4
  33. ---------------
  34.               total        used        free      shared  buff/cache   available
  35. Mem:           1838         641         217          19         978         969
  36. Swap:          2047           0        2047
  37. ---------------
  38. 192.168.1.9
  39. ---------------
  40.               total        used        free      shared  buff/cache   available
  41. Mem:           1993         352        1067           1         573        1473
  42. Swap:          1425           0        1425
  43. clush> w
  44. ---------------
  45. 192.168.1.4
  46. ---------------
  47.  09:21:14 up  3:21,  3 users,  load average: 0.00, 0.01, 0.05
  48. USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
  49. daygeek  :0       :0               06:02   ?xdm?   1:28   0.30s /usr/libexec/gnome-session-binary --session gnome-classic
  50. daygeek  pts/0    :0               06:03    3:17m  0.06s  0.06s bash
  51. daygeek  pts/1    192.168.1.6      06:03   52:26   0.10s  0.10s -bash
  52. ---------------
  53. 192.168.1.9
  54. ---------------
  55.  21:13:12 up  3:12,  1 user,  load average: 0.08, 0.03, 0.00
  56. USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
  57. daygeek  pts/0    192.168.1.6      20:42   29:41   0.05s  0.05s -bash
  58. clush> quit

如果要在一組節(jié)點(diǎn)上運(yùn)行該命令，請(qǐng)使用以下格式：

  1. $ clush -w @dev uptime
  2. or
  3. $ clush -g dev uptime
  4. or
  5. $ clush --group=dev uptime
  6.  
  7. 192.168.1.9:  21:10:10 up  3:09,  1 user,  load average: 0.09, 0.03, 0.01
  8. 192.168.1.4:  09:18:12 up  3:18,  3 users,  load average: 0.01, 0.02, 0.05

如果要在多個(gè)節(jié)點(diǎn)組上運(yùn)行該命令，請(qǐng)使用以下格式：

  1. $ clush -w @dev,@uat uptime
  2. or
  3. $ clush -g dev,uat uptime
  4. or
  5. $ clush --group=dev,uat uptime
  6.  
  7. 192.168.1.7: 07:57:19 up 59 min, 1 user, load average: 0.08, 0.03, 0.00
  8. 192.168.1.9: 20:27:20 up 1:00, 1 user, load average: 0.00, 0.00, 0.00
  9. 192.168.1.5: 08:57:21 up 59 min, 1 user, load average: 0.00, 0.01, 0.05

clustershell 允許我們將文件復(fù)制到遠(yuǎn)程計(jì)算機(jī)。將本地文件或目錄復(fù)制到同一個(gè)遠(yuǎn)程節(jié)點(diǎn)：

  1. $ clush -w 192.168.1.[4,9] --copy /home/daygeek/passwd-up.sh

我們可以通過運(yùn)行以下命令來驗(yàn)證它：

  1. $ clush -w 192.168.1.[4,9] ls -lh /home/daygeek/passwd-up.sh
  2. 192.168.1.4: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 4 09:00 /home/daygeek/passwd-up.sh
  3. 192.168.1.9: -rwxr-xr-x 1 daygeek daygeek 159 Mar 4 20:52 /home/daygeek/passwd-up.sh

將本地文件或目錄復(fù)制到不同位置的遠(yuǎn)程節(jié)點(diǎn)：

  1. $ clush -g uat --copy /home/daygeek/passwd-up.sh --dest /tmp

我們可以通過運(yùn)行以下命令來驗(yàn)證它：

  1. $ clush --group=uat ls -lh /tmp/passwd-up.sh
  2. 192.168.1.7: -rwxr-xr-x. 1 daygeek daygeek 159 Mar 6 07:44 /tmp/passwd-up.sh

將文件或目錄從遠(yuǎn)程節(jié)點(diǎn)復(fù)制到本地系統(tǒng)：

  1. $ clush -w 192.168.1.7 --rcopy /home/daygeek/Documents/magi.txt --dest /tmp

我們可以通過運(yùn)行以下命令來驗(yàn)證它：

  1. $ ls -lh /tmp/magi.txt.192.168.1.7
  2. -rw-r--r-- 1 daygeek daygeek 35 Mar 6 20:24 /tmp/magi.txt.192.168.1.7
責(zé)任編輯：龐桂玉 來源： Linux中國(guó)
ClusterShell命令Linux
相關(guān)推薦

2024-05-17 09:04:20

PHP異步并行

2019-05-23 14:36:24

LinuxSOSReportxsos

2021-05-17 10:32:10

命令行工具GitHub代碼

2022-04-26 08:41:38

Swift并發(fā)系統(tǒng)iOS

2022-02-17 11:08:00

KubernetesMySQL運(yùn)維

2014-07-01 09:53:21

DockerHadoop集群

2015-02-06 11:04:10

DockerAWS移動(dòng)應(yīng)用開發(fā)測(cè)試

2018-10-19 08:54:00

Linux服務(wù)器命令

2022-10-24 09:02:28

Selenium自動(dòng)化

2018-05-21 10:40:46

Redis集群實(shí)踐

2011-06-17 16:49:05

Cocoa蘋果

2021-04-26 14:02:37

AMD串流硬件

2025-01-08 11:00:00

AIshell開源

2021-09-02 05:37:22

Containerd Kubernetes 容器

2010-03-04 09:10:34

Linux Chrom

2014-05-26 09:13:46

DockerPython

2017-03-03 10:40:41

2022-12-28 12:29:45

duf命令

2021-06-26 16:24:21

Linux命令系統(tǒng)

2020-12-08 10:33:56

DDoS攻擊開源安全安全工具
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號(hào)