docker必備—marathon基礎(chǔ)教程
一、前言
目前越來越多的互聯(lián)網(wǎng)企業(yè)開始使用 docker,在這之前,虛擬機(jī)占據(jù)著大部分的企業(yè)市場,但是隨著 docker 部署的增多,也發(fā)現(xiàn)了一些單純使用 docker 的弊端。例如命令行操作比較繁瑣,需要記的參數(shù)較多,在此介紹一個好用的解決這些弊端的工具—— Marathon。
二、基本概念
Mesos:Mesos 采用與 Linux Kernel 相同的機(jī)制,只是運行在不同的抽象層次上。Mesos Kernel 利用資源管理和調(diào)度的 API 在整個數(shù)據(jù)中心或云環(huán)境中運行和提供引用(例如, Hadoop、 Spark、Kafaka、Elastic Search)。
ZooKeeper:ZooKeeper 是一個分布式的,開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù),是 Google的Chubby 一個開源的實現(xiàn),是 Hadoop 和 HBase 的重要組件。它是一個為分布式應(yīng)用提供一致性服務(wù)的軟件,提供的功能包括:配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。
Marathon:Marathon 是一個 Mesos 框架,能夠支持運行長服務(wù),比如 Web 應(yīng)用等。它是集群的分布式 Init.d,能夠原樣運行任何 Linux 二進(jìn)制發(fā)布版本,如 Tomcat、Play 等等。它也是一種私有的 PaSS,實現(xiàn)服務(wù)的發(fā)現(xiàn),為部署提供提供 REST API 服務(wù),有授權(quán)和 SSL、配置約束,通過 HAProxy 實現(xiàn)服務(wù)發(fā)現(xiàn)和負(fù)載平衡。
三、部署
為了部署的方便 全部使用 docker 部署。
1. master搭建
- 三臺 mesos master 服務(wù)器
- ip地址分別是 10.100.0.21,10.100.0.22,10.100.0.23
- 需要在master上分別部署 mesos mater , zookeeper , marathon
(1) 需要在10.100.0.21 上執(zhí)行下列命令 :
marathon
- docker run -d -e MARATHON_HOSTNAME=10.100.0.21 -e MARATHON_HTTPS_ADDRESS=10.100.0.21 -e MARATHON_HTTP_ADDRESS=10.100.0.21 -e MARATHON_MASTER=zk://10.100.0.22:2181,10.100.0.23:2181,10.100.0.21:2
- 181/mesos -e MARATHON_ZK=zk://10.100.0.22:2181,10.100.0.23:2181,10.100.0.21:2181/marathon --name marathon --net host --restart=always mesoscloud/marathon
mesos-master
- HOST_IP=10.100.0.21
- docker run -d --name mesos-master1 --net="host" -p 5050:5050 -e "MESOS_HOSTNAME=${HOST_IP}" -e "MESOS_IP=${HOST_IP}" -e "MESOS_ZK=zk://${HOST_IP}:2181/mesos" -e "MESOS_PORT=5050" -e
- "MESOS_LOG_DIR=/var/log/mesos" -e "MESOS_QUORUM=1" -e "MESOS_REGISTRY=in_memory" -e "MESOS_WORK_DIR=/var/lib/mesos" mesoscloud/mesos-master
zookeeper
- docker run -d -e MYID=1 -e SERVERS=10.100.0.21,10.100.0.22,10.100.0.23 --name zookeeper --restart=always --net=host mesoscloud/zookeeper
(2) 需要在10.100.0.22 上執(zhí)行下列命令
marathon
- docker run -d -e MARATHON_HOSTNAME=10.100.0.22 -e MARATHON_HTTPS_ADDRESS=10.100.0.22 -e MARATHON_HTTP_ADDRESS=10.100.0.22 -e MARATHON_MASTER=zk://10.100.0.22:2181,10.100.0.23:2181,10.100.0.21:2
- 181/mesos -e MARATHON_ZK=zk://10.100.0.22:2181,10.100.0.23:2181,10.100.0.21:2181/marathon --name marathon --net host --restart=always mesoscloud/marathon
mesos-master
- HOST_IP=10.100.0.22
- docker run -d --name mesos-master1 --net="host" -p 5050:5050 -e "MESOS_HOSTNAME=${HOST_IP}" -e "MESOS_IP=${HOST_IP}" -e "MESOS_ZK=zk://${HOST_IP}:2181/mesos" -e "MESOS_PORT=5050" -e
- "MESOS_LOG_DIR=/var/log/mesos" -e "MESOS_QUORUM=1" -e "MESOS_REGISTRY=in_memory" -e "MESOS_WORK_DIR=/var/lib/mesos" mesoscloud/mesos-master
zookeeper
- docker run -d -e MYID=2 -e SERVERS=10.100.0.21,10.100.0.22,10.100.0.23 --name zookeeper --restart=always --net=host mesoscloud/zookeeper
(3) 需要在10.100.0.23 上執(zhí)行下列命令
marathon
- docker run -d -e MARATHON_HOSTNAME=10.100.0.23 -e MARATHON_HTTPS_ADDRESS=10.100.0.23 -e MARATHON_HTTP_ADDRESS=10.100.0.23 -e MARATHON_MASTER=zk://10.100.0.22:2181,10.100.0.23:2181,10.100.0.21:2
- 181/mesos -e MARATHON_ZK=zk://10.100.0.22:2181,10.100.0.23:2181,10.100.0.21:2181/marathon --name marathon --net host --restart=always mesoscloud/marathon
mesos-master
- HOST_IP=10.100.0.23
- docker run -d --name mesos-master1 --net="host" -p 5050:5050 -e "MESOS_HOSTNAME=${HOST_IP}" -e "MESOS_IP=${HOST_IP}" -e "MESOS_ZK=zk://${HOST_IP}:2181/mesos" -e "MESOS_PORT=5050" -e
- "MESOS_LOG_DIR=/var/log/mesos" -e "MESOS_QUORUM=1" -e "MESOS_REGISTRY=in_memory" -e "MESOS_WORK_DIR=/var/lib/mesos" mesoscloud/mesos-master
zookeeper
- docker run -d -e MYID=3 -e SERVERS=10.100.0.21,10.100.0.22,10.100.0.23 --name zookeeper --restart=always --net=host mesoscloud/zookeeper
這樣 mesos 的 master 就搭建完成。
2. slave服務(wù)器搭建
下面是 mesos 的 slave 服務(wù)器 模擬4臺,ip 地址是10.100.0.24 10.100.0.25 10.100.0.26 10.100.0.28。
(1) 在10.100.0.24上運行下面的命令
- docker run -d --net=host --pid=host --privileged=true --name=ms1 -v /usr/bin/docker:/usr/bin/docker -v /dev:/dev -v /var/run/docker.sock:/var/run/docker.sock -v
- /var/log/mesos:/var/log/mesos -v /tmp/mesos:/tmp/mesos -e MESOS_HOSTNAME=10.100.0.24 -e MESOS_IP=10.100.0.24 -e MESOS_MASTER=zk://10.100.0.21:2181,10.100.0.22:2181,10.100.0.23:2181/mes
- os -e MESOS_CONTAINERIZERS=docker,mesos mesoscloud/mesos-slave
(2) 在10.100.0.25上運行下面的命令
- docker run -d --net=host --pid=host --privileged=true --name=ms1 -v /usr/bin/docker:/usr/bin/docker -v /dev:/dev -v /var/run/docker.sock:/var/run/docker.sock -v
- /var/log/mesos:/var/log/mesos -v /tmp/mesos:/tmp/mesos -e MESOS_HOSTNAME=10.100.0.25 -e MESOS_IP=10.100.0.25 -e MESOS_MASTER=zk://10.100.0.21:2181,10.100.0.22:2181,10.100.0.23:2181/mes
- os -e MESOS_CONTAINERIZERS=docker,mesos mesoscloud/mesos-slave
(3) 在10.100.0.26上運行下面的命令
- docker run -d --net=host --pid=host --privileged=true --name=ms1 -v /usr/bin/docker:/usr/bin/docker -v /dev:/dev -v /var/run/docker.sock:/var/run/docker.sock -v
- /var/log/mesos:/var/log/mesos -v /tmp/mesos:/tmp/mesos -e MESOS_HOSTNAME=10.100.0.26 -e MESOS_IP=10.100.0.26 -e MESOS_MASTER=zk://10.100.0.21:2181,10.100.0.22:2181,10.100.0.23:2181/mes
- os -e MESOS_CONTAINERIZERS=docker,mesos mesoscloud/mesos-slave
(4) 在10.100.0.28上運行下面的命令
- docker run -d --net=host --pid=host --privileged=true --name=ms1 -v /usr/bin/docker:/usr/bin/docker -v /dev:/dev -v /var/run/docker.sock:/var/run/docker.sock -v
- /var/log/mesos:/var/log/mesos -v /tmp/mesos:/tmp/mesos -e MESOS_HOSTNAME=10.100.0.28 -e MESOS_IP=10.100.0.28 -e MESOS_MASTER=zk://10.100.0.21:2181,10.100.0.22:2181,10.100.0.23:2181/mes
- os -e MESOS_CONTAINERIZERS=docker,mesos mesoscloud/mesos-slave
以上,搭建完成
四、查看
可以通過 http://${HOST_IP}:5050 查看 mesos 的服務(wù)器的狀態(tài):
使用 http://{HOST}:8080/ 來訪問 marathon:
需要在 Docker Container 中輸入對應(yīng)的 images:
還需要配置一下端口:
docker 很快就能啟動好。目前就啟動了一個實例:
如果現(xiàn)在需要多個,可以選擇 scale Application 數(shù)值調(diào)整到5:
可以瞬間運行多個容器:
五、關(guān)于擴(kuò)容
scale Application 數(shù)值調(diào)整雖然能快速擴(kuò)容,但是運行服務(wù)器的端口都是隨機(jī)的,如果需要手工添加就會比較麻煩,好在我們有一個新的工具來幫助我們,一個定制化的 haproxy—— marathon-lb。
我們還是使用容器的方式來部署:
- docker run -d --privileged -e PORTS=9090 --net=host mesosphere/marathon-lb sse -m http://10.100.0.21:8080 -m http://10.100.0.22:8080 -m http://10.100.0.23:8080 --group external
這樣我們就能通過 9090 端口訪問:
http://${HOST_IP}:9090/haproxy?stats
需要在配置 Environment Variables 變量的時候,添加2個變量:
- HAPROXY_0_PORT=80
- HAPROXY_GROUP=external
不管 scale 多少個容器, 都會通過 haproxy 的80端口代理 ,水平擴(kuò)容非常的方便。
【本文是51CTO專欄機(jī)構(gòu)“豈安科技”的原創(chuàng)文章,轉(zhuǎn)載請通過微信公眾號(bigsec)聯(lián)系原作者】