分布式編譯系統(tǒng)的搭建
作者：dan
目前比較常用的編譯工具有2個(gè) distcc 與 icecream , 本文使用distcc 進(jìn)行部署。
由于MySQL 源碼編譯單機(jī)耗費(fèi)的時(shí)間過于長，最近MySQL 變成8.0.27 以后編譯時(shí)間明顯更耗時(shí)了，并且辦公室內(nèi)有多余的空閑機(jī)器。
使用分布式編譯，可以在不改變現(xiàn)有環(huán)境的情況下，提高編譯效率。
目前比較常用的編譯工具有2個(gè) distcc 與 icecream , 本文使用distcc 進(jìn)行部署。
部署distcc
分為兩個(gè)部分一個(gè)是服務(wù)端，一個(gè)是客戶端
程序分別是distccd 和 distcc
服務(wù)端
也是我們空余的設(shè)備上
可以基于Docker部署鏡像版本最好和客戶端一致，編譯器版本需求GCC 或者 Clang 一致
moyu22:/opt/distcc$ cat Dockerfile
FROM ubuntu:20.04
RUN apt update && \
apt install -y net-tools distcc gcc g++ clang-12 && \
apt clean && \
echo "#!/bin/bash \n distccd --daemon --no-detach --no-detach --user nobody --allow 0.0.0.0/0 --log-stderr --stats \${OPT}" > ./entrypoint.sh && \
chmod +x ./entrypoint.sh
# Run the generated shell script.
ENTRYPOINT ["./entrypoint.sh"]打包一個(gè)distccd 的鏡像
docker build -f Dockerfile -t distcc .Docker啟動(dòng)
docker run -t -d -net=host distccd也可以使用docker-compose.yml啟動(dòng)
version: '3'
services:
distcc:
image: "chestnutsj/distcc:latest"
hostname: distcc
container_name: distcc
privileged: true
ports:
- 3632:3632
- 3633:3633docker-compose -f docker-compoe.yml up -d默認(rèn)情況下，將運(yùn)行所有人都可以運(yùn)行訪問，如果有需要認(rèn)證可以在環(huán)境變量 OPT 中添加，或者修改默認(rèn)的端口
客戶端
配置
本地環(huán)境 20.04 ()，需要編譯項(xiàng)目的機(jī)器上，安裝distcc
moyu20: apt install -y distcc在配置中添加服務(wù)器下的 /etc/distcc/hosts ，也可以在 $HOME/.distcc/hosts , 域名可以按照服務(wù)器優(yōu)先級(jí)添加
hostname[/LIMIT]
192.168.1.102/32默認(rèn)的limit 數(shù)量是 4 如果需要更高的效率可以使用更高的數(shù)值用
root@dev:/# distcc -j
48
默認(rèn)limit為 hostname * 4單個(gè)文件可以使用
distcc g++ t1.cpp以MySQL源碼為例
cmake mysql_source \
-DBUILD_TESTING=OFF -DUSE_GTAGS=OFF -DUSE_CTAGS=OFF \
-DCMAKE_BUILD_TYPE=RelWithDebInfo \
-DFEATURE_SET=community \
-DWITH_INNODB_MEMCACHED=ON -DWITH_ZLIB=bundled -DWITH_LIBEVENT=bundled -DWITH_ZSTD=bundled \
-DENABLE_DOWNLOADS=ON \
-DDOWNLOAD_BOOST=1 \
..
添加指定的編譯
-DCMAKE_C_COMPILER_LAUNCHER=distcc
-DCMAKE_CXX_COMPILER_LAUNCHER=distcc編譯項(xiàng)目
make -j 32可以明顯降低編譯時(shí)間
監(jiān)控
編譯期間可以查看distcc 使用情況
distccmon-text 1 間隔時(shí)間 1 秒責(zé)任編輯：武曉燕
來源：
GreatSQL社區(qū)
