聯(lián)邦學(xué)習(xí)是機(jī)器學(xué)習(xí)中一個非?；馃岬念I(lǐng)域，指多方在不傳遞數(shù)據(jù)的情況下共同訓(xùn)練模型。隨著聯(lián)邦學(xué)習(xí)的發(fā)展，聯(lián)邦學(xué)習(xí)系統(tǒng)也層出不窮，例如 FATE, FedML, PaddleFL, TensorFlow-Federated 等等。然而，大部分聯(lián)邦學(xué)習(xí)系統(tǒng)不支持樹模型的聯(lián)邦學(xué)習(xí)訓(xùn)練。相比于神經(jīng)網(wǎng)絡(luò)，樹模型具有訓(xùn)練快，可解釋性強(qiáng)，適合表格型數(shù)據(jù)的特點(diǎn)。樹模型在金融，醫(yī)療，互聯(lián)網(wǎng)等領(lǐng)域有廣泛的應(yīng)用場景，比如用來做廣告推薦、股票預(yù)測等等。

決策樹的代表性模型為 Gradient Boosting Decision Tree (GBDT)。由于一棵樹的預(yù)測能力有限，GBDT 通過 boosting 的方法串行訓(xùn)練多棵樹，通過每棵樹用來擬合當(dāng)前預(yù)測值和標(biāo)簽值的殘差的方式，最終達(dá)到一個好的預(yù)測效果。代表性的 GBDT 系統(tǒng)有 XGBoost, LightGBM, CatBoost, ThunderGBM，其中 XGBoost 多次被 KDD cup 的冠軍隊伍所使用。然而，這些系統(tǒng)都不支持聯(lián)邦學(xué)習(xí)場景下的 GBDT 訓(xùn)練。近日，來自新加坡國立大學(xué)和清華大學(xué)的研究者提出了一種專注于訓(xùn)練樹模型的聯(lián)邦學(xué)習(xí)新系統(tǒng) FedTree。

• 論文地址：https://github.com/Xtra-Computing/FedTree/blob/main/FedTree_draft_paper.pdf
• 項目地址：https://github.com/Xtra-Computing/FedTree

FedTree 系統(tǒng)介紹FedTree 架構(gòu)圖如圖 1 所示，共有 5 個模塊: 接口，環(huán)境，框架，隱私保護(hù)以及模型。

圖 1: FedTree 系統(tǒng)架構(gòu)圖

接口：FedTree 支持兩種接口：命令行接口和 Python 接口。用戶只需給定參數(shù)（參與方數(shù)量，聯(lián)邦場景等），就可以用一行命令來運(yùn)行 FedTree 進(jìn)行訓(xùn)練。FedTree 的 Python 接口和 scikit-learn 兼容，可以調(diào)用 fit() 和 predict() 來進(jìn)行訓(xùn)練和預(yù)測。

環(huán)境：FedTree 支持在單機(jī)上模擬部署聯(lián)邦學(xué)習(xí)，和在多機(jī)上部署分布式聯(lián)邦學(xué)習(xí)。在單機(jī)環(huán)境上，F(xiàn)edTree 支持將數(shù)據(jù)進(jìn)行劃分成多個子數(shù)據(jù)集，每個子數(shù)據(jù)集作為一個參與方進(jìn)行訓(xùn)練。在多機(jī)環(huán)境上，F(xiàn)edTree 支持將每個機(jī)器作為一個參與方，機(jī)器之間 通過 gRPC 進(jìn)行通信。同時，除了 CPU 以外，F(xiàn)edTree 支持使用 GPU 來加速訓(xùn)練。

框架：FedTree 支持橫向和縱向聯(lián)邦學(xué)習(xí)場景下 GBDT 的訓(xùn)練。橫向場景下，不同參與方有著不同的訓(xùn)練樣本和相同的特征空間?？v向場景下，不同參與方有著不同的特征空間和相同的訓(xùn)練樣本。為了保證性能，在這兩種情境下，多有參與方都共同參與每個節(jié)點(diǎn)的訓(xùn)練。除此之外，F(xiàn)edTree 還支持集成學(xué)習(xí)，參與方并行地訓(xùn)練樹之后再進(jìn)行聚合，以此減少參與方之間的通信開銷。

隱私：由于訓(xùn)練過程中傳遞的梯度可能會泄露訓(xùn)練數(shù)據(jù)的信息，F(xiàn)edTree 提供不同的隱私保護(hù)方法來進(jìn)一步保護(hù)梯度信息，包括同態(tài)加密 (HE) 和安全聚合 (SA)。同時，F(xiàn)edTree 提供了差分隱私來保護(hù)最終訓(xùn)練得到的模型。

模型：以訓(xùn)練一棵樹為基礎(chǔ)，F(xiàn)edTree 通過 boosting/bagging 的方法支持訓(xùn)練 GBDT/random forest。通過設(shè)置不同的損失函數(shù)，F(xiàn)edTree 訓(xùn)練得到的模型支持多種任務(wù)，包括分類和回歸。

實(shí)驗表 1 總結(jié)了不同系統(tǒng)在 a9a, breast 和 credit 上的 AUC 和 abalone 上的 RMSE，F(xiàn)edTree 的模型效果和用所有數(shù)據(jù)訓(xùn)練 GBDT（XGBoost, ThunderGBM）以及 FATE 中的 SecureBoost (SBT) 幾乎一致。而且，隱私保護(hù)策略 SA 和 HE 并不會影響模型性能。

表 1: 不同系統(tǒng)的模型效果比較

表 2 總結(jié)了不同系統(tǒng)每棵樹的訓(xùn)練時間（單位：秒），可以看到 FedTree 相比于 FATE 快了很多，在橫向聯(lián)邦學(xué)習(xí)場景下能達(dá)到 100 倍以上的加速比。

表 2: 不同系統(tǒng)每棵樹的訓(xùn)練時間比較

更多研究細(xì)節(jié)請參考 FedTree 論文原文。