PaddlePaddle 與 Kubernetes強(qiáng)強(qiáng)聯(lián)合助力深度學(xué)習(xí)模型高效運(yùn)轉(zhuǎn)
美國時(shí)間2月8日,Kubernetes社區(qū)宣布由百度原創(chuàng)開發(fā)的開源深度學(xué)習(xí)框架PaddlePaddle將兼容集群管理系統(tǒng)Kubernetes,使PaddlePaddle成為迄今為止唯一正式支持 Kubernetes的深度學(xué)習(xí)框架。
此次兼容將使開發(fā)者能夠便捷地在全球主要云服務(wù)以及私有集群 (on-premise clusters) 上做大規(guī)模深度學(xué)習(xí)訓(xùn)練。該項(xiàng)目由百度和CoreOS聯(lián)合開發(fā),同時(shí)CoreOS也是Kubernetes的主要貢獻(xiàn)者之一。
開發(fā)者通常會(huì)將AI項(xiàng)目與Web服務(wù)、日志收集、和數(shù)據(jù)處理等多種作業(yè)部署在同一個(gè)通用集群(general-purpose cluster)之上,從而實(shí)現(xiàn)高效數(shù)據(jù)通道。為管理通用集群,需要使用Kubernetes等成熟的通用集群管理系統(tǒng)。使PaddlePaddle兼容Kubernetes,開發(fā)者便可以開發(fā)搭載高效深度學(xué)習(xí)的應(yīng)用。
百度科學(xué)家及PaddlePaddle研發(fā)項(xiàng)目帶頭人王益表示:“Kubernetes可以有效簡(jiǎn)化分布式作業(yè),包括分布式機(jī)器學(xué)習(xí)作業(yè)的部署和運(yùn)維工作,提升研究員和開發(fā)者的工作效率。“Kubernetes將需要GPU的PaddlePaddle任務(wù)與需要大內(nèi)存或大磁盤I/O吞吐量(disk I/O throughput)等其他不同資源的任務(wù)部署在同一個(gè)物理計(jì)算機(jī)之上,從而發(fā)揮集群硬件的***效用。同時(shí)Kubernetes還能在活躍用戶較多的白天自動(dòng)啟動(dòng)更多的Web服務(wù)進(jìn)程,而在夜間釋放Web服務(wù)使用的部分資源來啟動(dòng)更多的PaddlePaddle進(jìn)程。
PaddlePaddle為百度原創(chuàng)的一款易于使用的深度學(xué)習(xí)框架。最近四年里應(yīng)用于百度旗下的多款互聯(lián)網(wǎng)產(chǎn)品中。該框架尤其適合訓(xùn)練循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural networks),從而能高效執(zhí)行自然語言理解、語音識(shí)別、和計(jì)算視覺等應(yīng)用。自2016年百度世界大會(huì)上,宣布開放百度深度學(xué)習(xí)平臺(tái)以來,PaddlePaddle已成為發(fā)展最快的深度學(xué)習(xí)平臺(tái)之一。