一篇帶給你 Apollo 配置中心詳細教程
一、簡介
Apollo(阿波羅)是攜程框架部門研發(fā)的分布式配置中心,能夠集中化管理應(yīng)用不同環(huán)境、不同集群的配置,配置修改后能夠?qū)崟r推送到應(yīng)用端,并且具備規(guī)范的權(quán)限、流程治理等特性,適用于微服務(wù)配置管理場景。
服務(wù)端基于Spring Boot和Spring Cloud開發(fā),打包后可以直接運行,不需要額外安裝Tomcat等應(yīng)用容器。
Java客戶端 不依賴任何框架,能夠運行于所有Java運行時環(huán)境,同時對Spring/Spring Boot環(huán)境也有較好的支持。
.Net客戶端 不依賴任何框架,能夠運行于所有.Net運行時環(huán)境。
官方 GitHub: https://github.com/ctripcorp/apollo
官方 Gitee: https://gitee.com/nobodyiam/apollo
二、安裝部署
2.1 環(huán)境準(zhǔn)備
java:JDK 1.8.+
maven: 3.3.9
mysql: 版本要求(5.6.5+)
查看數(shù)據(jù)庫版本:SHOW VARIABLES WHERE Variable_name = 'version';
Apollo服務(wù)端:1.9+
Apollo客戶端:1.7+
2.2 安裝包下載
1.源碼下載 從(Apollo-github[1]) 下載最新的源碼,也可以通過 git 命令下載到本地
git clone https://github.com/ctripcorp/apollo
2.下載安裝包 地址:https://github.com/ctripcorp/apollo/releases
注意: 本文中使用的方式為 1.源碼下載,進行演示。
2.3 創(chuàng)建數(shù)據(jù)庫
Apollo 服務(wù)端總共需要兩個數(shù)據(jù)庫:ApolloPortalDB和 ApolloConfigDB
我們可以在下載的源碼包里面找到,文件目錄為:apollo\scripts\sql,路徑如下圖所示:
或者通過下載地址來獲取SQL
ApolloPortalDB
SQL下載地址:https://github.com/ctripcorp/apollo/tree/master/scripts/sql 導(dǎo)入成功后,驗證SQL:select * from `ApolloPortalDB`.`ServerConfig`;
ApolloConfigDB
SQL下載地址:https://github.com/ctripcorp/apollo/tree/master/scripts/sql 導(dǎo)入成功后,驗證SQL:select * from `ApolloConfigDB`.`ServerConfig`;
2.4 服務(wù)端配置調(diào)整(可選項)
1. ApolloPortalDB庫配置
操作表:ServerConfig
2. ApolloConfigDB庫配置
操作表:ServerConfig
2.5 打開工程
將下載下來的 Apollo 源碼導(dǎo)入 idea 中,需要關(guān)注的項目主要是下面這三個:
我們找到 /apollo/scripts/build.bat的文件(Linux 是 bulid.sh)
修改數(shù)據(jù)庫配置信息,注意這是兩個庫(ApolloPortalDB和 ApolloConfigDB):
- rem apollo config db info(這個是ApolloConfigDB庫)
- set pollo_config_db_url="jdbc:mysql://localhost:3306/ApolloConfigDB?serverTimezone=UTC&characterEncoding=utf-8"
- set apollo_config_db_username="root"
- set apollo_config_db_password="123456"
- rem apollo portal db info(這個是ApolloPortalDB庫)
- set pollo_portal_db_url="jdbc:mysql://localhost:3306/ApolloPortalDB?serverTimezone=UTC&characterEncoding=utf-8"
- set apollo_portal_db_username="root"
- set apollo_portal_db_password="123456"
- rem meta server url, different environments should have different meta server addresses
- rem 配置各環(huán)境meta service地址(configservice部署的地址)
- rem 后面版本也是可以再運行時指定: -apollo.meta=http://192.168.*.*:8080
- set dev_meta="http://localhost:8080"
- set fat_meta="http://someIp:8080"
- set uat_meta="http://anotherIp:8080"
- set pro_meta="http://yetAnotherIp:8080"
注意: 數(shù)據(jù)庫連接,需要添加serverTimezone=UTC否則可能會報錯
修改完上面的配置以后,我們就可以執(zhí)行build.bat批處理命令進行編譯打包。在windows 運行build.bat文件,如果是LInux 運行 build.sh
第一次會執(zhí)行比較慢,需要下載Maven jar
打包成功后,我們找到 apollo-configservice、apollo-adminservice、apollo-portal下target 目錄,找到已經(jīng)打好的三個jar包,copy 出來放到一個單獨的目錄,方便我們啟動。
如下圖所示:
啟動順序為:apollo-configservice > apollo-adminservice > apollo-portal三個服務(wù)。
啟動腳本,放到記事本,修改后綴名為 .bat就可以一鍵啟動三個服務(wù)了。
- @echo off
- start cmd /c "java -jar apollo-configservice-1.10.0-SNAPSHOT.jar"
- start cmd /c "java -jar apollo-adminservice-1.10.0-SNAPSHOT.jar"
- start cmd /c "java -jar apollo-portal-1.10.0-SNAPSHOT.jar"
- spause // 防止運行完畢后直接關(guān)閉界面
全部啟動成功之后,打開瀏覽器輸入:http://localhost:8070/,看到 Apollo 登錄頁面說明啟動成功。
用戶名密碼: apollo/admin
輸入 http://localhost:8080 ,如果出現(xiàn)eureka 的管理界面,說明服務(wù)啟動正常。
三、客戶端使用
客戶端使用指南[2]
3.1 導(dǎo)入jar包
- <dependency>
- <groupId>com.ctrip.framework.apollo</groupId>
- <artifactId>apollo-client</artifactId>
- <version>1.7.0</version>
- </dependency>
- 數(shù)據(jù)庫jar-->
- <dependency>
- <groupId>mysql</groupId>
- <artifactId>mysql-connector-java</artifactId>
- <scope>runtime</scope>
- </dependency>
- <dependency>
- <groupId>org.springframework.boot</groupId>
- <artifactId>spring-boot-starter-data-jpa</artifactId>
- <version>1.5.9.RELEASE</version>
- </dependency>
3.2 發(fā)布配置
創(chuàng)建應(yīng)用
1.AppId:001
2.AppId:mxn-front-gateway
AppId是應(yīng)用的身份信息,是從服務(wù)端獲取配置的一個重要信息。
AppId:001的配置內(nèi)容
AppId:mxn-front-gateway的配置內(nèi)容
上面的兩張圖,就是我們Apollo配置中心的詳細配置頁面
- 在頁面左上方的環(huán)境列表模塊展示了所有的環(huán)境和集群,用戶可以自由切換。
- 頁面中央展示了兩個namespace 的配置信息,默認按照表格模式展示、編輯。用戶也可以切換到文本模式,以文件形式查看、編輯。
- 頁面上可以方便地進行發(fā)布、回滾、灰度、授權(quán)、查看更改歷史和發(fā)布歷史等操作
3.3 操作配置項
輸入配置內(nèi)容
3.4 發(fā)布配置
添加發(fā)布信息
四、Spring Boot 集成 Apollo
在Spring Boot中使用 apollo 配置比較方便,我們只需要在對應(yīng)的配置(yml或者properties)中設(shè)置 apollo的(appid和meta)以及命名空間就行。
application.yml 配置
- app:
- id: 001
- apollo:
- meta: http://localhost:8080
- bootstrap:
- enabled: true
- namespaces: dev.yml,test.properties
Spring Boot 啟動類,添加 @EnableApolloConfig
- @SpringBootApplication
- @EnableApolloConfig
- public class ApolloMxnApplication {
- public static void main(String[] args) {
- SpringApplication.run(ApolloMxnApplication.class, args);
- }
- }
測試類,實時獲取配置信息
- import org.springframework.beans.factory.annotation.Value;
- import org.springframework.web.bind.annotation.RequestMapping;
- import org.springframework.web.bind.annotation.RestController;
- /**
- * @program: apollo-mxn
- * @ClassName TestController
- * @description:
- * @author: lyy
- * @create: 2021-09-15 17:45
- * @Version 1.0
- **/
- @RestController
- public class TestController {
- @Value(value = "${mxn.name}")
- private String name;
- @RequestMapping("test")
- public String test(){
- return "hello world "+name;
- }
- }
這樣我們就可以 從 meta 中 拉取兩個命名空間(apollo-adminservice和apollo-configservice)的配置了Apollo
五、實現(xiàn)配置熱加載
創(chuàng)建配置熱加載實現(xiàn)類
- import com.ctrip.framework.apollo.core.ConfigConsts;
- import com.ctrip.framework.apollo.model.ConfigChangeEvent;
- import com.ctrip.framework.apollo.spring.annotation.ApolloConfigChangeListener;
- import lombok.extern.slf4j.Slf4j;
- import org.springframework.beans.factory.annotation.Autowired;
- import org.springframework.boot.autoconfigure.jdbc.DataSourceProperties;
- import org.springframework.boot.context.properties.EnableConfigurationProperties;
- import org.springframework.cloud.context.config.annotation.RefreshScope;
- import org.springframework.context.ApplicationContext;
- import org.springframework.context.annotation.Bean;
- import org.springframework.context.annotation.Configuration;
- import javax.sql.DataSource;
- /**
- * @program: apollo-mxn
- * @ClassName DataSourceConfig
- * @description: 實現(xiàn)配置信息熱加載
- * @author: lyy
- * @create: 2021-09-15 16:41
- * @Version 1.0
- **/
- @Configuration
- @EnableConfigurationProperties(DataSourceProperties.class)
- @Slf4j
- public class ConfigHotLoad {
- @RefreshScope
- @Bean("dataSource_Bean")
- public DataSource dataSource(DataSourceProperties dataSourceProperties){
- return dataSourceProperties.initializeDataSourceBuilder().build();
- }
- @Autowired
- private ApplicationContext applicationContext;
- @Autowired
- private org.springframework.cloud.context.scope.refresh.RefreshScope refreshScope;
- /** @Author lyy
- * @Description //TODO 監(jiān)聽apollo 的配置變更
- * @Date 16:50 2021/9/15
- * @Param
- * @return
- **/
- @ApolloConfigChangeListener(value = {ConfigConsts.NAMESPACE_APPLICATION,"dev"},interestedKeyPrefixes = {"spring.datasource"})
- public void onChange(ConfigChangeEvent configChangeEvent){
- // 重新編譯DataSource 初始化bean
- refreshScope.refresh("dataSource_Bean");
- log.info("Apollo config changed {}",applicationContext.getBean(DataSourceProperties.class).toString());
- }
- }
我們 輸入地址 http://localhost:你的端口/test[3] 就可以看到,對應(yīng)的配置名字,然后修改apollo里面的信息,發(fā)布后,再不啟動項目的情況下,就可以更新我們的配置信息了
Apollo 本地緩存
Linux:/opt/data/{appId}/config-cache Windows:C:\opt\data{appId}\config-cache
六、什么是 Apollo
官方案例: 使用案例Demo可以參考Apollo使用場景和示例代碼[4]。
6.1 誕生背景
隨著程序功能的日益復(fù)雜,程序的配置日益增多:各種功能的開關(guān)、參數(shù)的配置、服務(wù)器的地址……
對程序配置的期望值也越來越高:配置修改后實時生效,灰度發(fā)布,分環(huán)境、分集群管理配置,完善的權(quán)限、審核機制……
在這樣的大環(huán)境下,傳統(tǒng)的通過配置文件、數(shù)據(jù)庫等方式已經(jīng)越來越無法滿足開發(fā)人員對配置管理的需求。
Apollo配置中心應(yīng)運而生!
6.2 Apollo 說明
Apollo(阿波羅)是攜程框架部門研發(fā)的開源配置管理中心,能夠集中化管理應(yīng)用不同環(huán)境、不同集群的配置,配置修改后能夠?qū)崟r推送到應(yīng)用端,并且具備規(guī)范的權(quán)限、流程治理等特性。
Apollo支持4個維度管理Key-Value格式的配置:
1.application (應(yīng)用)
2.environment (環(huán)境)
3.cluster (集群)
4.namespace (命名空間)
同時,Apollo基于開源模式開發(fā),開源地址:https://github.com/ctripcorp/apollo
6.3 基礎(chǔ)模型
Apollo的基礎(chǔ)模型:
1.用戶在配置中心對配置進行修改并發(fā)布
2.配置中心通知Apollo客戶端有配置更新
3.Apollo客戶端從配置中心拉取最新的配置、更新本地配置并通知到應(yīng)用
七、Apollo特性
由于配置的特殊性,所以Apollo 從開始設(shè)計到完善就立志作為一個有治理能力的配置中心平臺,Apollo的特性主要體現(xiàn)在以下幾個方面
- 統(tǒng)一配置的配置管理
1.Apollo提供了一個統(tǒng)一界面集中式管理不同環(huán)境(environment)、不同集群(cluster)、不同命名空間(namespace)的配置。
2.同一份代碼部署在不同的集群,可以有不同的配置,比如zookeeper的地址等
3.通過命名空間(namespace)可以很方便地支持多個不同應(yīng)用共享同一份配置,同時還允許應(yīng)用對共享的配置進行覆蓋
- 配置修改實時生效(熱發(fā)布)
1.用戶在Apollo修改完配置并發(fā)布后,客戶端能實時(1秒)接收到最新的配置,并通知到應(yīng)用程序
- 版本發(fā)布管理
1.所有的配置發(fā)布都有版本概念,從而可以方便地支持配置的回滾
- 灰度發(fā)布
1.支持配置的灰度發(fā)布,比如點了發(fā)布后,只對部分應(yīng)用實例生效,等觀察一段時間沒問題后再推給所有應(yīng)用實例
- 權(quán)限管理、發(fā)布審核、操作審計
1.應(yīng)用和配置的管理都有完善的權(quán)限管理機制,對配置的管理還分為了編輯和發(fā)布兩個環(huán)節(jié),從而減少人為的錯誤。
2.所有的操作都有審計日志,可以方便地追蹤問題
- 客戶端配置信息監(jiān)控
1.可以在界面上方便地看到配置在被哪些實例使用
- 提供Java和.Net原生客戶端
1.提供了Java和.Net的原生客戶端,方便應(yīng)用集成
2.支持Spring Placeholder, Annotation和Spring Boot的ConfigurationProperties,方便應(yīng)用使用(需要Spring 3.1.1+)
3.同時提供了Http接口,非Java和.Net應(yīng)用也可以方便地使用
- 提供開放平臺API
1.Apollo自身提供了比較完善的統(tǒng)一配置管理界面,支持多環(huán)境、多數(shù)據(jù)中心配置管理、權(quán)限、流程治理等特性。不過Apollo出于通用性考慮,不會對配置的修改做過多限制,只要符合基本的格式就能保存,不會針對不同的配置值進行針對性的校驗,如數(shù)據(jù)庫用戶名、密碼,Redis服務(wù)地址等
2.對于這類應(yīng)用配置,Apollo支持應(yīng)用方通過開放平臺API在Apollo進行配置的修改 和發(fā)布,并且具備完善的授權(quán)和權(quán)限控制
- 部署簡單
1.配置中心作為基礎(chǔ)服務(wù),可用性要求非常高,這就要求Apollo對外部依賴盡可能地少
2.目前唯一的外部依賴是MySQL,所以部署非常簡單,只要安裝好Java和MySQL就可以讓Apollo跑起來
3.Apollo還提供了打包腳本,一鍵就可以生成所有需要的安裝包,并且支持自定義運行時參數(shù)
八、Apollo原理
上圖簡要描述了Apollo客戶端的實現(xiàn)原理:
1.客戶端和服務(wù)端保持了一個長連接,從而能第一時間獲得配置更新的推送。
2.客戶端還會定時從Apollo配置中心服務(wù)端拉取應(yīng)用的最新配置。
- 這是一個fallback機制,為了防止推送機制失效導(dǎo)致配置不更新
- 客戶端定時拉取會上報本地版本,所以一般情況下,對于定時拉取的操作,服務(wù)端都會返回304 - Not Modified
- 定時頻率默認為每5分鐘拉取一次,客戶端也可以通過在運行時指定System >Property: apollo.refreshInterval來覆蓋,單位為分鐘。
3.客戶端從Apollo配置中心服務(wù)端獲取到應(yīng)用的最新配置后,會保存在內(nèi)存中
4.客戶端會把從服務(wù)端獲取到的配置在本地文件系統(tǒng)緩存一份
- 在遇到服務(wù)不可用,或網(wǎng)絡(luò)不通的時候,依然能從本地恢復(fù)配置
5.應(yīng)用程序從Apollo客戶端獲取最新的配置、訂閱配置更新通知
九、自定義Cluster
9.1 新建Cluster
點擊后就進入到集群添加頁面,一般情況下可以按照數(shù)據(jù)中心來劃分集群 不過也支持自定義集群,比如可以為A機房的某一臺機器和B機房的某一臺機創(chuàng)建一個集群,使用一套配置。
Apollo會默認使用應(yīng)用實例所在的數(shù)據(jù)中心作為cluster,所以如果兩者一致的話,不需要額外配置。
如果cluster和數(shù)據(jù)中心不一致的話,那么就需要通過System Property方式來指定運行時cluster:
- -Dapollo.cluster=SomeCluster
- 這里注意apollo.cluster為全小寫
十、配置獲取規(guī)則
在有了cluster概念后,配置的規(guī)則就顯得重要了。比如應(yīng)用部署在A機房,但是并沒有在Apollo新建cluster,這個時候Apollo的行為是怎樣的?或者在運行時指定了cluster=SomeCluster,但是并沒有在Apollo新建cluster,這個時候Apollo的行為是怎樣的?
10.1 應(yīng)用自身配置的獲取規(guī)則
當(dāng)應(yīng)用使用下面的語句獲取配置時,我們稱之為獲取應(yīng)用自身的配置,也就是應(yīng)用自身的application namespace的配置。
Config config = ConfigService.getAppConfig();
對這種情況的配置獲取規(guī)則,簡而言之如下:
1.首先查找運行時cluster的配置(通過apollo.cluster指定)
2.如果沒有找到,則查找數(shù)據(jù)中心cluster的配置
3.如果還是沒有找到,則返回默認cluster的配置
圖示如下:
所以如果應(yīng)用部署在A數(shù)據(jù)中心,但是用戶沒有在Apollo創(chuàng)建cluster,那么獲取的配置就是默認cluster(default)的。
如果應(yīng)用部署在A數(shù)據(jù)中心,同時在運行時指定了SomeCluster,但是沒有在Apollo創(chuàng)建cluster,那么獲取的配置就是A數(shù)據(jù)中心cluster的配置,如果A數(shù)據(jù)中心cluster沒有配置的話,那么獲取的配置就是默認cluster(default)的。
十一、總體設(shè)計
上圖簡要描述了Apollo的總體設(shè)計,我們可以從下往上看:
- Config Service提供配置的讀取、推送等功能,服務(wù)對象是Apollo客戶端
- Admin Service提供配置的修改、發(fā)布等功能,服務(wù)對象是Apollo Portal(管理界面)
- Config Service和Admin Service都是多實例、無狀態(tài)部署,所以需要將自己注冊到Eureka中并保持心跳
- 在Eureka之上我們架了一層Meta Server用于封裝Eureka的服務(wù)發(fā)現(xiàn)接口
- Client通過域名訪問Meta Server獲取Config Service服務(wù)列表(IP+Port),而后直接通過IP+Port訪問服務(wù),同時在Client側(cè)會做load balance、錯誤重試
- Portal通過域名訪問Meta Server獲取Admin Service服務(wù)列表(IP+Port),而后直接通過IP+Port訪問服務(wù),同時在Portal側(cè)會做load balance、錯誤重試
- 為了簡化部署,我們實際上會把Config Service、Eureka和Meta Server三個邏輯角色部署在同一個JVM進程中
十二、總結(jié)
到這里Apollo,就講解完了,其實Apollo 可以理解成一個好用的配置管理中心,這里小農(nóng)也是了解了一點皮毛,大家有不懂的地方,歡迎留言。
我是牧小農(nóng),怕什么真理無窮,進一步有進一步的歡喜,大家加油~