Dubbo先啟動(dòng)客戶端再啟動(dòng)服務(wù)端，線上收銀系統(tǒng)崩了
線上發(fā)生事故了
前天晚上上線一波，發(fā)生了一個(gè)挺有意思的事，昨天復(fù)盤了一下，今天分享一下。
晚上的時(shí)候，我負(fù)責(zé)的系統(tǒng)和收銀系統(tǒng)同時(shí)上線一波(用的是Dubbo)。然后很神奇的事情發(fā)生了，收銀系統(tǒng)用@Reference注解注入我的接口，然后這個(gè)接口的實(shí)現(xiàn)類居然為空。
其實(shí)我們當(dāng)時(shí)沒排查出來是什么原因?
「重啟了一下就好了，畢竟重啟大法好?！?但本著不能給用戶充錢的路上造成阻礙，還是要排查一波這個(gè)代理對(duì)象為空是如何造成的。
「線上dubbo的版本為2.8.9，注意包名是(com.alibaba)」
為了方便大家理解我說的內(nèi)容，簡(jiǎn)單說一下RPC框架的執(zhí)行流程。
- Server將服務(wù)信息注冊(cè)到Registry，Client從Registry拉取Server的信息。
- Client通過代理對(duì)象(Client Stub)發(fā)送發(fā)送網(wǎng)絡(luò)請(qǐng)求，Server通過代理對(duì)象(Server Stub)執(zhí)行本地方法
- 網(wǎng)絡(luò)傳輸過程中有編解碼和序列化的過程
「在Dubbo中Client Stub和Server Stub都是Invoker對(duì)象」
我們繼續(xù)，注入的接口實(shí)現(xiàn)類居然能為空?我就看了一下他寫的代碼，只用了一個(gè)@Reference注解，沒有設(shè)置任何屬性。
- @Documented
- @Retention(RetentionPolicy.RUNTIME)
- @Target({ElementType.FIELD, ElementType.METHOD, ElementType.ANNOTATION_TYPE})
- public @interface Reference {
- // 省略其他屬性
- boolean check() default true;
- }
那么check=true，即沒有服務(wù)提供者的時(shí)候，服務(wù)消費(fèi)者都不能正常啟動(dòng)，因?yàn)闀?huì)拋出IllegalStateException異常。既然能正常啟動(dòng)，那這個(gè)代理對(duì)象正常創(chuàng)建了啊，不可能為null啊
- // 2.8.9版本
- // ReferenceConfig#createProxy
- Boolean c = check;
- if (c == null && consumer != null) {
- c = consumer.isCheck();
- }
- if (c == null) {
- c = true; // default true
- }
- if (c && !invoker.isAvailable()) {
- throw new IllegalStateException("Failed to check the status of the service " + interfaceName + ". No provider available for the service " + (group == null ? "" : group + "/") + interfaceName + (version == null ? "" : ":" + version) + " from the url " + invoker.getUrl() + " to the consumer " + NetUtils.getLocalHost() + " use dubbo version " + Version.getVersion());
- }
「然后我同事說有沒有可能是客戶端先啟動(dòng)，沒有服務(wù)提供者導(dǎo)致代理對(duì)象為空的?」
我說不可能的，客戶端先啟動(dòng)，check屬性為true，不可能啟動(dòng)成功的!再說每次上線，新服務(wù)正常啟動(dòng)后，才會(huì)關(guān)閉舊服務(wù)的，服務(wù)提供者一定會(huì)有的。
「為什么會(huì)發(fā)生這種情況，是真心搞不懂，只能google “@Reference 注入對(duì)象為null”」
答案基本一致，沒有服務(wù)提供者導(dǎo)致代理對(duì)象為空的，只要把@Reference的check屬性設(shè)置為false即可，至于原因沒一篇文章說過
「接下來就是驗(yàn)證網(wǎng)上的方法了」
- 先啟動(dòng)producer，再啟動(dòng)consumer，正常調(diào)用
- 先啟動(dòng)consumer(check=true)，再啟動(dòng)producer，代理對(duì)象為空，完美復(fù)現(xiàn)
- 先啟動(dòng)consumer(check=false)，再啟動(dòng)producer，正常調(diào)用
「和我的想法不一致，學(xué)dubbo的時(shí)候沒聽過必須先啟動(dòng)producer再啟動(dòng)consumer才能正常調(diào)用啊?」
我就拿出我學(xué)dubbo時(shí)用的例子測(cè)試了一波，dubbo的版本為2.7.3注意包名是(org.apache)
先啟動(dòng)producer，再啟動(dòng)consumer，正常調(diào)用
先啟動(dòng)consumer(check=true)，此時(shí)沒有producer，啟動(dòng)失敗
先啟動(dòng)consumer(check=false)，再啟動(dòng)producer，正常調(diào)用
「這才符合我的想法啊」
揭秘真相
既然@Reference注入的對(duì)象為null，那說明Spring Bean的生命周期中屬性賦值階段有問題
再來分析一下@Reference注解的注入邏輯，和@Autowired，@Resource之類的注入邏輯基本差不多。
當(dāng)你加入Dubbo的spring boot starter時(shí)，會(huì)往容器中注入ReferenceAnnotationBeanPostProcessor，看一下這個(gè)類的繼承關(guān)系
其中最主要的部分你只需要知道這個(gè)類重寫了 InstantiationAwareBeanPostProcessor#postProcessPropertyValues(這個(gè)方法在后面的版本中被postProcessProperties方法替代)，而這個(gè)方法正是用來屬性賦值的，看上面的Bean生命周期圖
- public class ReferenceAnnotationBeanPostProcessor {
- // 省略了繼承類和方法
- // 這個(gè)方法給@Reference屬性賦值
- @Override
- public PropertyValues postProcessPropertyValues(
- PropertyValues pvs, PropertyDescriptor[] pds, Object bean, String beanName) throws BeanCreationException {
- InjectionMetadata metadata = findReferenceMetadata(beanName, bean.getClass(), pvs);
- try {
- metadata.inject(bean, beanName, pvs);
- } catch (BeanCreationException ex) {
- throw ex;
- } catch (Throwable ex) {
- throw new BeanCreationException(beanName, "Injection of @Reference dependencies failed", ex);
- }
- return pvs;
- }
- }
接著執(zhí)行到ReferenceFieldElement#inject方法，@Reference引入的對(duì)象會(huì)被包轉(zhuǎn)為ReferenceBean
- private class ReferenceFieldElement extends InjectionMetadata.InjectedElement {
- @Override
- protected void inject(Object bean, String beanName, PropertyValues pvs) throws Throwable {
- Class<?> referenceClass = field.getType();
- // 獲取 referenceBean 的邏輯在這
- referenceBean = buildReferenceBean(reference, referenceClass);
- ReflectionUtils.makeAccessible(field);
- // 通過反射注入對(duì)象
- field.set(bean, referenceBean.getObject());
- }
- }
經(jīng)過一系列方法調(diào)用執(zhí)行到如下方法
- // AbstractAnnotationConfigBeanBuilder#build
- public final B build() throws Exception {
- checkDependencies();
- B bean = doBuild();
- configureBean(bean);
- if (logger.isInfoEnabled()) {
- logger.info(bean + " has been built.");
- }
- return bean;
- }
此時(shí)日志中會(huì)打印ReferenceBean對(duì)象，這個(gè)對(duì)象繼承了AbstractConfig，所以會(huì)執(zhí)行AbstractConfig#toString方法
- public abstract class AbstractConfig implements Serializable {
- @Override
- public String toString() {
- try {
- StringBuilder buf = new StringBuilder();
- buf.append("<dubbo:");
- buf.append(getTagName(getClass()));
- Method[] methods = getClass().getMethods();
- for (Method method : methods) {
- try {
- String name = method.getName();
- if ((name.startsWith("get") || name.startsWith("is"))
- && !"getClass".equals(name) && !"get".equals(name) && !"is".equals(name)
- && Modifier.isPublic(method.getModifiers())
- && method.getParameterTypes().length == 0
- && isPrimitive(method.getReturnType())) {
- int i = name.startsWith("get") ? 3 : 2;
- String key = name.substring(i, i + 1).toLowerCase() + name.substring(i + 1);
- Object value = method.invoke(this, new Object[0]);
- if (value != null) {
- buf.append(" ");
- buf.append(key);
- buf.append("=\"");
- buf.append(value);
- buf.append("\"");
- }
- }
- } catch (Exception e) {
- logger.warn(e.getMessage(), e);
- }
- }
- buf.append(" />");
- return buf.toString();
- } catch (Throwable t) {
- logger.warn(t.getMessage(), t);
- return super.toString();
- }
- }
- }
「好家伙，打印的時(shí)候把get方法全執(zhí)行了一遍，然后執(zhí)行ReferenceBean#getObject方法異常了(就是那個(gè)沒有服務(wù)提供者拋出的異常)，但是被try Catch了」
因?yàn)镽eferenceBean是一個(gè)FactoryBean，所以需要調(diào)用getObject方法才能獲取創(chuàng)建的對(duì)象
- private class ReferenceFieldElement extends InjectionMetadata.InjectedElement {
- @Override
- protected void inject(Object bean, String beanName, PropertyValues pvs) throws Throwable {
- Class<?> referenceClass = field.getType();
- // 獲取 referenceBean 的邏輯在這
- referenceBean = buildReferenceBean(reference, referenceClass);
- ReflectionUtils.makeAccessible(field);
- // 通過反射注入對(duì)象
- field.set(bean, referenceBean.getObject());
- }
- }
「接著調(diào)用ReferenceBean#getObject方法，好了，這就是服務(wù)導(dǎo)出的邏輯了!」 不細(xì)說了，后續(xù)單開文章寫，會(huì)執(zhí)行到ReferenceConfig#get方法
- // ReferenceConfig#get
- public synchronized T get() {
- if (destroyed) {
- throw new IllegalStateException("Already destroyed!");
- }
- if (ref == null) {
- init();
- }
- return ref;
- }
「此時(shí)代理對(duì)象為null，執(zhí)行init方法，initialized默認(rèn)為false，執(zhí)行一次變?yōu)閠rue(AbstractConfig執(zhí)行toString方法的時(shí)候哈)，所以第二次執(zhí)行，直接return，此時(shí)代理對(duì)象為null，完事!」
- private void init() {
- if (initialized) {
- return;
- }
- initialized = true;
- // 省略部分代碼
- }
「我學(xué)習(xí)用的版本為什么能正常工作?」
- public final C build() throws Exception {
- checkDependencies();
- C configBean = doBuild();
- configureBean(configBean);
- if (logger.isInfoEnabled()) {
- logger.info("The configBean[type:" + configBean.getClass().getSimpleName() + "] has been built.");
- }
- return configBean;
- }
就是打印的時(shí)候不會(huì)執(zhí)行g(shù)etObject方法了
「為什么@Reference的check屬性設(shè)置為false就能正常調(diào)用?」
因?yàn)榈谝淮握{(diào)用成功執(zhí)行完ReferenceBean#getObject方法，ref已經(jīng)賦值為代理對(duì)象了，第二次執(zhí)行就能將這個(gè)代理對(duì)象返回
- // ReferenceConfig#get
- public synchronized T get() {
- if (destroyed) {
- throw new IllegalStateException("Already destroyed!");
- }
- if (ref == null) {
- init();
- }
- return ref;
- }
至于我們的線上系統(tǒng)為什么沒獲取到服務(wù)提供者，我估計(jì)很大概率是由于網(wǎng)絡(luò)的原因
解決方案
- @Reference注解的check屬性設(shè)置為false(默認(rèn)為true)，因?yàn)楫?dāng)你的check屬性為true并且沒有服務(wù)提供者時(shí)，不會(huì)起任何作用，只會(huì)注入一個(gè)空對(duì)象，后續(xù)當(dāng)有服務(wù)提供者可用時(shí)，這個(gè)對(duì)象始終為空。當(dāng)check為false時(shí)，會(huì)注入一個(gè)代理對(duì)象，當(dāng)有服務(wù)提供者時(shí)，這個(gè)代理對(duì)象會(huì)刷新，就能正常發(fā)起調(diào)用
- 選擇能正常執(zhí)行的版本
本文轉(zhuǎn)載自微信公眾號(hào)「Java識(shí)堂」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系Java識(shí)堂公眾號(hào)。
