前言

冪等是分布式系統(tǒng)中保證數(shù)據(jù)一致性和安全性的重要保障之一，尤其是在金融、支付領(lǐng)域，其作為資損防控的硬性指標(biāo)體現(xiàn)在系統(tǒng)架構(gòu)設(shè)計(jì)中。今天我們就來(lái)淺談一下冪等相關(guān)的設(shè)計(jì)。

冪等的定義

冪等( idempotent、idempotence )的概念來(lái)源于數(shù)學(xué)，并被廣泛應(yīng)用于計(jì)算機(jī)科學(xué)。在數(shù)學(xué)中，其語(yǔ)意是 f ( x ) = f ( f ( x ))，比如求取絕對(duì)值，abs ( x ) = abs ( abs ( x ))，就是冪等的。

在計(jì)算機(jī)科學(xué)中，冪等即相同的請(qǐng)求調(diào)用一次和調(diào)用多次，服務(wù)端處理的的結(jié)果相同，并且最多受理一次。

冪等的重要性

我們就拿支付公司的資金調(diào)撥舉個(gè)例子。一般的，第三方支付公司需要借助清算公司（如網(wǎng)聯(lián)）提供的支付通道進(jìn)行備付金賬戶資金調(diào)撥，以保證資金池充足可用。當(dāng)?shù)谌街Ц豆景l(fā)起資金調(diào)撥請(qǐng)求時(shí)，如果清算公司的返回結(jié)果丟失，這時(shí)，支付公司是否可以重試？如果重試，是否會(huì)發(fā)生資金的重復(fù)調(diào)撥？

互聯(lián)網(wǎng)公司的應(yīng)用間存在物理邊界，請(qǐng)求和響應(yīng)信息會(huì)通過(guò)網(wǎng)絡(luò)進(jìn)行傳遞。我們說(shuō)遠(yuǎn)程調(diào)用的結(jié)果會(huì)有三個(gè)狀態(tài)：成功，失敗，未知。前兩者都是明確的狀態(tài)，而未知具有不確定性，一般都是由網(wǎng)絡(luò)超時(shí)、丟包引起的。如上例中，如果出現(xiàn)了超時(shí)，其實(shí)有兩種方案，我們可以建立查詢補(bǔ)償機(jī)制，來(lái)研判是否要重新發(fā)起資金調(diào)撥?；蛘?，清算公司做好冪等控制，支付公司可以無(wú)腦重試，既可以保證資金調(diào)撥業(yè)務(wù)的正常，又能保證不會(huì)發(fā)生多次調(diào)撥。

在架構(gòu)設(shè)計(jì)中，冪等的應(yīng)用面非常廣泛，比如 MQ 規(guī)避重復(fù)消費(fèi)、表單規(guī)避重復(fù)提交等。

冪等設(shè)計(jì)

冪等兩大要素

冪等包含兩大要素，冪等標(biāo)記和關(guān)鍵請(qǐng)求參數(shù)。

冪等號(hào)：它對(duì)應(yīng)服務(wù)端的唯一約束，在設(shè)計(jì)上，它一般由上游的冪等單號(hào)和來(lái)源組成。服務(wù)端的接口文檔中，需要明確指出冪等號(hào)的信息組成，它的作用是對(duì)請(qǐng)求信息進(jìn)行身份標(biāo)識(shí)，相同冪等號(hào)的請(qǐng)求將被服務(wù)端識(shí)別為同一請(qǐng)求。

關(guān)鍵請(qǐng)求信息：接收的核心業(yè)務(wù)信息，常見(jiàn)的如收款賬戶、打款賬戶，打款金額、幣種、商品數(shù)量等等。相同的請(qǐng)求中，調(diào)用方需要保證關(guān)鍵請(qǐng)求信息不變，一旦信息發(fā)生變動(dòng)，則需要替換冪等號(hào)。

冪等原則

調(diào)用方必須保證冪等號(hào)的唯一性、不變性

說(shuō)明

調(diào)用方需要保證冪等號(hào)不重復(fù)，且對(duì)同一業(yè)務(wù)單據(jù)的同一次操作，無(wú)論請(qǐng)求多少次，都要保證冪等號(hào)不變。

反例

冪等號(hào)重復(fù)，原因基本如下

• sequence cycle 問(wèn)題，未評(píng)估好業(yè)務(wù)量同 sequence 增長(zhǎng)速度，導(dǎo)致冪等號(hào)重復(fù)。
• sequence 步長(zhǎng)、分段設(shè)置問(wèn)題，導(dǎo)致跨區(qū)域/單元/庫(kù)/表冪等號(hào)重復(fù);

冪等號(hào)變化，原因基本如下

• 事務(wù)中生成冪等號(hào)，并發(fā)起遠(yuǎn)程調(diào)用，調(diào)用超時(shí)本地事務(wù)回滾，第二次請(qǐng)求又會(huì)生成新的冪等號(hào)。

調(diào)用方必須保證關(guān)鍵業(yè)務(wù)請(qǐng)求參數(shù)的不變性

說(shuō)明

當(dāng)服務(wù)端沒(méi)有返回結(jié)果時(shí)，調(diào)用方關(guān)鍵業(yè)務(wù)請(qǐng)求參數(shù)不允許變更。

反例

初次請(qǐng)求，由于網(wǎng)絡(luò)異常導(dǎo)致 timeout 調(diào)用方?jīng)]有拿到結(jié)果，而服務(wù)端受理成功。客戶端修改單據(jù)金額，請(qǐng)求信息發(fā)生變化，調(diào)用方與服務(wù)端處理出錯(cuò)。

img

調(diào)用方禁止冪等號(hào)純內(nèi)存拼接，不進(jìn)行持久化

說(shuō)明

冪等號(hào)不持久化，對(duì)于異步回執(zhí)處理，上下游數(shù)據(jù)稽核帶來(lái)困難，所以冪等號(hào)持久化是一個(gè)基本要求。

反例

RPC 調(diào)用，調(diào)用方的冪等號(hào)，是內(nèi)存中根據(jù)業(yè)務(wù)映射拼接得來(lái)，不做持久化。

//內(nèi)存中拼接冪等號(hào)
request.setRequestId(BizTypeEnum.getPrefix(×xxDO.getBizType()) + xxxDO.getId()):

調(diào)用方冪等號(hào)生成事務(wù)內(nèi)禁止包含 RPC

反例

transactionTemplate.execute (status ->
    //生成流水號(hào) xxx 
    SerialDO serialDO = buildSerialDO();
    //播入 aaa 表
    serialDAO.insert(serialDO);
    someDAO.update (someDO) ;
    // dubbo 調(diào)用 rpc，流水號(hào) xxxId 作為冪等號(hào)
    invokeRpc(request);
    return true,
));

正例

• RPC 放在事務(wù)外面

transactionTemplate.execute (status ->
    //生成流水號(hào) xxx 
    SerialDO serialDO =  buildSerialDO();
    //播入 aaa 表
    serialDAO.insert(serialDO);
    someDAO.update (someDO) ;
    return true;
));
// dubbo 調(diào)用 rpc，流水號(hào) xxxId 作為冪等號(hào)
invokeRpc(request);

• 使用事務(wù)同步器：如果事務(wù)在外層開(kāi)啟，為了不破壞代碼結(jié)構(gòu)，使用事務(wù)同步器，事務(wù)提交后發(fā)起 RPC 調(diào)用，調(diào)用異常后應(yīng)用需要做恢復(fù)。

/**
* 外層已開(kāi)啟事務(wù)
*/
public static void execute (){
  //更新單據(jù)狀態(tài)
  Runnable runnable = () -> {
    response = dubboService.call(request);
  };
 register(runnable);
}
 

public static void register (Runnable runnable) {
  if (TransactionSynchronizationManager.isActualTrangactionActive()) {
    TransactionSynchronizationManager.registersynchronization(
      new TransactionSynchronizationAdapter() {
        @Override
        public void afterCommit () {
          runnable.run(); 
        } 
      }
    ); 
  } else {
    LOGGER.debug( "No active transaction.");
    runnable.run();
  }
}

• 業(yè)務(wù)自研組件：事務(wù)中插入本地任務(wù)，統(tǒng)一恢復(fù)執(zhí)行。

服務(wù)端不能單純依賴(lài)查詢做冪等

說(shuō)明

分布式下并發(fā)場(chǎng)景，并不能單純的依賴(lài)查詢做到插入 冪等。常見(jiàn)唯一性保障方式:

• DB 約束：對(duì)插入流水的冪等號(hào)建 DB 唯一索引約束
• 分布式鎖：如 redis、 zookeeper 等。若持久層在 DB，不推存使用（依賴(lài)外部存儲(chǔ)做冪等控制，與 DB 的強(qiáng)一致性無(wú)法保證），涉及資金等強(qiáng)一致性場(chǎng)景不推薦。

反例

RPC 調(diào)用超時(shí)，本地事務(wù)回滾。下次重試，會(huì)生成新的冪等號(hào)，導(dǎo)致資損。

服務(wù)端必須保證受理結(jié)果一致性

說(shuō)明

針對(duì)相同請(qǐng)求，不論調(diào)用方請(qǐng)求多少次，服務(wù)端僅受理一次，且受理結(jié)果相同。

反例

售中退款的場(chǎng)景中，第一次服務(wù)端正常受理調(diào)用方請(qǐng)求，但調(diào)用方因?yàn)槌瑫r(shí)丟棄響應(yīng)；當(dāng)?shù)诙握{(diào)用方重試，服務(wù)端發(fā)現(xiàn)退款金額不足，返回受理失敗，導(dǎo)致故障。

//1、基本校驗(yàn)
//2、悲觀鎖內(nèi)，可退款金額判斷；
Assert.isTrue(refundable(xxx), "cannot refund");

//3、邏輯處理
try {
 process(xxx);
} catch (Exception e) {
   //冪等判斷處理
}

調(diào)用方收到服務(wù)端冪等結(jié)果后，比對(duì)關(guān)鍵業(yè)務(wù)參數(shù)

說(shuō)明

客戶端收到服務(wù)端結(jié)果后，本著不信任的原則，針對(duì)關(guān)鍵業(yè)務(wù)請(qǐng)求參數(shù)如賬戶、 金額同服務(wù)端受理內(nèi)容對(duì)比。

反例

服務(wù)端做冪等判斷時(shí)，只看冪等號(hào)，雖然第二次請(qǐng)求冪等號(hào)不變，但是金額又可能被篡改，如果服務(wù)端直接返回成功，將導(dǎo)致資金損失。

正例

• 服務(wù)端：根據(jù)冪等號(hào)查詢 DB 流水，返回已經(jīng)受理的關(guān)鍵業(yè)務(wù)信息。
• 調(diào)用方：對(duì)服務(wù)方返回的冪等內(nèi)容做校驗(yàn)，確保與預(yù)期一致。

總結(jié)

以上規(guī)則是借鑒歷史項(xiàng)目和互聯(lián)網(wǎng)經(jīng)驗(yàn)總結(jié)而成，主要側(cè)重于冪等設(shè)計(jì)的原則，冪等的落地方案有很多，比如冪等表、樂(lè)觀鎖、悲觀鎖等，這里就不贅述。