[[192513]]

最近遇到的一個(gè)場(chǎng)景：php項(xiàng)目中需要使用一個(gè)第三方的功能(結(jié)巴分詞)，而github上面恰好有一個(gè)用Golang寫好的類庫。那么問題就來了，要如何實(shí)現(xiàn)不同語言之間的通信呢?

常規(guī)的方案：

• 用Golang寫一個(gè)http/TCP服務(wù)，php通過http/TCP與Golang通信
• 將Golang經(jīng)過較多封裝，做為php擴(kuò)展。
• PHP通過系統(tǒng)命令，調(diào)取Golang的可執(zhí)行文件

存在的問題：

• http請(qǐng)求，網(wǎng)絡(luò)I/O將會(huì)消耗大量時(shí)間
• 需要封裝大量代碼
• PHP每調(diào)取一次Golang程序，就需要一次初始化，時(shí)間消耗很多

優(yōu)化目標(biāo)：

• Golang程序只初始化一次(因?yàn)槌跏蓟芎臅r(shí))
• 所有請(qǐng)求不需要走網(wǎng)絡(luò)
• 盡量不大量修改代碼

解決方案：

• 簡(jiǎn)單的Golang封裝，將第三方類庫編譯生成為一個(gè)可執(zhí)行文件
• PHP與Golang通過雙向管道通信

使用雙向管道通信優(yōu)勢(shì)：

1：只需要對(duì)原有Golang類庫進(jìn)行很少的封裝

2：性能最佳 (IPC通信是進(jìn)程間通信的最佳途徑)

3：不需要走網(wǎng)絡(luò)請(qǐng)求，節(jié)約大量時(shí)間

4：程序只需初始化一次，并一直保持在內(nèi)存中

具體實(shí)現(xiàn)步驟：

• 1：類庫中的原始調(diào)取demo

package main 
import ( 
    "fmt" 
    "github.com/yanyiwu/gojieba" 
    "strings" 
) 
  
func main() { 
    x := gojieba.NewJieba() 
    defer x.Free() 
  
    s := "小明碩士畢業(yè)于中國科學(xué)院計(jì)算所，后在日本京都大學(xué)深造" 
    words := x.CutForSearch(s, true) 
    fmt.Println(strings.Join(words, "/")) 
} 

保存文件為main.go，就可以運(yùn)行

• 2：調(diào)整后代碼為：

package main 
  import ( 
      "bufio" 
      "fmt" 
      "github.com/yanyiwu/gojieba" 
      "io" 
      "os" 
      "strings" 
  ) 
  
  func main() { 
  
      x := gojieba.NewJieba( 
          "/data/tmp/jiebaDict/jieba.dict.utf8", 
          "/data/tmp/jiebaDict/hmm_model.utf8", 
          "/data/tmp/jiebaDict/user.dict.utf8" 
      ) 
      defer x.Free() 
  
      inputReader := bufio.NewReader(os.Stdin) 
      for { 
          s, err := inputReader.ReadString('\n') 
          if err != nil && err == io.EOF { 
              break 
          } 
          s = strings.TrimSpace(s) 
  
          if s != "" { 
              words := x.CutForSearch(s, true) 
              fmt.Println(strings.Join(words, " ")) 
          } else { 
              fmt.Println("get empty \n") 
          } 
      } 
  } 

只需要簡(jiǎn)單的幾行調(diào)整，即可實(shí)現(xiàn)：從標(biāo)準(zhǔn)輸入接收字符串，經(jīng)過分詞再輸出

測(cè)試：

# go build test 
# ./test 
# //等待用戶輸入，輸入”這是一個(gè)測(cè)試“ 
# 這是 一個(gè) 測(cè)試 //程序 

• 3：使用cat與Golang通信做簡(jiǎn)單測(cè)試

//準(zhǔn)備一個(gè)title.txt，每行是一句文本 
 
1# cat title.txt | ./test 

正常輸出，表示cat已經(jīng)可以和Golang正常交互了

• 4：PHP與Golang通信

以上所示的cat與Golang通信，使用的是單向管道。即：只能從cat向Golang傳入數(shù)據(jù)，Golang輸出的數(shù)據(jù)并沒有傳回給cat，而是直接輸出到屏幕。但文中的需求是：php與Golang通信。即php要傳數(shù)據(jù)給Golang，同時(shí)Golang也必須把執(zhí)行結(jié)果返回給php。因此，需要引入雙向管道。

在PHP中管道的使用：popen("/path/test")，具體就不展開說了，因?yàn)榇朔椒ń鉀Q不了文中的問題。

雙向管道：

$descriptorspec = array( 
     0 => array("pipe", "r"), 
       1 => array("pipe", "w") 
 ); 
 $handle = proc_open( 
     '/webroot/go/src/test/test', 
     $descriptorspec, 
     $pipes 
 ); 
 fwrite($pipes['0'], "這是一個(gè)測(cè)試文本\n"); 
 echo fgets($pipes[1]); 

解釋：使用proc_open打開一個(gè)進(jìn)程，調(diào)用Golang程序。同時(shí)返回一個(gè)雙向管道pipes數(shù)組，php向$pipe['0']中寫數(shù)據(jù)，從$pipe['1']中讀數(shù)據(jù)。

好吧，也許你已經(jīng)發(fā)現(xiàn)，我是標(biāo)題檔，這里重點(diǎn)要講的并不只是PHP與Golang如何通信。而是在介紹一種方法： 通過雙向管道讓任意語言通信。(所有語言都會(huì)實(shí)現(xiàn)管道相關(guān)內(nèi)容)

測(cè)試：

通過對(duì)比測(cè)試，計(jì)算出各個(gè)流程占用的時(shí)間。下面提到的title.txt文件，包含100萬行文本，每行文本是從b2b平臺(tái)取的商品標(biāo)題

1: 整體流程耗時(shí)

# time cat title.txt | ./test > /dev/null 

耗時(shí)：14.819秒，消耗時(shí)間包含：

• 進(jìn)程cat讀出文本
• 通過管道將數(shù)據(jù)傳入Golang
• Golang處理數(shù)據(jù)，將結(jié)果返回到屏幕

2：計(jì)算分詞函數(shù)耗時(shí)。方案：去除分詞函數(shù)的調(diào)取，即：注釋掉Golang源代碼中的調(diào)取分詞那行的代碼

time cat title.txt | ./test > /dev/null 

耗時(shí)：1.817秒時(shí)間，消耗時(shí)間包含：

• 進(jìn)程cat讀出文本
• 通過管道將數(shù)據(jù)傳入Golang
• Golang處理數(shù)據(jù)，將結(jié)果返回到屏幕

分詞耗時(shí) = (第一步耗時(shí)) - (以上命令所耗時(shí))

分詞耗時(shí) : 14.819 - 1.817 = 13.002秒

3：測(cè)試cat進(jìn)程與Golang進(jìn)程之間通信所占時(shí)間

time cat title.txt > /dev/null 

耗時(shí)：0.015秒，消耗時(shí)間包含：

• 進(jìn)程cat讀出文本
• 通過管道將數(shù)據(jù)傳入Golang
• go處理數(shù)據(jù)，將結(jié)果返回到屏幕

管道通信耗時(shí)：(第二步耗時(shí)) - (第三步耗時(shí))

管道通信耗時(shí)： 1.817 - 0.015 = 1.802秒

4：PHP與Golang通信的時(shí)間消耗

編寫簡(jiǎn)單的php文件：

<?php 
      $descriptorspec = array( 
          0 => array("pipe", "r"), 
          1 => array("pipe", "w") 
      ); 
  
      $handle = proc_open( 
          '/webroot/go/src/test/test', 
          $descriptorspec, 
          $pipes 
      ); 
  
      $fp = fopen("title.txt", "rb"); 
  
      while (!feof($fp)) { 
          fwrite($pipes['0'], trim(fgets($fp))."\n"); 
          echo fgets($pipes[1]); 
      } 
  
      fclose($pipes['0']); 
      fclose($pipes['1']); 
      proc_close($handle); 

流程與上面基本一致，讀出title.txt內(nèi)容，通過雙向管道傳入Golang進(jìn)程分詞后，再返回給php (比上面的測(cè)試多一步：數(shù)據(jù)再通過管道返回)

time php popen.php > /dev/null 

耗時(shí)：24.037秒，消耗時(shí)間包含：

• 進(jìn)程PHP讀出文本
• 通過管道將數(shù)據(jù)傳入Golang
• Golang處理數(shù)據(jù)
• Golang將返回結(jié)果再寫入管道，PHP通過管道接收數(shù)據(jù)
• 將結(jié)果返回到屏幕

結(jié)論：

1 ：整個(gè)分詞過程中的耗時(shí)分布

使用cat控制邏輯耗時(shí)： 14.819 秒

使用PHP控制邏輯耗時(shí): 24.037 秒(比cat多一次管道通信)

單向管道通信耗時(shí)： 1.8 秒

Golang中的分詞函數(shù)耗時(shí)： 13.002 秒

2：分詞函數(shù)的性能： 單進(jìn)程，100萬商品標(biāo)題分詞，耗時(shí)13秒

以上時(shí)間只包括分詞時(shí)間，不包括詞典載入時(shí)間。但在本方案中，詞典只載入一次，所以載入詞典時(shí)間可以忽略(1秒左右)

3：PHP比cat慢 (這結(jié)論有點(diǎn)多余了，呵呵)

語言層面慢: (24.037 - 1.8 - 14.819) / 14.819 = 50%

單進(jìn)程對(duì)比測(cè)試的話，應(yīng)該不會(huì)有哪個(gè)語言比cat更快。

相關(guān)問題：

1：以上Golang源碼中寫的是一個(gè)循環(huán)，也就是會(huì)一直從管道中讀數(shù)據(jù)。那么存在一個(gè)問題：是不是php進(jìn)程結(jié)束后，Golang的進(jìn)程還會(huì)一直存在?

管道機(jī)制自身可解決此問題。管道提供兩個(gè)接口：讀、寫。當(dāng)寫進(jìn)程結(jié)束或者意外掛掉時(shí)，讀進(jìn)程也會(huì)報(bào)錯(cuò)，以上Golang源代碼中的err邏輯就會(huì)執(zhí)行，Golang進(jìn)程結(jié)束。

但如果PHP進(jìn)程沒有結(jié)束，只是暫時(shí)沒有數(shù)據(jù)傳入，此時(shí)Golang進(jìn)程會(huì)一直等待。直到php結(jié)束后，Golang進(jìn)程才會(huì)自動(dòng)結(jié)束。

2：能否多個(gè)php進(jìn)程并行讀寫同一個(gè)管道，Golang進(jìn)程同時(shí)為其服務(wù)?

不可以。管道是單向的，如果多個(gè)進(jìn)程同時(shí)向管道中寫，那Golang的返回值就會(huì)錯(cuò)亂。

可以多開幾個(gè)Golang進(jìn)程實(shí)現(xiàn)，每個(gè)php進(jìn)程對(duì)應(yīng)一個(gè)Golang進(jìn)程。

最后，上面都是瞎扯的。如果你了解管道、雙向管道，上面的解釋對(duì)你基本沒啥用。但如果你不了解管道，調(diào)試上面的代碼沒問題，但稍有修改就有可能掉坑里。哈哈，推薦一本書吧，《UNIX網(wǎng)絡(luò)編程》卷一、二，都看一下，也許要看兩個(gè)月，但很有必要!