自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

當(dāng)Go遇上了Lua,會發(fā)生什么

開發(fā) 后端
我們知道 Golang 是靜態(tài)語言,而 Lua 是動態(tài)語言,Golang 的性能和效率各語言中表現(xiàn)得非常不錯,但在動態(tài)能力上,肯定是無法與 Lua 相比。那么如果我們能夠?qū)⒍呓Y(jié)合起來,就能綜合二者各自的長處了。

在 GitHub 玩耍時,偶然發(fā)現(xiàn)了 gopher-lua ,這是一個純 Golang 實現(xiàn)的 Lua 虛擬機(jī)。我們知道 Golang 是靜態(tài)語言,而 Lua 是動態(tài)語言,Golang 的性能和效率各語言中表現(xiàn)得非常不錯,但在動態(tài)能力上,肯定是無法與 Lua 相比。那么如果我們能夠?qū)⒍呓Y(jié)合起來,就能綜合二者各自的長處了(手動滑稽。

在項目 Wiki 中,我們可以知道 gopher-lua 的執(zhí)行效率和性能僅比 C 實現(xiàn)的 bindings 差。因此從性能方面考慮,這應(yīng)該是一款非常不錯的虛擬機(jī)方案。

Hello World

這里給出了一個簡單的 Hello World 程序。我們先是新建了一個虛擬機(jī),隨后對其進(jìn)行了 DoString(...) 解釋執(zhí)行 lua 代碼的操作,***將虛擬機(jī)關(guān)閉。執(zhí)行程序,我們將在命令行看到 "Hello World" 的字符串。 

  1. package main  
  2. import (  
  3.     "github.com/yuin/gopher-lua"  
  4.  
  5. func main() {  
  6.     l :lua.NewState()  
  7.     defer l.Close()  
  8.     if err :l.DoString(`print("Hello World")`); err != nil {  
  9.         panic(err)  
  10.     }  
  11.  
  12. // Hello World 

提前編譯

在查看上述 DoString(...) 方法的調(diào)用鏈后,我們發(fā)現(xiàn)每執(zhí)行一次 DoString(...) 或 DoFile(...) ,都會各執(zhí)行一次 parse 和 compile 。 

  1. func (ls *LState) DoString(source string) error {  
  2.     if fn, err :ls.LoadString(source); err != nil {  
  3.         return err  
  4.     } else {  
  5.         ls.Push(fn)  
  6.         return ls.PCall(0, MultRet, nil)  
  7.     }  
  8.  
  9. func (ls *LState) LoadString(source string) (*LFunction, error) {  
  10.     return ls.Load(strings.NewReader(source), "<string>")  
  11.  
  12. func (ls *LState) Load(reader io.Reader, name string) (*LFunction, error) {  
  13.     chunk, err :parse.Parse(reader, name)  
  14.     // ...  
  15.     proto, err :Compile(chunk, name)  
  16.     // ...  

從這一點考慮,在同份 Lua 代碼將被執(zhí)行多次(如在 http server 中,每次請求將執(zhí)行相同 Lua 代碼)的場景下,如果我們能夠?qū)Υa進(jìn)行提前編譯,那么應(yīng)該能夠減少 parse 和 compile 的開銷(如果這屬于 hotpath 代碼)。根據(jù) Benchmark 結(jié)果,提前編譯確實能夠減少不必要的開銷。 

  1. package glua_test  
  2. import (  
  3.     "bufio"  
  4.     "os"  
  5.     "strings"  
  6.     lua "github.com/yuin/gopher-lua"  
  7.     "github.com/yuin/gopher-lua/parse"  
  8.  
  9. // 編譯 lua 代碼字段  
  10. func CompileString(source string) (*lua.FunctionProto, error) {  
  11.     reader :strings.NewReader(source)  
  12.     chunk, err :parse.Parse(reader, source)  
  13.     if err != nil {  
  14.         return nil, err  
  15.     }  
  16.     proto, err :lua.Compile(chunk, source)  
  17.     if err != nil {  
  18.         return nil, err  
  19.     }  
  20.     return proto, nil  
  21.  
  22. // 編譯 lua 代碼文件  
  23. func CompileFile(filePath string) (*lua.FunctionProto, error) {  
  24.     file, err :os.Open(filePath)  
  25.     defer file.Close()  
  26.     if err != nil {  
  27.         return nil, err  
  28.     }  
  29.     reader :bufio.NewReader(file)  
  30.     chunk, err :parse.Parse(reader, filePath)  
  31.     if err != nil {  
  32.         return nil, err  
  33.     }  
  34.     proto, err :lua.Compile(chunk, filePath)  
  35.     if err != nil {  
  36.         return nil, err  
  37.     }  
  38.     return proto, nil  
  39.  
  40. func BenchmarkRunWithoutPreCompiling(b *testing.B) {  
  41.     l :lua.NewState()  
  42.     for i :0; i < b.N; i++ {  
  43.         _ = l.DoString(`a = 1 + 1`)  
  44.     }  
  45.     l.Close()  
  46.  
  47. func BenchmarkRunWithPreCompiling(b *testing.B) {  
  48.     l :lua.NewState()  
  49.     proto, _ :CompileString(`a = 1 + 1`)  
  50.     lfunc :l.NewFunctionFromProto(proto)  
  51.     for i :0; i < b.N; i++ {  
  52.         l.Push(lfunc) 
  53.          _ = l.PCall(0, lua.MultRet, nil)  
  54.     }  
  55.     l.Close()  
  56.  
  57. // goos: darwin  
  58. // goarch: amd64  
  59. // pkg: glua  
  60. // BenchmarkRunWithoutPreCompiling-8         100000             19392 ns/op           85626 B/op         67 allocs/op  
  61. // BenchmarkRunWithPreCompiling-8           1000000              1162 ns/op            2752 B/op          8 allocs/op  
  62. // PASS  
  63. // ok      glua    3.328s 

虛擬機(jī)實例池

在同份 Lua 代碼被執(zhí)行的場景下,除了可使用提前編譯優(yōu)化性能外,我們還可以引入虛擬機(jī)實例池。

因為新建一個 Lua 虛擬機(jī)會涉及到大量的內(nèi)存分配操作,如果采用每次運行都重新創(chuàng)建和銷毀的方式的話,將消耗大量的資源。引入虛擬機(jī)實例池,能夠復(fù)用虛擬機(jī),減少不必要的開銷。 

  1. func BenchmarkRunWithoutPool(b *testing.B) {  
  2.     for i :0; i < b.N; i++ {  
  3.         l :lua.NewState()  
  4.         _ = l.DoString(`a = 1 + 1`)  
  5.         l.Close()  
  6.     }  
  7.  
  8. func BenchmarkRunWithPool(b *testing.B) {  
  9.     pool :newVMPool(nil, 100)  
  10.     for i :0; i < b.N; i++ {  
  11.         l :pool.get()  
  12.         _ = l.DoString(`a = 1 + 1`)  
  13.         pool.put(l)  
  14.     }  
  15.  
  16. // goos: darwin  
  17. // goarch: amd64  
  18. // pkg: glua  
  19. // BenchmarkRunWithoutPool-8          10000            129557 ns/op          262599 B/op        826 allocs/op  
  20. // BenchmarkRunWithPool-8            100000             19320 ns/op           85626 B/op         67 allocs/op  
  21. // PASS  
  22. // ok      glua    3.467s 

Benchmark 結(jié)果顯示,虛擬機(jī)實例池的確能夠減少很多內(nèi)存分配操作。

下面給出了 README 提供的實例池實現(xiàn),但注意到該實現(xiàn)在初始狀態(tài)時,并未創(chuàng)建足夠多的虛擬機(jī)實例(初始時,實例數(shù)為0),以及存在 slice 的動態(tài)擴(kuò)容問題,這都是值得改進(jìn)的地方。 

  1. type lStatePool struct {  
  2.     m     sync.Mutex  
  3.     saved []*lua.LState  
  4.  
  5. func (pl *lStatePool) Get() *lua.LState {  
  6.     pl.m.Lock()  
  7.     defer pl.m.Unlock()  
  8.     n :len(pl.saved)  
  9.     if n == 0 {  
  10.         return pl.New()  
  11.     }  
  12.     x :pl.saved[n-1]  
  13.     plpl.saved = pl.saved[0 : n-1]  
  14.     return x  
  15.  
  16. func (pl *lStatePool) New() *lua.LState {  
  17.     L :lua.NewState()  
  18.     // setting the L up here.  
  19.     // load scripts, set global variables, share channels, etc...  
  20.     return L  
  21.  
  22. func (pl *lStatePool) Put(L *lua.LState) {  
  23.     pl.m.Lock()  
  24.     defer pl.m.Unlock()  
  25.     pl.saved = append(pl.saved, L)  
  26.  
  27. func (pl *lStatePool) Shutdown() {  
  28.     for _, L :range pl.saved {  
  29.         L.Close()  
  30.     }  
  31.  
  32. // Global LState pool  
  33. var luaPool = &lStatePool{  
  34.     saved: make([]*lua.LState, 0, 4),  

模塊調(diào)用

gopher-lua 支持 Lua 調(diào)用 Go 模塊,個人覺得,這是一個非常令人振奮的功能點,因為在 Golang 程序開發(fā)中,我們可能設(shè)計出許多常用的模塊,這種跨語言調(diào)用的機(jī)制,使得我們能夠?qū)Υa、工具進(jìn)行復(fù)用。

當(dāng)然,除此之外,也存在 Go 調(diào)用 Lua 模塊,但個人感覺后者是沒啥必要的,所以在這里并沒有涉及后者的內(nèi)容。 

  1. package main  
  2. import (  
  3.     "fmt"  
  4.     lua "github.com/yuin/gopher-lua"  
  5.  
  6. const source = `  
  7. local m = require("gomodule")  
  8. m.goFunc()  
  9. print(m.name)  
  10. func main() {  
  11.     L :lua.NewState()  
  12.     defer L.Close()  
  13.     L.PreloadModule("gomodule", load)  
  14.     if err :L.DoString(source); err != nil {  
  15.         panic(err)  
  16.     }  
  17.  
  18. func load(L *lua.LState) int {  
  19.     mod :L.SetFuncs(L.NewTable(), exports)  
  20.     L.SetField(mod, "name", lua.LString("gomodule"))  
  21.     L.Push(mod)  
  22.     return 1  
  23.  
  24. var exports = map[string]lua.LGFunction{  
  25.     "goFunc": goFunc,  
  26.  
  27. func goFunc(L *lua.LState) int {  
  28.     fmt.Println("golang")  
  29.     return 0  
  30.  
  31. // golang  
  32. // gomodule 

變量污染

當(dāng)我們使用實例池減少開銷時,會引入另一個棘手的問題:由于同一個虛擬機(jī)可能會被多次執(zhí)行同樣的 Lua 代碼,進(jìn)而變動了其中的全局變量。如果代碼邏輯依賴于全局變量,那么可能會出現(xiàn)難以預(yù)測的運行結(jié)果(這有點數(shù)據(jù)庫隔離性中的“不可重復(fù)讀”的味道)。

全局變量

如果我們需要限制 Lua 代碼只能使用局部變量,那么站在這個出發(fā)點上,我們需要對全局變量做出限制。那問題來了,該如何實現(xiàn)呢?

我們知道,Lua 是編譯成字節(jié)碼,再被解釋執(zhí)行的。那么,我們可以在編譯字節(jié)碼的階段中,對全局變量的使用作出限制。在查閱完 Lua 虛擬機(jī)指令后,發(fā)現(xiàn)涉及到全局變量的指令有兩條:GETGLOBAL(Opcode 5)和 SETGLOBAL(Opcode 7)。

到這里,已經(jīng)有了大致的思路:我們可通過判斷字節(jié)碼是否含有 GETGLOBAL 和 SETGLOBAL 進(jìn)而限制代碼的全局變量的使用。至于字節(jié)碼的獲取,可通過調(diào)用 CompileString(...) 和 CompileFile(...) ,得到 Lua 代碼的 FunctionProto ,而其中的 Code 屬性即為字節(jié)碼 slice,類型為 []uint32 。

在虛擬機(jī)實現(xiàn)代碼中,我們可以找到一個根據(jù)字節(jié)碼輸出對應(yīng) OpCode 的工具函數(shù)。 

  1. // 獲取對應(yīng)指令的 OpCode  
  2. func opGetOpCode(inst uint32) int {  
  3.     return int(inst >> 26)  

有了這個工具函數(shù),我們即可實現(xiàn)對全局變量的檢查。 

  1. package main  
  2. // ...  
  3. func CheckGlobal(proto *lua.FunctionProto) error {  
  4.     for _, code :range proto.Code {  
  5.         switch opGetOpCode(code) {  
  6.         case lua.OP_GETGLOBAL:  
  7.             return errors.New("not allow to access global")  
  8.         case lua.OP_SETGLOBAL:  
  9.             return errors.New("not allow to set global")  
  10.         }  
  11.     }  
  12.     // 對嵌套函數(shù)進(jìn)行全局變量的檢查  
  13.     for _, nestedProto :range proto.FunctionPrototypes {  
  14.         if err :CheckGlobal(nestedProto); err != nil {  
  15.             return err  
  16.         }  
  17.     }  
  18.     return nil  
  19.  
  20. func TestCheckGetGlobal(t *testing.T) {  
  21.     l :lua.NewState()  
  22.     proto, _ :CompileString(`print(_G)`)  
  23.     if err :CheckGlobal(proto); err == nil {  
  24.         t.Fail()  
  25.     }  
  26.     l.Close()  
  27.  
  28. func TestCheckSetGlobal(t *testing.T) {  
  29.     l :lua.NewState()  
  30.     proto, _ :CompileString(`_G = {}`)  
  31.     if err :CheckGlobal(proto); err == nil {  
  32.         t.Fail()  
  33.     }  
  34.     l.Close()  

模塊

除變量可能被污染外,導(dǎo)入的 Go 模塊也有可能在運行期間被篡改。因此,我們需要一種機(jī)制,確保導(dǎo)入到虛擬機(jī)的模塊不被篡改,即導(dǎo)入的對象是只讀的。

在查閱相關(guān)博客后,我們可以對 Table 的 __newindex 方法的修改,將模塊設(shè)置為只讀模式。 

  1. package main  
  2. import (  
  3.     "fmt"  
  4.     "github.com/yuin/gopher-lua"  
  5.  
  6. // 設(shè)置表為只讀  
  7. func SetReadOnly(l *lua.LState, table *lua.LTable) *lua.LUserData {  
  8.     ud :l.NewUserData()  
  9.     mt :l.NewTable()  
  10.     // 設(shè)置表中域的指向為 table  
  11.     l.SetField(mt, "__index", table)  
  12.     // 限制對表的更新操作  
  13.     l.SetField(mt, "__newindex", l.NewFunction(func(state *lua.LState) int {  
  14.         state.RaiseError("not allow to modify table")  
  15.         return 0  
  16.     }))  
  17.     ud.Metatable = mt  
  18.     return ud  
  19.  
  20. func load(l *lua.LState) int {  
  21.     mod :l.SetFuncs(l.NewTable(), exports)  
  22.     l.SetField(mod, "name", lua.LString("gomodule"))  
  23.     // 設(shè)置只讀  
  24.     l.Push(SetReadOnly(l, mod))  
  25.     return 1  
  26.  
  27. var exports = map[string]lua.LGFunction{  
  28.     "goFunc": goFunc,  
  29.  
  30. func goFunc(l *lua.LState) int {  
  31.     fmt.Println("golang")  
  32.     return 0  
  33.  
  34. func main() {  
  35.     l :lua.NewState()  
  36.     l.PreloadModule("gomodule", load)  
  37.     // 嘗試修改導(dǎo)入的模塊  
  38.     if err :l.DoString(`local m = require("gomodule");m.name = "hello world"`); err != nil {  
  39.         fmt.Println(err)  
  40.     }  
  41.     l.Close()  
  42.  
  43. // <string>:1: not allow to modify table 

寫在***

Golang 和 Lua 的融合,開闊了我的視野:原來靜態(tài)語言和動態(tài)語言還能這么融合,靜態(tài)語言的運行高效率,配合動態(tài)語言的開發(fā)高效率,想想都興奮(逃。

在網(wǎng)上找了很久,發(fā)現(xiàn)并沒有關(guān)于 Go-Lua 的技術(shù)分享,只找到了一篇稍微有點聯(lián)系的文章(京東三級列表頁持續(xù)架構(gòu)優(yōu)化 — Golang + Lua (OpenResty) ***實踐),且在這篇文章中, Lua 還是跑在 C 上的。由于信息的缺乏以及本人(學(xué)生黨)開發(fā)經(jīng)驗不足的原因,并不能很好地評價該方案在實際生產(chǎn)中的可行性。因此,本篇文章也只能當(dāng)作“閑文”了,哈哈。 

責(zé)任編輯:龐桂玉 來源: segmentfault
相關(guān)推薦

2023-06-27 16:53:50

2018-06-06 00:26:20

SDN5G無線網(wǎng)絡(luò)

2018-03-23 04:58:16

區(qū)塊鏈物聯(lián)網(wǎng)互聯(lián)網(wǎng)

2017-04-07 15:57:20

人工智能放射科診斷

2018-03-16 12:43:38

物聯(lián)網(wǎng)智慧城市智能

2017-04-05 09:50:50

人工智能醫(yī)生

2011-10-11 15:42:54

大數(shù)據(jù)數(shù)據(jù)庫

2015-11-19 00:11:12

2023-04-27 07:40:08

Spring框架OpenAI

2020-03-05 16:35:06

人臉識別口罩人工智能

2012-02-03 14:06:34

Node.js

2015-08-18 09:09:46

WiFiO2O

2024-04-02 11:31:33

USBAndroid

2021-05-31 20:48:45

人工智能AI無人機(jī)

2021-12-27 08:24:08

漏洞網(wǎng)絡(luò)安全

2021-08-19 17:27:41

IT數(shù)據(jù)中心災(zāi)難

2021-07-13 09:29:03

5G網(wǎng)絡(luò)IaaS云計算

2023-08-26 07:44:13

系統(tǒng)內(nèi)存虛擬

2018-04-12 20:19:19

無線網(wǎng)絡(luò)人工智能機(jī)器學(xué)習(xí)

2024-02-29 16:51:36

GenAI運營供應(yīng)鏈
點贊
收藏

51CTO技術(shù)棧公眾號