自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

Go語言Append缺陷引發(fā)的深度拷貝討論

開發(fā) 后端
今天的文章從我周六加班改的一個bug引入,上下文是在某個struct中有個Labels切片,在組裝數(shù)據(jù)的時候需要為其加上配置變量中的標(biāo)簽。

[[414910]]

看完蘇炳添進入總決賽,看得我熱血沸騰的,上廁所都不敢耽擱超過 5 分鐘。

這歷史性的一刻,讓本決定休息的我,垂死病中驚坐起,開始肝文章。

  • 引子
  • 何謂淺?何謂深?
  • 深拷貝的四種方式
  • 手寫拷貝函數(shù)
  • json序列化反序列化
  • gob序列化反序列化
  • 基準測試(性能測試)
  • 小結(jié)

引子

今天的文章從我周六加班改的一個bug引入,上下文是在某個struct中有個Labels切片,在組裝數(shù)據(jù)的時候需要為其加上配置變量中的標(biāo)簽。

大家看看會出現(xiàn)什么問題。

  1. for i := range m{ 
  2.     m[i].Labels = append(r.Config.Relabel, m[i].Labels...) 
  3.     ... 

debug發(fā)現(xiàn),i=0時正常,但第二次乃至第n次會不斷變更之前m[?].Labels的內(nèi)容。

看了append的源碼,原來當(dāng)容量足夠的時候,append會把數(shù)據(jù)直接添加到第一個參數(shù)的切片里。

改為如下代碼,調(diào)換下了位置,一切正常了。

  1. m[i].Labels = append(m[i].Labels,r.Config.Relabel...) 

這是一個隱含的陷阱,在 go 語言中賦值拷貝往往都是淺拷貝,開發(fā)者很容易不小心忽視這一點,導(dǎo)致這種無法預(yù)料的問題出現(xiàn),以后要多多注意了。

借由這個問題以及上一篇文章的作業(yè)中,提到的深度拷貝問題展開今天的文章。

何謂淺?何謂深?

我多年以前是做c++的,它的對象拷貝是淺拷貝,原理是調(diào)用了默認的拷貝構(gòu)造函數(shù),需要人為的重寫,進行拷貝的過程,特別是指針需要謹慎的生成的釋放,來避免內(nèi)存泄露的發(fā)生。

后來接觸了Python 發(fā)現(xiàn)深淺拷貝的問題在后端語言中都是存在的,Go 也不例外。

淺拷貝對于值類型是完全拷貝一份,而對于引用類型是拷貝其地址。也就是拷貝的對象修改引用類型的變量同樣會影響到源對象。

這就是為什么channel在做參數(shù)傳遞的時候,向內(nèi)部寫入內(nèi)容,接收端可以成功收到的原因。

在Go中,指針、slice、channel、interface、map、函數(shù)都是淺拷貝。最容易出問題的就是指針、切片、map這三種類型。

方便的點是作為參數(shù)傳遞不需要取地址可以直接修改其內(nèi)容,只要函數(shù)內(nèi)部不出現(xiàn)覆蓋就不需要返回值。

但作為結(jié)構(gòu)體中的成員變量,在拷貝結(jié)構(gòu)體后問題就暴露出來了。修改一處導(dǎo)致另一處也變了。

深拷貝的四種方式

有一次和女朋友聊到深拷貝的問題,她告訴我最方便的深拷貝方法就是序列化為json再反序列化。

我聽到這種方案,頓時驚為天人,確實挺省事的,但由于序列化會用到反射,效率自然不會太高。

深拷貝有四種方式

  • 1、手寫拷貝函數(shù)
  • 2、json序列化反序列化
  • 3、gob序列化反序列化
  • 4、使用反射

github上的開源庫,大多基于 1、4 兩種方式做的優(yōu)化。這里的反射方法后面再做討論。

我的github https://github.com/minibear2333/ 后續(xù)會專門寫一個組件,提供深度拷貝的各種現(xiàn)成的方式。

手寫拷貝函數(shù)

定義一個包含切片、字典、指針的結(jié)構(gòu)體。

  1. type Foo struct { 
  2.  List   []int 
  3.  FooMap map[string]string 
  4.  intPtr *int 

手動拷貝函數(shù),把它取名為Duplicate

  1. func (f *Foo) Duplicate() Foo { 
  2.  var tmp = Foo{ 
  3.   List:   make([]int, 0, len(f.List)), 
  4.   FooMap: make(map[string]string), 
  5.   intPtr: new(int), 
  6.  } 
  7.  copy(tmp.List, f.List) 
  8.  for i := range f.FooMap { 
  9.   tmp.FooMap[i] = f.FooMap[i] 
  10.  } 
  11.  if f.intPtr != nil { 
  12.   *tmp.intPtr = *f.intPtr 
  13.  } else { 
  14.   tmp.intPtr = nil 
  15.  } 
  16.  return tmp 
  • 函數(shù)內(nèi)部初始化結(jié)構(gòu)體
  • copy是標(biāo)準庫自帶的拷貝函數(shù)
  • map只能range來拷貝,這里map為nil不會報錯
  • 指針使用前必須判空,為指針的指向賦值,而不能覆蓋指針地址

測試

  1. func main() { 
  2.  var a = 1 
  3.  var t1 = Foo{intPtr: &a} 
  4.  t2 := t1.Duplicate() 
  5.  a = 2 
  6.  fmt.Println(*t1.intPtr) 
  7.  fmt.Println(*t2.intPtr) 

輸出說明深拷貝成功

json序列化反序列化

這種方式完成深度拷貝非常簡單,但必須結(jié)構(gòu)體加上注解,而且不允許出現(xiàn)私有字段

  1. type Foo struct { 
  2.  List   []int             `json:"list"
  3.  FooMap map[string]string `json:"foo_map"
  4.  IntPtr *int              `json:"int_ptr"

提供一個直接的方案

  1. func DeepCopyByJson(dst, src interface{}) error { 
  2.  b, err := json.Marshal(src) 
  3.  if err != nil { 
  4.   return err 
  5.  } 
  6.  err = json.Unmarshal(b, dst) 
  7.  
  8.  return err 
  • 其中src和dst是同一種結(jié)構(gòu)體類型
  • dst使用時必須取地址,因為要給地址指向的數(shù)據(jù)變更新值

用法,我省略了錯誤處理

  1. a = 3 
  2. t1 = Foo{IntPtr: &a} 
  3. t2 = Foo{} 
  4. _ = DeepCopyByJson(&t2, t1) 
  5. fmt.Println(*t1.IntPtr) 
  6. fmt.Println(*t2.IntPtr) 

輸出

gob序列化反序列化

這是一種標(biāo)準庫提供的編碼方法,類似于protobuf,Gob(即 Go binary 的縮寫)。類似于 Python 的pickle和 Java 的Serialization。

在發(fā)送端編碼,接收端解碼。

  1. func DeepCopyByGob(dst, src interface{}) error { 
  2.  var buffer bytes.Buffer 
  3.  if err := gob.NewEncoder(&buffer).Encode(src); err != nil { 
  4.   return err 
  5.  } 
  6.  return gob.NewDecoder(&buffer).Decode(dst) 

用法

  1. func DeepCopyByGob(dst, src interface{}) error { 
  2.  var buffer bytes.Buffer 
  3.  if err := gob.NewEncoder(&buffer).Encode(src); err != nil { 
  4.   return err 
  5.  } 
  6.  return gob.NewDecoder(&buffer).Decode(dst) 

輸出

基準測試(性能測試)

這三種方式我分別寫了基準測試的測試用例,go會自動反復(fù)調(diào)用,直到測算出一個合理的時間范圍。

基準測試代碼,這里僅寫一個,其他兩個函數(shù)的測試方式類似:

  1. func BenchmarkDeepCopyByJson(b *testing.B) { 
  2.  b.StopTimer() 
  3.  var a = 1 
  4.  var t1 = Foo{IntPtr: &a} 
  5.  t2 := Foo{} 
  6.  b.StartTimer() 
  7.  for i := 0; i < b.N; i++ { 
  8.   _ = DeepCopyByJson(&t2, t1) 
  9.  } 

運行測試

  1. $ go test -test.bench=. -cpu=1,16  -benchtime=2s 
  2. goos: darwin 
  3. goarch: amd64 
  4. pkg: my_copy 
  5. cpu: Intel(R) Core(TM) i5-8257U CPU @ 1.40GHz 
  6. BenchmarkFoo_Duplicate          35887767                62.64 ns/op 
  7. BenchmarkFoo_Duplicate-16       37554250                62.56 ns/op 
  8. BenchmarkDeepCopyByGob            104292             22941 ns/op 
  9. BenchmarkDeepCopyByGob-16         103060             23049 ns/op 
  10. BenchmarkDeepCopyByJson          2052482              1171 ns/op 
  11. BenchmarkDeepCopyByJson-16       2057090              1175 ns/op 
  12. PASS 
  13. ok      my_copy 17.166s 
  • 在mac環(huán)境下單核和多核并沒有明顯差異
  • 運行速度快慢,手動拷貝方式 > json > gob
  • 拷貝方式都相差了 2 個數(shù)量級

小結(jié)

如果是偶爾使用的程序可以使用json序列化反序列化的方式進行拷貝,但是除了慢以外還有一個缺陷,就是無法拷貝私有成員變量。

如果是頻繁拷貝的程序,建議使用手動拷貝方式進行拷貝,而且可以定制化拷貝的過程。甚至可以完成不同結(jié)構(gòu)體之間,字段細微差異的定制化需求。

PS:內(nèi)置copy和reflect.copy都只支持切片或數(shù)組的拷貝,內(nèi)置copy速度是反射方式的兩倍以上。

拓展資料

  • Go 語言使用 Gob 傳輸數(shù)據(jù) http://c.biancheng.net/view/4597.html)
  • 內(nèi)建copy函數(shù)和reflect.Copy函數(shù)的區(qū)別 https://studygolang.com/topics/13523/comment/43357
  • 基準測試 https://segmentfault.com/a/1190000016354758

 本文轉(zhuǎn)載自微信公眾號「機智的程序員小熊」,可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系機智的程序員小熊公眾號。

 

責(zé)任編輯:武曉燕 來源: 機智的程序員小熊
相關(guān)推薦

2024-03-08 09:25:18

.NET深度拷貝淺拷貝

2021-06-08 07:45:44

Go語言優(yōu)化

2021-07-28 07:53:21

Go語言拷貝

2013-07-24 15:29:24

思科Sourcefire思科收購Sourcef

2021-07-08 23:53:44

Go語言拷貝

2012-04-09 09:53:56

2023-12-15 14:38:00

GoRust編程語言

2020-05-07 11:00:24

Go亂碼框架

2010-03-01 16:38:08

Linux分區(qū)方案

2021-05-12 08:53:54

Go語言調(diào)度

2009-12-29 17:21:24

Ubuntu 8.04

2011-11-02 09:04:15

Node.js

2009-11-27 16:07:10

2010-07-20 10:14:22

蘋果天線門

2009-12-29 16:59:17

Ubuntu Vist

2014-05-29 10:54:20

C++構(gòu)造函數(shù)

2012-10-08 09:25:59

GoGo語言開發(fā)語言

2018-03-12 22:13:46

GO語言編程軟件

2009-12-24 11:31:52

Linux顯卡驅(qū)動

2010-02-23 17:35:46

Python
點贊
收藏

51CTO技術(shù)棧公眾號