在 Go 中如何將 [][]byte 轉(zhuǎn)為 io.Reader ?
起因:在春節(jié)前的某一天,我在 ekit 項(xiàng)目的交流群里看到大明老師發(fā)了這樣一條消息:
各位大佬,問(wèn)個(gè)小問(wèn)題,有咩有誰(shuí)用過(guò) [][]byte 轉(zhuǎn)為 io.Reader 的東西?我以前搞過(guò)一次,但是我忘了是我手搓了一個(gè)實(shí)現(xiàn),還是用的開(kāi)源的,還是SDK 自帶的。
并且大明老師還為此開(kāi)了一個(gè) issue。
看到這條消息,我想起了我在對(duì) Go 還不太熟悉時(shí),曾寫(xiě)過(guò)一個(gè) io.MultiReader 的實(shí)現(xiàn)(當(dāng)時(shí)寫(xiě)完了我才知道原來(lái) Go 中自帶了 io.MultiReader),想必應(yīng)該有相似之處,于是就嘗試寫(xiě)了一個(gè)出來(lái)。
不過(guò),當(dāng)我寫(xiě)完時(shí)發(fā)現(xiàn)已經(jīng)有人提交了代碼,于是我就沒(méi)把它當(dāng)回事,也沒(méi)有寫(xiě)測(cè)試代碼進(jìn)行測(cè)試,就放一邊了。春節(jié)假期閑來(lái)無(wú)事,我忽然想起來(lái)這件事,就看了下對(duì)應(yīng)的 pr,發(fā)現(xiàn)提交 pr 的作者和我的實(shí)現(xiàn)思路不太一樣。不過(guò),雖然這個(gè)功能很小,既然我也實(shí)現(xiàn)了,就補(bǔ)齊下單元測(cè)試,發(fā)出來(lái)供參考,順便寫(xiě)(水)一篇文章 :)。
思路設(shè)計(jì)
首先我設(shè)計(jì)了如下結(jié)構(gòu)體:
type MultiBytes struct {
data [][]byte // 存儲(chǔ)數(shù)據(jù)的嵌套切片
index int // 當(dāng)前讀/寫(xiě)到的外層切片索引,data[index]
pos int // 當(dāng)前讀/寫(xiě)到的切片所處理到的位置下標(biāo),data[index][pos]
}
有了這個(gè)結(jié)構(gòu)體,那么就可以設(shè)計(jì) MultiBytes 的整體實(shí)現(xiàn)思路了。
首先,我們需要一個(gè)構(gòu)造函數(shù) NewMultiBytes 來(lái)創(chuàng)建 MultiBytes 對(duì)象。其次,則要實(shí)現(xiàn) io.Reader 接口。最后,我們也可以順便實(shí)現(xiàn)一下 io.Write 接口。
MultiBytes 支持的函數(shù)和方法設(shè)計(jì)如下:
type MultiBytes
func NewMultiBytes(data [][]byte) *MultiBytes
func (b *MultiBytes) Read(p []byte) (int, error)
func (b *MultiBytes) Write(p []byte) (int, error)
基于此,我為每個(gè)方法畫(huà)了一個(gè)流程圖,你可以參考下:
圖片
流程圖中包含了每個(gè)方法內(nèi)部的主體邏輯。
代碼實(shí)現(xiàn)
既然有了結(jié)構(gòu)體和方法簽名,那么就可以依次實(shí)現(xiàn)所有方法了。
首先是構(gòu)造函數(shù) NewMultiBytes 的實(shí)現(xiàn):
https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes.go
// NewMultiBytes 構(gòu)造一個(gè) MultiBytes
func NewMultiBytes(data [][]byte) *MultiBytes {
return &MultiBytes{
data: data,
}
}
這沒(méi)什么好說(shuō)的,就是根據(jù)給定的 data 初始化了一個(gè) *MultiBytes 對(duì)象,index 和 pod 都為默認(rèn)值 0。
接著是 Read 方法的實(shí)現(xiàn):
// Read 實(shí)現(xiàn) io.Reader 接口,從 data 中讀取數(shù)據(jù)到 p
func (b *MultiBytes) Read(p []byte) (int, error) {
// 如果 p 是空的,直接返回
if len(p) == 0 {
return 0, nil
}
// 所有數(shù)據(jù)都已讀完
if b.index >= len(b.data) {
return 0, io.EOF
}
n := 0// 記錄已讀取的字節(jié)數(shù)
for n < len(p) {
// 如果當(dāng)前切片已經(jīng)讀完,則切換到下一個(gè)切片
if b.pos >= len(b.data[b.index]) {
b.index++
b.pos = 0
// 如果所有切片都已讀完,退出循環(huán)
if b.index >= len(b.data) {
break
}
}
// 從當(dāng)前切片讀取數(shù)據(jù)
bytes := b.data[b.index]
cnt := copy(p[n:], bytes[b.pos:])
b.pos += cnt
n += cnt
}
// 未讀取到數(shù)據(jù)且已經(jīng)讀到結(jié)尾
if n == 0 {
return 0, io.EOF
}
return n, nil
}
Read 方法就是按照流程圖中的整體脈絡(luò)實(shí)現(xiàn)的。需要強(qiáng)調(diào)的一點(diǎn)是,程序最后還有一個(gè) if n == 0 的判斷,如果成立,返回 io.EOF。這是為了處理 data 中嵌套的內(nèi)部切片為空的情況,比如當(dāng) data 值為 [][]byte{[]byte{}} 這種情況時(shí),程序就會(huì)走到這個(gè)分支。
然后是 Write 方法的實(shí)現(xiàn):
// Write 實(shí)現(xiàn) io.Writer 接口,將數(shù)據(jù)追加到 data 中
func (b *MultiBytes) Write(p []byte) (int, error) {
// 如果 p 是空的,直接返回
if len(p) == 0 {
return 0, nil
}
// 創(chuàng)建副本以避免外部修改影響數(shù)據(jù)
clone := make([]byte, len(p))
copy(clone, p)
b.data = append(b.data, clone)
return len(p), nil
}
值得注意的是,在 Write 方法實(shí)現(xiàn)中,對(duì) p 進(jìn)行了拷貝,生成新的副本,目的是防止用戶在調(diào)用 Write(p) 以后,隨意修改 p 的值而影響 MultiBytes 對(duì)象內(nèi)部的 data。
最后,如果你不嫌麻煩,還可以增加如下兩行代碼,以檢查 MultiBytes 是否實(shí)現(xiàn)了 io.Reader 和 io.Write 接口:
var _ io.Reader = (*MultiBytes)(nil)
var _ io.Writer = (*MultiBytes)(nil)
至此,能夠?qū)?nbsp;[][]byte 轉(zhuǎn)為 io.Reader 的 MultiBytes 實(shí)現(xiàn)完成。
我們可以簡(jiǎn)單測(cè)試一下效果。
示例代碼:
https://github.com/jianghushinian/blog-go-example/blob/main/iox/examples/multi_bytes.go
package main
import (
"fmt"
"github.com/jianghushinian/blog-go-example/iox"
)
func main() {
mb := iox.NewMultiBytes([][]byte{[]byte("Hello, World!\n")})
_, _ = mb.Write([]byte("你好,世界!"))
p := make([]byte, 32)
_, _ = mb.Read(p)
fmt.Println(string(p))
}
執(zhí)行示例代碼,得到輸出如下:
$ go run examples/multi_bytes.go
Hello, World!
你好,世界!
總結(jié)
本文帶大家實(shí)現(xiàn)了一個(gè)能夠?qū)?nbsp;[][]byte 轉(zhuǎn)為 io.Reader 的 MultiBytes,代碼邏輯并不復(fù)雜,不過(guò)一些細(xì)節(jié)還是需要注意。
你還可以點(diǎn)擊這里 https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes_test.go 查看更多的單元測(cè)試,如果你在使用過(guò)程中,發(fā)現(xiàn)任何 bug,歡迎交流。
本文示例源碼我都放在了 GitHub 中,歡迎點(diǎn)擊查看。
希望此文能對(duì)你有所啟發(fā)。
延伸閱讀
- ekit issue:https://github.com/ecodeclub/ekit/issues/271
- 本文 GitHub 示例代碼:https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes.go
- 本文 GitHub 測(cè)試代碼:https://github.com/jianghushinian/blog-go-example/blob/main/iox/multi_bytes_test.go
本文轉(zhuǎn)載自微信公眾號(hào)「 Go編程世界」,可以通過(guò)以下二維碼關(guān)注。轉(zhuǎn)載本文請(qǐng)聯(lián)系 Go編程世界公眾號(hào)。