[[333827]]

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

最近，一位從事NLP工程師Gupta發(fā)現(xiàn)了TensorFlow存在的一個(gè)嚴(yán)重bug：

每個(gè)在自定義層中使用Keras函數(shù)式API的用戶都要注意了！使用用Keras的Functional API創(chuàng)建的權(quán)重，可能會(huì)丟失。

這一話題在Reddit機(jī)器學(xué)習(xí)板塊上被熱議，引起不少TensorFlow用戶共鳴。

具體來(lái)說(shuō)，就是在API中使用自定義層，會(huì)導(dǎo)致trainable_variables中的權(quán)重?zé)o法更新。而且這些權(quán)重也不會(huì)放入non_trainable_variables中。

也就是說(shuō)，原本需要訓(xùn)練的權(quán)重現(xiàn)在被凍結(jié)了。

讓這位工程師感到不滿的是，他大約一個(gè)月前在GitHub中把這個(gè)bug報(bào)告給谷歌，結(jié)果谷歌官方到現(xiàn)在還沒(méi)有修復(fù)。

解決辦法

如何檢驗(yàn)自己的代碼是否會(huì)出現(xiàn)類似問(wèn)題呢？請(qǐng)調(diào)用model.trainable_variables來(lái)檢測(cè)自己的模型：

for i, var in enumerate(model.trainable_variables): 
    print(model.trainable_variables[i].name) 

看看你所有的可變權(quán)重是否正確，如果權(quán)重缺失或者未發(fā)生變化，說(shuō)明你也中招了。

Gupta還自己用Transformer庫(kù)創(chuàng)建模型的bug在Colab筆記本中復(fù)現(xiàn)了，有興趣的讀者可以前去觀看。

https://colab.research.google.com/gist/Santosh-Gupta/40c54e5b76e3f522fa78da6a248b6826/missingtrainablevarsinference_var.ipynb

對(duì)此問(wèn)題，Gupta給出的一種解決方法是：改為使用Keras子類創(chuàng)建模型。改用此方法后，所有的權(quán)重都將出現(xiàn)在trainable_variables中。

為了絕對(duì)確保用函數(shù)式API和子類方法創(chuàng)建的模型完全相同，Gupta在每個(gè)Colab筆記本底部使用相同的輸入對(duì)它們進(jìn)行了推理，模型的輸出完全相同。

但是，使用函數(shù)式API模型進(jìn)行訓(xùn)練會(huì)將許多權(quán)重視為凍結(jié)，而且這些權(quán)重也沒(méi)有出現(xiàn)在non_trainable_variables中，因此無(wú)法為這些權(quán)重解凍。

為了檢查谷歌最近是否修復(fù)了該漏洞，Gupta還安裝了Nightly版的TF 2.3.0-rc1，保持框架處于最新?tīng)顟B(tài)，但如今bug依然存在。

網(wǎng)友：還是用PyTorch吧

剛剛，Keras創(chuàng)始人在Twitter上回復(fù)，這不是Keras的bug，并建議程序員使用單元測(cè)試。

對(duì)于Gupta所說(shuō)的bug，有網(wǎng)友說(shuō)，他在TensorFlow和Keras之間傳遞權(quán)重的時(shí)候，出現(xiàn)了類似的錯(cuò)誤，從此轉(zhuǎn)而使用PyTorch。

另外還有不少網(wǎng)友也反映，谷歌的框架不太完善，管理方式一團(tuán)糟，是在讓用戶幫他們測(cè)試TensorFlow的bug。

反觀PyTorch，說(shuō)明文檔通俗易懂，最近官方還出了免費(fèi)電子書，難道用PyTorch不香嗎？

你現(xiàn)在在使用哪種深度學(xué)習(xí)框架，你也遇到過(guò)類似的嚴(yán)重bug嗎？