“猜畫小歌”的一些細(xì)節(jié)和思考
Quickdraw的CNN-RNN模型
"猜畫小歌"用到的quickdraw模型本質(zhì)上是一個分類模型，輸入是筆畫的點的坐標(biāo)信息和每筆起始的標(biāo)識信息，應(yīng)用幾個級聯(lián)的一維卷積，再使用 BiLSTM 層并對結(jié)果進(jìn)行求和，***使用Softmax層進(jìn)行分類。
整個網(wǎng)絡(luò)結(jié)構(gòu)如圖：
模型結(jié)構(gòu)
開源數(shù)據(jù)和代碼詳見后面參考文檔。整個網(wǎng)絡(luò)比較簡單，而且用其默認(rèn)的參數(shù)最終的模型準(zhǔn)確率在75%，如下圖，不算是一個要求較高的場景，效果已經(jīng)足夠好。
這里分享筆者注意到的有幾個有意思的小細(xì)節(jié)(高手輕拍)。
小細(xì)節(jié)
數(shù)據(jù)預(yù)處理
對于stroke-3(x，y，n)，Google默認(rèn)使用的TFRecord數(shù)據(jù)對坐標(biāo)做了歸一化與差值處理。
- # 1. Size normalization.
- lower = np.min(np_ink[:, 0:2], axis=0)
- upper = np.max(np_ink[:, 0:2], axis=0)
- scale = upper - lower scale[scale == 0] = 1
- np_ink[:, 0:2] = (np_ink[:, 0:2] - lower) / scale
- # 2. Compute deltas. np_ink[1:, 0:2] -=
- np_ink[0:-1, 0:2]
- np_ink = np_ink[1:, :]
為什么歸一化?
類似于輸入層BN的作用，將數(shù)據(jù)的分布由原來激活函數(shù)的收斂區(qū)調(diào)整到梯度較大的區(qū)域
只關(guān)心畫的筆畫走勢，而不關(guān)心畫的大小，也就是說畫一個大圓和畫一個小圓在輸入數(shù)據(jù)層面沒有太大區(qū)別
為什么差值處理?
忽略起始坐標(biāo)位置的影響，也就是說在畫布的中間和四個角落開始作畫同一個形狀，在輸入數(shù)據(jù)層面沒有太大區(qū)別
卷積層
使用多個一維卷積(conv1d)級聯(lián)，并使用線性激活函數(shù)，沒有使用pooling層。
- 線性激活改為relu，準(zhǔn)確率降了點，為73%
- 線性激活改為relu+加上pooling層(size=4，strides=4)，準(zhǔn)確率又降了點，為70%
為什么線性激活和去掉pooling層效果提升2-3個點?
pooling層有哪些作用：
- 降低參數(shù)量，事實上增加了pooling層使得訓(xùn)練時間縮短了一大半;
- 保持特征局部不變性，貌似我們的輸入不是復(fù)雜的圖片像素信息，而是筆畫信息，而且做了差值處理，也不太需要局部不變性;
- 減少冗余，去除噪聲，對于簡筆畫來說，可能作用也不是特別明顯。
筆者(單純的)理解簡筆畫已經(jīng)是人類對于物體的高度抽象了，因此沒有必要在用復(fù)雜的CNN網(wǎng)絡(luò)去抽象特征，并且全局的特征有后面的RNN層獲取。
小思考
Google 16年11月就推出了QuickDraw網(wǎng)頁版，最近只是借助小程序又火了一把，之前已經(jīng)獲取過大量真實的用戶數(shù)據(jù)，并用于這次小程序效果的優(yōu)化。
模型還能用來做啥?
最近看到了一片研究這份簡筆畫數(shù)據(jù)中不同國家的人的繪畫順序與其國家文字的關(guān)系的文章，而且時序分類模型在異常分析、手寫體識別、語音識別、文本分類等領(lǐng)域有大量的研究和進(jìn)展。
畫圓的不同
筆者研究生階段曾經(jīng)研究過電腦使用者的異常分析，根據(jù)用戶的鼠標(biāo)軌跡和鍵盤操作等特征建立分類模型識別是不是本人在操作?，F(xiàn)在想來，直接拿這個模型來跑之前的任務(wù)，應(yīng)該還不錯。
產(chǎn)品層面，我們還能有些什么創(chuàng)新?
- AutoDraw：能將你的涂鴉自動升華為美麗的藝術(shù)圖像(Google已推出)
- 繪畫故事：畫4格漫畫，系統(tǒng)自動生成一個故事(這個配合上層的NLG技術(shù)應(yīng)該問題不大)
- 繪畫打分：為你的繪畫的創(chuàng)新性、技術(shù)性、完整性等自動評分
這些繪畫數(shù)據(jù)還有什么可以挖掘的價值?
繪畫是人在用自己的方式描述自己理解的世界，如果從這些簡單的簡筆畫入手，能夠從中學(xué)習(xí)出人理解物體和世界的方法，簡單來說可以遷移到目前圖像識別算法的高層抽象階段，提升某些任務(wù)的效果;復(fù)雜一點甚至可以用作提升機器的推理能力，學(xué)習(xí)人類對物體和世界抽象建模的能力(腦洞)。
