如何使編程更加便捷？最近，谷歌 TensorFlow 開(kāi)源了一個(gè)幫助開(kāi)發(fā)者寫(xiě) TensorFlow 代碼的程序合成工具 TF-Coder。

• 項(xiàng)目地址：https://github.com/google-research/tensorflow-coder
• Google Colab 試用地址：https://colab.research.google.com/github/google-research/tensorflow-coder/blob/master/TF-Coder_Colab.ipynb
• 論文地址：https://arxiv.org/pdf/2003.09040.pdf

用過(guò) TensorFlow 框架的應(yīng)該都知道，在操縱張量時(shí)，需要跟蹤多個(gè)維度、張量形狀和數(shù)據(jù)類(lèi)型兼容性，當(dāng)然還需要考慮數(shù)學(xué)正確性。此外，TensorFlow 有數(shù)百種操作，找到要使用的正確操作也是一項(xiàng)挑戰(zhàn)。

那么，除了直接對(duì)張量操縱進(jìn)行編碼以外，如果僅通過(guò)一個(gè)說(shuō)明性示例進(jìn)行演示，就能自動(dòng)獲取相應(yīng)的代碼呢？這個(gè)想法聽(tīng)起來(lái)很誘人，而 TensorFlow Coder（TF-Coder）使這成為可能！

TF-Coder 的原理是：給出期望張量變換的輸入 - 輸出示例，TF-Coder 運(yùn)行組合搜索，找出能夠執(zhí)行此變換的 TensorFlow 表達(dá)式，并最終輸出對(duì)應(yīng)的 TensorFlow 代碼。

給出輸入 - 輸出示例，TF-Coder 在 1.3 秒內(nèi)找出解決方案。

TF-Coder 的合成算法如下所示：

下面的動(dòng)圖展示了使用 TF-Coder 解決張量操縱問(wèn)題的過(guò)程：

那么，TF-Coder 工具可以在哪些場(chǎng)景中起到作用呢？

TF-Coder：通過(guò)示例進(jìn)行 TensorFlow 編程

假如你想將包含 M 個(gè)元素的向量（下例中指‘rows’）和包含 N 個(gè)元素的向量（下例中指‘cols’）依次進(jìn)行相加，生成一個(gè)包含所有成對(duì)和的 M x N 矩陣。

使用 TF-Coder，你只需提供一個(gè)輸入 - 輸出示例（M=3，N=4）即可完成該操作，無(wú)需逐行進(jìn)行編程。

例如輸入張量為：

inputs = { 
 
'rows': [10, 20, 30], 
 
'cols': [1, 2, 3, 4], 
 
} 

對(duì)應(yīng)的輸出張量為：

output = [[11, 12, 13, 14], 
 
[21, 22, 23, 24], 
 
[31, 32, 33, 34]] 

基于以上輸入 - 輸出信息（默認(rèn)情況下已經(jīng)輸入到 TF-Coder Colab 中），TF-Coder 工具將在一秒內(nèi)自動(dòng)找到合適的 TensorFlow 代碼：

tf.add(cols, tf.expand_dims(rows, 1)) 

這個(gè)簡(jiǎn)單的例子旨在說(shuō)明 TF-Coder 利用示例進(jìn)行編程的思想。而 TF-Coder 的功能不止于此，它還可用于更難的編程問(wèn)題中。

TF-Coder 幫你找到正確的函數(shù)

假設(shè)你正在處理數(shù)值特征，如某個(gè)物品的價(jià)格。數(shù)據(jù)集中的價(jià)格范圍很廣，例如從低于 10 美元到超出 1000 美元不等。如果這些價(jià)格被直接用作特征，則模型可能出現(xiàn)過(guò)擬合，在模型評(píng)估階段可能難以處理異常價(jià)格。

為了解決上述問(wèn)題，你可能需要使用 bucketing，來(lái)將數(shù)字價(jià)格轉(zhuǎn)換為類(lèi)別特征。例如，使用 bucket 邊界 [10, 50, 100, 1000] 意味著低于 10 美元的價(jià)格應(yīng)歸入 bucket 0，10 美元至 50 美元的價(jià)格應(yīng)歸入 bucket 1，依此類(lèi)推。

在選擇 bucket 邊界之后，如何使用 TensorFlow 將數(shù)值價(jià)格映射到 bucket 索引呢？例如，給出以下 bucket 邊界和物品價(jià)格：

# Input tensors 
 
boundaries = [10, 50, 100, 1000] 
 
prices = [15, 3, 50, 90, 100, 1001] 

計(jì)算每個(gè)項(xiàng)的 bucket 編號(hào)：

# Output tensor 
 
bucketed_prices = [1, 0, 2, 2, 3, 4] 

盡管 TensorFlow 具備多種 bucketing 操作，但要弄清楚哪種操作適合執(zhí)行這種 bucketing，也是比較棘手的事情。由于 TF-Coder 可以通過(guò)行為識(shí)別數(shù)百個(gè) Tensor 操作，因此你可以通過(guò)提供輸入 - 輸出示例來(lái)查找正確的操作：

# Input-output example 
 
inputs = { 
 
'boundaries': [10, 50, 100, 1000], 
 
'prices': [15, 3, 50, 90, 100, 1001], 
 
} 
 
output = [1, 0, 2, 2, 3, 4] 

只需幾秒鐘，TF-Coder 就能輸出以下解決方案：

tf.searchsorted(boundaries, prices, side='right') 

TF-Coder：用聰明的方式結(jié)合函數(shù)

現(xiàn)在我們來(lái)看另一個(gè)問(wèn)題：計(jì)算一個(gè) 0-1 張量，它可以找出輸入張量每一行中的最大元素。

# Input tensor 
 
scores = [[0.7, 0.2, 0.1], 
 
[0.4, 0.5, 0.1], 
 
[0.4, 0.4, 0.2], 
 
[0.3, 0.4, 0.3], 
 
[0.0, 0.0, 1.0]] 
 
# Output tensor 
 
top_scores = [[1, 0, 0], 
 
[0, 1, 0], 
 
[1, 0, 0], 
 
[0, 1, 0], 
 
[0, 0, 1]] 

注意，如果一行內(nèi)相同的最大元素重復(fù)出現(xiàn)（如 scores 中的第三行），則標(biāo)記第一次出現(xiàn)的最大元素，這樣 top_scores 的每一行都只有一個(gè) 1。

與上一個(gè)問(wèn)題不同，這里不存在可執(zhí)行該計(jì)算的 TensorFlow 函數(shù)。在文檔中搜索「max」，你可能找到 tf.reduce_max、tf.argmax 和 tf.maximum，但也不清楚到底該用哪一個(gè)？tf.reduce_max 輸出 [0.7, 0.5, 0.4, 0.4, 1.0]，tf.argmax 輸出 [0, 1, 0, 1, 2]，tf.maximum 不合適，因?yàn)樗荒苋菁{兩個(gè)參數(shù)。這些函數(shù)似乎都與該示例的期望輸出關(guān)聯(lián)不大。

而 TF-Coder 可以幫你解決這類(lèi)棘手問(wèn)題。你可以將這個(gè)問(wèn)題寫(xiě)成輸入 - 輸出示例的形式：

# Input-output example 
 
inputs = { 
 
'scores': [[0.7, 0.2, 0.1], 
 
[0.4, 0.5, 0.1], 
 
[0.4, 0.4, 0.2], 
 
[0.3, 0.4, 0.3], 
 
[0.0, 0.0, 1.0]], 
 
} 
 
output = [[1, 0, 0], 
 
[0, 1, 0], 
 
[1, 0, 0], 
 
[0, 1, 0], 
 
[0, 0, 1]] 

TF-Coder 結(jié)合使用 tf.one_hot 和 tf.argmax，得到問(wèn)題的解：

tf.cast(tf.one_hot(tf.argmax(scores, axis=1), 3), tf.int32) 

通過(guò)對(duì) TensorFlow 操作組合進(jìn)行詳細(xì)搜索，TF-Coder 通常能夠發(fā)現(xiàn)優(yōu)雅的解決方案，從而簡(jiǎn)化步驟，加速 TensorFlow 程序。

TF-Coder：用更少的 debug，寫(xiě)出準(zhǔn)確的代碼

考慮通過(guò)將每一行除以該行之和，把整數(shù)出現(xiàn)次數(shù)列表歸一化為概率分布。例如：

# Input tensor 
 
counts = [[0, 1, 0, 0], 
 
[0, 1, 1, 0], 
 
[1, 1, 1, 1]] 
 
# Output tensor 
 
normalized = [[0.0, 1.0, 0.0, 0.0], 
 
[0.0, 0.5, 0.5, 0.0], 
 
[0.25, 0.25, 0.25, 0.25]] 

即使你知道可用的函數(shù)（tf.reduce_sum followed by tf.divide），寫(xiě)出正確的代碼也并非易事。第一次嘗試可能是這樣的：

# First attempt 
 
normalized = tf.divide(counts, tf.reduce_sum(counts, axis=1)) 

但是以上代碼是正確嗎？我們需要考慮許多潛在的問(wèn)題：

• 代碼中 axis 的值正確嗎？是否應(yīng)改為 axis=0？
• counts 和 tf.reduce_sum(counts, axis=1) 的形狀與除法兼容嗎？需要改變形狀或執(zhí)行轉(zhuǎn)置操作嗎？
• counts 和 tf.reduce_sum(counts, axis=1) 都是 tf.int32 張量。tf.int32 張量可以被除嗎？是否需要先將其轉(zhuǎn)換為 float 數(shù)據(jù)類(lèi)型？
• 兩個(gè)參數(shù)的順序?qū)?？是否需要調(diào)換位置？
• 輸出的類(lèi)型是 tf.int32、tf.float32，還是別的什么？
• 是否存在更簡(jiǎn)單或更好的方式？

而使用 TF-Coder，你只需要給出以下輸入 - 輸出示例：

# Input-output example 
 
inputs = { 
 
'counts': [[0, 1, 0, 0], 
 
[0, 1, 1, 0], 
 
[1, 1, 1, 1]], 
 
} 
 
output = [[0.0, 1.0, 0.0, 0.0], 
 
[0.0, 0.5, 0.5, 0.0], 
 
[0.25, 0.25, 0.25, 0.25]] 

TF-Coder 給出解決方案：

tf.cast(tf.divide(counts, tf.expand_dims(tf.reduce_sum(counts, axis=1), axis=1)), tf.float32) 

TF-Coder 生成以上解決方案時(shí)，可以確保代碼在示例輸入上運(yùn)行時(shí)能夠準(zhǔn)確生成示例輸出。TF-Coder 的解決方案避免了不必要的步驟。你可以快速找出以上潛在問(wèn)題的答案：需要采用額外的 tf.expand_dims 步驟，使張量形狀與除法兼容；tf.divide 的答案必須是 tf.float32 類(lèi)型。

通過(guò)這種方式，TF-Coder 可以幫助開(kāi)發(fā)者編寫(xiě)簡(jiǎn)單準(zhǔn)確的代碼，且無(wú)需痛苦的 debug 過(guò)程。

局限性

不過(guò)，TF-Coder 也有其局限性。目前它可以在一分鐘內(nèi)找到涉及 3 到 4 種運(yùn)算的解決方案，但短時(shí)間內(nèi)找到涉及 6 種及以上操作的解決方案，對(duì)它來(lái)說(shuō)還是太過(guò)復(fù)雜。此外，TF-Coder 尚不支持復(fù)張量、字符串張量或 RaggedTensor。

TF-Coder 支持操作的完整列表，參見(jiàn)：https://colab.research.google.com/github/google-research/tensorflow-coder/blob/master/TF-Coder_Colab.ipynb#scrollTo=Q6uRr4x9WHRC

此外，TF-Coder 只能保證解決方案對(duì)給出的輸入 - 輸出示例有效。該工具會(huì)搜索一個(gè)與給定輸入 - 輸出示例相匹配的簡(jiǎn)單 TensorFlow 表達(dá)式，但有時(shí)候「過(guò)于簡(jiǎn)單」，不能按預(yù)期進(jìn)行泛化。盡可能讓示例無(wú)歧義會(huì)有所幫助，這一般可以通過(guò)向輸入和輸出張量添加更多數(shù)值來(lái)實(shí)現(xiàn)。