MNIST 識(shí)別的準(zhǔn)確率已經(jīng)卷上 100% 了？近日，預(yù)印版平臺(tái) arXiv 中的一篇論文《Learning with Signatures》引起了人們的關(guān)注。

在這項(xiàng)工作中，作者研究了在學(xué)習(xí)環(huán)境中使用 Signature Transform。該論文提出了一個(gè)監(jiān)督框架，使用很少的標(biāo)簽提供了最先進(jìn)的分類準(zhǔn)確性，無需信用分配（credit assignment），幾乎沒有過擬合。作者通過使用 Signature 和對(duì)數(shù) Signature 來利用諧波分析工具，并將其用作評(píng)分函數(shù) RMSE 和 MAE Signature 和對(duì)數(shù) Signature。

研究人員使用一個(gè)封閉式方程來計(jì)算可能的最佳比例因子。最終實(shí)現(xiàn)的分類結(jié)果在 CPU 上的執(zhí)行速度比其他方法快幾個(gè)數(shù)量級(jí)。作者報(bào)告了在 AFHQ 數(shù)據(jù)集、Four Shapes、MNIST 和 CIFAR10 的結(jié)果，在所有任務(wù)上都實(shí)現(xiàn)了 100% 的準(zhǔn)確率。

MNIST 被認(rèn)為是機(jī)器學(xué)習(xí)的 Hello World，是大家入門時(shí)都會(huì)用到的數(shù)據(jù)集，其包含 7 萬(wàn)張手寫數(shù)字圖像，其中 6 萬(wàn)張用于訓(xùn)練，1 萬(wàn)用于測(cè)試。MNIST 中的圖像是灰度的，分辨率僅 28×28 像素。盡管問題「簡(jiǎn)單」，但實(shí)現(xiàn) 100% 識(shí)別準(zhǔn)確度的算法總是讓人感覺不靠譜，讓我們看看論文是怎么說的。

• 論文鏈接：https://arxiv.org/abs/2204.07953v1
• 代碼：https://github.com/decurtoydiaz/learning_with_signatures

借助Signature，少量標(biāo)記樣本媲美深度學(xué)習(xí)收益

在上個(gè)世紀(jì)，讓計(jì)算機(jī)具有學(xué)習(xí)能力一直是重要的研究方向。近年來，使用深度學(xué)習(xí)中的有監(jiān)督和無監(jiān)督學(xué)習(xí)已經(jīng)成為 SOTA 解決方案代表?；谀Ｐ偷慕鉀Q方案占主導(dǎo)地位的領(lǐng)域已迅速轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)的框架，并取得了前所未有的成功。然而，由于此類模型的超參數(shù)數(shù)量多，難以解釋，且其魯棒性缺乏收斂理論保證，因此在一些領(lǐng)域進(jìn)展停滯不前。

近年來將 Signature Transform 集成到學(xué)習(xí)框架中已經(jīng)取得不錯(cuò)進(jìn)展，其主要作為 ML 范式中的特征提取器或作為深度網(wǎng)絡(luò)內(nèi)的池化層。由于 Signature 良好理論特性，不少研究者將其作為構(gòu)建學(xué)習(xí)問題的一種方式。然而，關(guān)于 Signature 的通用框架尚未建立，這主要是因?yàn)闆]有一個(gè)正確定義的得分函數(shù)來指導(dǎo)學(xué)習(xí)機(jī)制。

近日，有研究者提出通過使用 Signature Transform 來研究一種新型的學(xué)習(xí)機(jī)制，這是一種最近開發(fā)的諧波分析工具，它提供了對(duì)不規(guī)則采樣數(shù)據(jù)流的緊湊豐富的描述。研究者探索了這樣一個(gè)觀點(diǎn)，即通過將數(shù)據(jù)轉(zhuǎn)換為一個(gè)緊湊而完整的域，該研究可以通過使用很少的標(biāo)記樣本來獲得與深度學(xué)習(xí)相同的經(jīng)驗(yàn)收益。

此外，Signature 的通用非線性屬性，不受時(shí)間重新參數(shù)化影響，使其成為更適合計(jì)算機(jī)推理知識(shí)替代表示的理想候選者。畢竟，人類不需要成千上萬(wàn)的例子來學(xué)習(xí)簡(jiǎn)單的概念，而只需要少量精心挑選的例子來快速正確地猜測(cè)。Signatures 的出現(xiàn)實(shí)現(xiàn)了這一目標(biāo)，計(jì)算機(jī)可以迅速地推斷出信息，因?yàn)槠浔硎拘问饺菀桌斫?、豐富且完整。不過這還需要一個(gè)得分函數(shù)，就像損失和信用分配給傳統(tǒng)的學(xué)習(xí)框架提供了將優(yōu)化引導(dǎo)到一個(gè)可能很好的解決方案的能力一樣。

該研究使用 RMSE、MAE Signature 和 log-signature 來評(píng)估圖像分布之間的視覺相似性，以確定 GAN 收斂。從另一個(gè)角度來看，RMSE、MAE Signature 和對(duì)數(shù) signature 確實(shí)是正確定義的得分函數(shù)，可用于分類、聚類等任務(wù)。在此假設(shè)下，本研究旨在進(jìn)一步研究這種學(xué)習(xí)框架的行為、性質(zhì)及其在若干任務(wù)上的泛化能力。

在 Signature 情況下，該研究建議使用基于 Signature Transform 相似性度量。該框架在 CPU 上的工作速度比深度學(xué)習(xí)方法快幾個(gè)數(shù)量級(jí)，并且避免了在 GPU 上以高計(jì)算和環(huán)境成本完成的數(shù)百萬(wàn)超參數(shù)的繁瑣信用分配。這些度量可以捕獲詳細(xì)的視覺線索，它們可用于內(nèi)存占用非常小、執(zhí)行速度快、準(zhǔn)確度高的分類任務(wù)。

關(guān)于信用分配，例如反向傳播，一直是現(xiàn)代自動(dòng)化學(xué)習(xí)技術(shù)的基礎(chǔ)；僅通過一次（pass）（即使用一個(gè) epoch）從數(shù)據(jù)中提取所有后續(xù)信息在理論上是可行的。但實(shí)際上，由于學(xué)習(xí)機(jī)制的限制，很多方法使用不止一次的訓(xùn)練數(shù)據(jù)傳遞，這些特點(diǎn)不能歸結(jié)為其優(yōu)勢(shì)。給定一個(gè)適當(dāng)?shù)牡梅趾瘮?shù)，signatures 提供一種緊湊表示，計(jì)算機(jī)可以使用它來推斷細(xì)粒度信息，而無需使用反向傳播，因此避免優(yōu)化數(shù)百萬(wàn)個(gè)超參數(shù)。

與其他訓(xùn)練機(jī)制相比，使用帶有 signatures 的學(xué)習(xí)具有計(jì)算優(yōu)勢(shì)，因?yàn)闃?biāo)記示例的數(shù)量可以大大減少，并且訓(xùn)練被逐元素均值所取代，這賦予了良好泛化所需的統(tǒng)計(jì)魯棒性。

給定一組 signature 順序?yàn)?/span>

元素均值定義為：

則 RMSE 和 MAE signature 可定義為：

使用 Signature 的 Few-shot 分類

作者認(rèn)為，可以使用 signature 和定義分?jǐn)?shù)函數(shù)對(duì)比測(cè)試樣本（在可選的增強(qiáng)和計(jì)算元素平均值之后），從而實(shí)現(xiàn) Few-shot 樣本分類。實(shí)現(xiàn)極高分類準(zhǔn)確率所需的 Signature 數(shù)量可能取決于任務(wù)的復(fù)雜性，某些類別可能只需要一個(gè)，具有更多可變性的類別可能需要數(shù)萬(wàn)到數(shù)千個(gè)訓(xùn)練樣本。

為了進(jìn)一步研究通過對(duì)同一測(cè)試實(shí)例的多個(gè)變換版本進(jìn)行平均而引入的多重性的影響，作者使用特定增強(qiáng)技術(shù)（如隨機(jī)對(duì)比）展示了可視化結(jié)果。

）圖 1：在 AFHQ 的 300 張圖像上帶有簽名的 PCA 自適應(yīng) t-SNE，類別：貓（紅色）、狗（綠色）和野生（藍(lán)色）。

圖 2：給定 AFQH 樣本的特征變換光譜及其對(duì)應(yīng)變換與隨機(jī)對(duì)比度 (a)-(d) 的比較。

通常，人們會(huì)認(rèn)為在訓(xùn)練集上實(shí)現(xiàn) 100% 準(zhǔn)確率肯定是出現(xiàn)了數(shù)據(jù)泄露問題。對(duì)于該研究，社交網(wǎng)絡(luò)中的質(zhì)疑聲較多。

在 reddit 上，有網(wǎng)友表示：「MNIST 數(shù)據(jù)集中有幾個(gè)圖人類的分類方式與標(biāo)簽不同。100% 的測(cè)試集準(zhǔn)確率表明網(wǎng)絡(luò)實(shí)際上比那些錯(cuò)誤率的 99.7% 的網(wǎng)絡(luò)還要差。所以正如其他人所說，100% 準(zhǔn)確率的數(shù)字非?？梢伞！?/span>