其中，包括矩陣在優(yōu)化算法中的作用、隨機(jī)矩陣中的集中不等式（Concentration inequality）、以及針對(duì)矩陣開(kāi)發(fā)的新算法。

首先，是針對(duì)優(yōu)化算法的研究。作者介紹了自己在線性規(guī)劃中，對(duì)現(xiàn)有矩陣乘法理論進(jìn)行研究后，提出的一種新算法。

這種算法突破了停滯三十年的研究，可以被應(yīng)用于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化等優(yōu)化問(wèn)題上。

算法以外，作者還對(duì)深度神經(jīng)網(wǎng)絡(luò)中的優(yōu)化算法進(jìn)行了研究，證明了為什么隨機(jī)梯度下降（SGD）可以在多項(xiàng)式時(shí)間內(nèi)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練目標(biāo)上找到全局最小值。

而這項(xiàng)理論研究的成果，同樣適用于遞歸神經(jīng)網(wǎng)絡(luò)（RNN）。

其次，是針對(duì)隨機(jī)矩陣中的集中不等式的研究。

事實(shí)上，隨機(jī)矩陣也是陶哲軒當(dāng)年做出代表性研究的領(lǐng)域之一，在壓縮感知上有著重要應(yīng)用。

作者主要研究了隨機(jī)矩陣中的切爾諾夫邊界，進(jìn)一步給出了許多關(guān)于它的新應(yīng)用。

此外，作者還研究了差異定理（Discrepancy theory）中的斯賓塞理論（Spencer’s theorem），并將研究成果推廣到了卡迪森-辛格問(wèn)題中。

最后，作者針對(duì)矩陣問(wèn)題提出了一些新的算法。

這些問(wèn)題，大致可以分成矩陣分解問(wèn)題、和結(jié)構(gòu)重建問(wèn)題兩類。第一類算法，主要是關(guān)于低秩矩陣分解的問(wèn)題；第二類算法，則主要針對(duì)結(jié)構(gòu)化矩陣提出的一些重構(gòu)問(wèn)題。

例如，作者針對(duì)壓縮感知算法設(shè)計(jì)了相應(yīng)的矩陣、算法，并給出了針對(duì)傅里葉變換的快速算法。

“有輸入才會(huì)有輸出”

理論研究之外，作者還騰出了1頁(yè)附錄，給剛開(kāi)始讀博的小伙伴寫了一點(diǎn)話。

他表示，自己曾經(jīng)多次想退出讀博生涯，但最后還是堅(jiān)持下來(lái)了，積累了一些經(jīng)驗(yàn)。

例如，每次開(kāi)會(huì)時(shí)，他都習(xí)慣用LaTeX記下各種觀點(diǎn)、理論，進(jìn)行復(fù)盤。

復(fù)盤時(shí)如果發(fā)現(xiàn)錯(cuò)誤，就找出錯(cuò)誤的原因，并記錄細(xì)節(jié)。他認(rèn)為，記錄探索中遇到的問(wèn)題，能為做出真正的成果提供靈感。

此外，作者還表示，自己一開(kāi)始曾經(jīng)抱著“解決某個(gè)問(wèn)題”的心態(tài)去寫論文，結(jié)果三個(gè)月后，不但問(wèn)題沒(méi)解決，心態(tài)還崩了。

他的朋友建議他選修一些課程，在里面找論文靈感。果然，在上完課后，他的第一篇博士論文也出來(lái)了，心態(tài)也恢復(fù)了平靜。

因此，他現(xiàn)在仍然保持著多看論文、持續(xù)輸入的狀態(tài)。如果有頂會(huì)論文放出，他會(huì)將每篇都快速過(guò)一遍，篩選有用的論文仔細(xì)閱讀。

最后，作者表示，不要放棄和任何領(lǐng)域的人交流的機(jī)會(huì)。對(duì)于協(xié)作者想要研究的領(lǐng)域，他也愿意一同進(jìn)行探索。

關(guān)于這篇博士論文

論文作者Zhao Song，博士畢業(yè)于德克薩斯大學(xué)奧斯汀分校計(jì)算機(jī)科學(xué)系，本科畢業(yè)于西蒙菲沙大學(xué)。此前，他曾經(jīng)是哈佛大學(xué)的訪問(wèn)學(xué)者，也在IBM研究中心實(shí)習(xí)過(guò)。

在讀博期間，他的研究方向是機(jī)器學(xué)習(xí)、理論計(jì)算科學(xué)和數(shù)學(xué)，感興趣的方向包括深度學(xué)習(xí)理論、對(duì)抗樣本、傅里葉變換等。

當(dāng)然，之所以這些研究成果，能寫成2840頁(yè)的論文，也離不開(kāi)在Zhao Song在讀博期間一起進(jìn)行研究的合作者。

這里面，加上與他討論觀點(diǎn)、交流理論的學(xué)者，名字列表就幾乎有5頁(yè)：

而且這里面，還不完全包括那些，在他讀博生涯中幫助過(guò)他的人。

例如，在他寫畢業(yè)論文期間，曾經(jīng)受到過(guò)好些朋友的幫助。不過(guò)，這些朋友不愿意加入作者名單，他便一同寫進(jìn)了致謝。

網(wǎng)友：就當(dāng)編教材了

論文出來(lái)后，有網(wǎng)友調(diào)侃，如果想將論文寫長(zhǎng)點(diǎn)，還可以試試拆詞。例如“Don’t”，就可以拆分為“Do not”……

也有網(wǎng)友表示，這篇論文的長(zhǎng)度，已經(jīng)快趕上編教材了。（說(shuō)不定整理一下，真能出書）

不過(guò)，既然論文這么長(zhǎng)，肯定也寫了不少時(shí)間。估計(jì)校對(duì)一遍都不容易……

也有網(wǎng)友表示，想看看這篇2840頁(yè)的論文，就當(dāng)讀書了。

（需要論文的同學(xué)，可以通過(guò)下方地址直接下載）

論文地址：

https://repositories.lib.utexas.edu/bitstream/handle/2152/80715/SONG-DISSERTATION-2019.pdf