?“ 大模型的原理就是通過編程實(shí)現(xiàn)的某種數(shù)學(xué)算法模型，把輸入數(shù)據(jù)進(jìn)行處理，最后再輸出的一個(gè)過程 ”

這段時(shí)間的文章中，一直都是在說大模型的應(yīng)用，也就是怎么基于大模型開發(fā)上層應(yīng)用，以及在開發(fā)過程中遇到的一些問題；但同樣在文章中也說過從應(yīng)用入手，然后再了解其實(shí)現(xiàn)原理，這就是知其然，再知其所以然。

最近一直在搞圖片生成和視頻生成方面的應(yīng)用，但使用的不是第三方的接口，就是現(xiàn)有的開源模型，雖然知道它們能做些什么，但卻不知道到底怎么做到的，因此今天就來了解一下圖像處理中一個(gè)很經(jīng)典模型——擴(kuò)散模型。

擴(kuò)散模型

下面我將從幾個(gè)方面簡單描述一下擴(kuò)散模型，可能不一定對(duì)，就當(dāng)作是自己的學(xué)習(xí)筆記了。

首先，我們先從概念的方面了解一下什么是擴(kuò)散模型；擴(kuò)散模型是圖像生成模型的一種，有別于此前AI領(lǐng)域大名鼎鼎的GAN，VAE等算法，擴(kuò)散模型另辟蹊徑，其主要思想是一種先對(duì)圖像增加噪聲，再逐步去噪的過程，其中如何去噪還原圖像是算法的核心部分；而它的最終算法能夠從一張隨機(jī)的噪聲圖像中生成圖像。

上面這段話來源于網(wǎng)絡(luò)，也不知道對(duì)不對(duì)，準(zhǔn)不準(zhǔn)確；但這個(gè)并不重要，首先從表面上看起來好像還是很高大上的。

為什么說擴(kuò)散模型的概念不重要？ 

其實(shí)這是一個(gè)個(gè)人的學(xué)習(xí)方法，在學(xué)生時(shí)代老師講到一個(gè)新的知識(shí)點(diǎn)，第一件事就是介紹定義或者說概念，但說實(shí)話記不住，也聽不懂，基本上沒啥用。

隨著自己學(xué)習(xí)的深入，以及對(duì)其本身對(duì)理解，自己慢慢就可以下一個(gè)定義了；還有一部分原因就是，有些人看概念會(huì)鉆牛角尖；比如說為什么是增加噪聲，是不是還有其它的方式，其它的方式又是什么等等。

而且，從網(wǎng)絡(luò)上的資料來看，擴(kuò)散模型最主要的一點(diǎn)就是噪聲，不論是去噪聲還是加噪聲；只不過怎么去噪聲加噪聲，就有不同的實(shí)現(xiàn)方式及算法；而說的最多的就是基于概率學(xué)，對(duì)圖像噪聲進(jìn)行處理。

特別喜歡之前在網(wǎng)上看的技術(shù)學(xué)習(xí)視頻，其中有一個(gè)培訓(xùn)機(jī)構(gòu)的某位老師的口頭禪就是——任何天上飛的理念都會(huì)有落地的實(shí)現(xiàn)。

擴(kuò)散模型是一種圖像處理的思想，而噪聲是其主要的表現(xiàn)形式，也是圖像處理領(lǐng)域中的一個(gè)重要節(jié)點(diǎn)；而關(guān)于怎么處理噪聲就有多種不同的實(shí)現(xiàn)方式， 比如說過濾。

擴(kuò)散模型的組成

擴(kuò)散模型由正向過程——擴(kuò)散過程和反向過程——逆擴(kuò)散過程組成，其中輸入數(shù)據(jù)逐漸被噪聲化，然后噪聲被轉(zhuǎn)換回源目標(biāo)分布的樣本。

可能有些人看到上面這段話又有點(diǎn)懵逼了，既然擴(kuò)散了為什么又要逆擴(kuò)散，數(shù)據(jù)噪聲化又是什么意思？ 

首先我們來了解一下什么是圖像的噪聲？

了解過成像原理的人應(yīng)該都知道，所謂的圖像其實(shí)就是無數(shù)個(gè)點(diǎn)組成，這個(gè)點(diǎn)就是像素點(diǎn)，圖像不同的位置點(diǎn)的密集度不一樣，因此就呈現(xiàn)了圖像。

而圖像噪聲就是圖片中一些干擾信息，比如說有的手機(jī)拍攝的照片不清晰，就是像素點(diǎn)不夠密集，還有些照片特別模糊就是因?yàn)閳D片噪聲太多，影響到了原有圖片的效果。

而擴(kuò)散模型的原理就是，使用大量的訓(xùn)練數(shù)據(jù)，通過去噪聲和增加噪聲的方式，讓模型學(xué)習(xí)去噪和增加噪聲的方式方法。

然后訓(xùn)練完成之后，就可以根據(jù)“經(jīng)驗(yàn)”，去對(duì)未知的圖像進(jìn)行增加噪聲和去噪處理，然后生成一個(gè)新的圖像。

因此，擴(kuò)散模型的本質(zhì)就是，通過連續(xù)添加高斯噪聲來破壞訓(xùn)練數(shù)據(jù)，然后通過反轉(zhuǎn)這個(gè)噪聲的過程來恢復(fù)數(shù)據(jù)。

訓(xùn)練結(jié)束后，可以使用擴(kuò)散模型將隨機(jī)采樣的噪聲傳入模型中，通過學(xué)習(xí)去噪過程來生成數(shù)據(jù)。

而在具體到算法實(shí)現(xiàn)，就是通過馬爾可夫鏈等基于概率與統(tǒng)計(jì)模型，實(shí)現(xiàn)了解過去，明白現(xiàn)在，預(yù)測未來的過程。

馬爾可夫鏈?zhǔn)且环N狀態(tài)空間中經(jīng)過從一個(gè)狀態(tài)到另一個(gè)狀態(tài)到隨機(jī)過程。

事實(shí)上前面說了這么多，也僅僅只是了解擴(kuò)散模型的基本實(shí)現(xiàn)原理，但具體應(yīng)該怎么實(shí)現(xiàn)，馬爾可夫鏈的實(shí)現(xiàn)過程，比如狀態(tài)轉(zhuǎn)移是怎么實(shí)現(xiàn)的，其數(shù)學(xué)模型是什么樣的，以及基于編程實(shí)現(xiàn)的概率統(tǒng)計(jì)等。

在此之前，一直不明白大模型算法的原理，到今天才明白，所謂的大模型算法，其實(shí)就是使用數(shù)學(xué)理論，通過編程的手段來實(shí)現(xiàn)，然后來計(jì)算或描述一個(gè)具體的任務(wù)過程。

現(xiàn)在如果再讓我講大模型的原理，所謂的大模型就是通過讀取某種數(shù)據(jù)集，通過某種算法進(jìn)行處理——模型架構(gòu)(比如機(jī)器學(xué)習(xí)算法，Transformer架構(gòu)等)，得到數(shù)據(jù)集之間的某種數(shù)學(xué)關(guān)系，并記錄下來——訓(xùn)練之后的模型參數(shù)，然后大模型以后就可以根據(jù)這種關(guān)系，去分析和處理新的未知數(shù)據(jù)。

?

本文轉(zhuǎn)載自公眾號(hào)AI探索時(shí)代 作者：DFires

原文鏈接：??https://mp.weixin.qq.com/s/lHkYPTtzweZqhAjNIKv3uw???