我是一個平平無奇的AI神經(jīng)元
我是一個AI神經(jīng)元
我是一個AI神經(jīng)元，剛剛來到這個世界上，一切對我來說都特別新奇。
之所以叫這個名字，是因為我的工作有點像人類身體中的神經(jīng)元。
人體中的神經(jīng)元可以傳遞生物信號，給它輸入一個信號，它經(jīng)過處理后再輸出一個信號傳遞給別的神經(jīng)元，最終傳遞到大腦完成對一個信號的決策和處理。
聰明的計算機科學家們受到啟發(fā)，在代碼程序里發(fā)明了我：神經(jīng)元函數(shù)。
在我們的世界里，我只是普普通通的一員，像我這樣的神經(jīng)元有成百上千，甚至上萬個，我們按照層的形式，組成了一個龐大的神經(jīng)網(wǎng)絡。
很快我和隔壁工位的大白開始混熟了，他比我來得早，對這里要熟悉的多。
聽大白告訴我說，我們這個神經(jīng)網(wǎng)絡是一個圖像識別的AI程序，只要給我們輸入一張狗的照片，我們就能告訴你這是一只柯基，還是泰迪、柴犬、二哈···
神經(jīng)元結(jié)構(gòu)
在大白的指引下，我很快就學會了怎么工作。
雖然我們叫神經(jīng)元，名字聽起來挺神秘的，但實際上我就是一個普通函數(shù)，有參數(shù)，有返回值，普通函數(shù)有的我都有：
- def neuron(a):
- w = [...]
- b = ...
- ...
我有一個參數(shù)a，這個參數(shù)是一個數(shù)組，里面的每一個元素我把它分別叫做a1，a2，a3···用這個a來模擬我這個神經(jīng)元收到的一組信號。
人類的神經(jīng)元是怎么處理輸入的生物信號我不知道，我估計挺復雜的。但在我這里就很簡單:我給每一個輸入值設定一定的權(quán)重，然后做一個簡單的加權(quán)求和，最后再加上一個偏移值就行啦!
所以我還有一個數(shù)組叫做w，就是權(quán)重weight的意思，里面的每一個元素我叫做w1，w2，w3···，至于那個偏移值，就叫它bias。
如此一來我的工作你們也該猜到了，就是把傳進來的a里面的每個元素和w里的每一個元素做乘法，再加起來，最后加上偏移值，就像這樣：
說到這里，我突然想到一個問題，打算去問問大白。
“大白，這些要計算的數(shù)據(jù)都是從哪里來的呢?”
“是上一層的神經(jīng)元們送過來的”
“那他們的數(shù)據(jù)又是哪來的呢?”，我刨根問題的問到。
大白帶我來到了門口，指向另外一個片區(qū)說到，“看到了嗎?那里是數(shù)據(jù)預處理部門，他們負責把輸入的圖片中的像素顏色信息提取出來，交給我們神經(jīng)網(wǎng)絡部門來進行分析。”
“交給我們?然后呢”
“咱們這個神經(jīng)網(wǎng)絡就像一臺精密的機器，我們倆只是其中兩個零件，不同的權(quán)重值某種意義上代表了對圖片上不同位置的像素關心程度。一旦開動起來，喂給我們圖片數(shù)據(jù)，我們每一個神經(jīng)元就開始忙活起來，一層層接力，把最終的結(jié)果輸出到分類器，最終識別出狗的品種。”
神經(jīng)網(wǎng)絡訓練
正聊著，突然，傳來一陣廣播提示音，大家都停止了閑聊，回到了各自工位。
“這是要干啥，這么大陣仗?”，我問大白。
“快坐下，馬上要開始訓練了”，大白說到。
“訓練?訓練什么?”
“咱們用到的那些權(quán)重值和偏移值你以為怎么來的?就是通過不斷的訓練得出來的。”
還沒說到幾句話，數(shù)據(jù)就開始送過來了。按照之前大白教給我的，我將輸入數(shù)據(jù)分別乘以各自的權(quán)重，然后相加，最后再加上偏移bias，就得到了最后的結(jié)果，整個過程很輕松。
我準備把計算結(jié)果交給下一層的神經(jīng)元。
大白見狀趕緊制止了我，“等一下!你不能直接交出去”
“還要干嘛?”
大白指了一下我背后的另一個家伙說到：“那是激活函數(shù)，得先交給他處理一下”
“激活函數(shù)是干嘛的?”，我問大白。
“激活，就是根據(jù)輸入信號量的大小去激活產(chǎn)生對應大小的輸出信號。這是在模仿人類的神經(jīng)元對神經(jīng)信號的反應程度大小，好比拿一根針去刺皮膚，隨著力道的加大，身體的疼痛感會慢慢增強，差不多是一個道理。”
聽完大白的解釋，我點了點頭，好像明白了，又好像不太明白。
后來我才知道，這激活函數(shù)還有好幾種，經(jīng)常會打交道的有這么幾個：
- sigmoid
- tanh
- relu
- leaky relu
激活函數(shù)處理完后，總算可以交給下一層的神經(jīng)元了，我準備稍事休息一下。
剛坐下，就聽到大廳的廣播：
隨后，又來了一組新的數(shù)據(jù)，看來我是沒時間休息了，趕緊再次忙活了起來。
這一忙不要緊，一直搞了好幾個小時，來來回回重復工作了幾萬次，我都快累癱了。
損失函數(shù) & 優(yōu)化方法
趁著休息的空當，我又和大白聊了起來。
“大白，剛剛咱們這么來來回回折騰了幾萬次，這是在干啥啊?”
大白也累的上氣不接下氣，緩了緩才說到：“這叫做網(wǎng)絡訓練，通過讓我們分析大量不同品種狗的圖片，讓我們訓練出合適的權(quán)重和偏移值，這樣，我們就變得會認識狗品種了，以后正式工作的時候給我們新的狗的圖片，咱們也能用學到的知識去分辨啦!”
“那到底是怎么訓練的，你給我說說唄”，我繼續(xù)問到。
“你剛才也看到了，廣播里不斷通知更新權(quán)重和偏移值。這訓練就是通過不斷的嘗試修改每一層神經(jīng)元的權(quán)重值和偏移值，來不斷優(yōu)化，找到最合適的數(shù)值，讓我們對狗的種類識別準確率最好!”，大白說到。
“不斷嘗試修改?這么多神經(jīng)元，難不成看運氣瞎碰?”
大白給了我一個白眼，“怎么可能瞎試，那得試到猴年馬月去了。咱們這叫深度學習神經(jīng)網(wǎng)絡，是能夠自學習的!”
他這么一說我更疑惑了，“怎么個學習法呢?”
“其實很簡單，咱們先選一組權(quán)重偏移值，做一輪圖片識別，然后看識別結(jié)果和實際結(jié)果之間的差距有多少，把差距反饋給咱們后，再不斷調(diào)整權(quán)重和偏移，讓這個差距不斷縮小，直到差距接近于0，這樣咱們的識別準確率就越接近100%”
“額，聽上去好像很簡單，不過我還有好多問題啊。怎么去衡量這個差距呢?具體怎么調(diào)整權(quán)重偏移呢?調(diào)整幅度該多大好呢?”，我小小的腦袋一下冒出了許多的問號。
大白臉上露出了不可思議的表情，“小伙子，不錯嘛!你一下問出了神經(jīng)網(wǎng)絡的三個核心概念。”
“是哪三個?快給我說說”
大白喝了口水，頓了頓接著說到，“首先，怎么去衡量這個差距?這個活，咱們部門有個人專門干這活，他就是損失函數(shù)，他就是專門來量化咱們的輸出結(jié)果和實際結(jié)果之間的差距。量化的辦法有很多種，你空了可以去找他聊聊”
“那第二個呢?”
“第二個，具體怎么調(diào)整，這也涉及到咱們神經(jīng)網(wǎng)絡中一個核心概念，他就是優(yōu)化方法，咱們部門用的最多的是一個叫梯度下降的方法。那玩意兒有點復雜，一時半會兒給你說不清楚，大概差不多就是用求導數(shù)的方式尋找如何讓損失函數(shù)的損失值變小”，大白繼續(xù)耐心的解釋著。
“好吧，那第三個核心概念是什么?”
“你剛不是問調(diào)整幅度嗎?這個調(diào)整幅度太小了不行，這樣咱們訓練的太慢了，那得多訓練很多回。太大了也不行，要是一不小心錯過了那個最優(yōu)值，損失函數(shù)的結(jié)果就會來回搖擺，不能收斂，所以有一個叫學習速率的數(shù)值，通常需要程序員們憑借經(jīng)驗去設定”
我還沉浸在大白的講解中，廣播聲再次響起：
看來程序員修改了學習速率，我只好打起精神，繼續(xù)去忙了，真不知道何時才能訓練達標啊～
本文轉(zhuǎn)載自微信公眾號「 編程技術宇宙」，可以通過以下二維碼關注。轉(zhuǎn)載本文請聯(lián)系 編程技術宇宙公眾號。
