神經(jīng)網(wǎng)絡(luò)的代價函數(shù)

神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)必學(xué)內(nèi)容之一，本文和大家分享的就是神經(jīng)網(wǎng)絡(luò)中的代價函數(shù)相關(guān)內(nèi)容，一起來看看吧，希望對大家有所幫助。

　　之前我們使用神經(jīng)網(wǎng)絡(luò)算法進(jìn)行圖像識別，所使用的參數(shù)都是已知的。

　　那么這些參數(shù)是如何得來的呢？

　　這其實(shí)和之前線性回歸以及邏輯回歸的是類似的，我們要知道它的代價函數(shù)。

　　在此之前，先了解一下各個標(biāo)記。例如對于下面這樣一個神經(jīng)網(wǎng)絡(luò)：

　　我們用 L 來標(biāo)記神經(jīng)網(wǎng)絡(luò)的層數(shù)，例如這里就是 4 。

　　我們用 s l 來標(biāo)記第l層的單元數(shù)量，例如這里就是： s 1 = 3、s 2 = s 3 = 5 、s 4 = 4 ，注意這里是不包含偏差單元的，也就是 a 0 = 1 的單元。

　　每一層特征的計算，使用的公式依然是邏輯函數(shù)：

對于邏輯回歸，它的代價函數(shù)是這樣的：

　　那么以邏輯回歸計算為基礎(chǔ)，神經(jīng)網(wǎng)絡(luò)的代價函數(shù)是這樣的：

　　第一次看到這個公式的時候，我也有點(diǎn)蒙，且讓我逐步分解。

　　首先我們看看公式加號的左邊部分：

　　相比原來的公式，增加了一個關(guān)于K的累加。這里的 K 代表著分類的數(shù)量，對應(yīng)著的前面圖片層次4輸出結(jié)果的數(shù)量4。

　　這里的下標(biāo) k ，就是計算第 k 個分類的意思。

　　也就是說，我們需要求得的參數(shù)， 應(yīng)該對每一個分類計算代價函數(shù)，并使得加總之后的結(jié)果最小。

　　再來看看公式加號的右邊部分：

　　右邊部分是正則化項(xiàng)，是對每一個 θ 的平方進(jìn)行累計。我們看看三個累加的含義。

　　對某一層的每一行進(jìn)行加總：

對某一層的每一列進(jìn)行加總：

對每一層進(jìn)行加總：

　　如果你看過之前的文章，應(yīng)該知道 θ 是從 l 層次計算得到 l + 1 層中間所需的參數(shù)，對于上面的圖片，你可以這樣來理解：

　　所以這里有 L - 1 組 θ 需要計算，也就是 4 - 1 = 3。

　　那么對于每一組，如果第 l 層有 s l 個單元，第 l + 1 層有 s l+1 個單元，那么 θ (l) 就是一個 s l+1 × ( s l + 1 ) 的矩陣。

　　θ (1) 是一個 4 × 5 的矩陣，θ (2) 是一個 5 × 6 的矩陣，θ (3) 是一個 4 × 6 的矩陣。

　　這里的 θ (l) 是包括了偏差節(jié)點(diǎn) a 0 對應(yīng)的參數(shù)，而這些參數(shù)是不應(yīng)該納入計算的。

　　所以我們會看到計算列 i 對應(yīng)的上標(biāo)是 s l ，下標(biāo)是 i = 1，也就是只計算各個單元對應(yīng)的參數(shù)。

　　所以對于每一層的 θ ，扣除了第一列偏差參數(shù)，需要計算的參數(shù)數(shù)量就是 sl+1 × sl。

來源：簡書