關(guān)于神經(jīng)網(wǎng)絡(luò)的發(fā)展。

為什么是MLP，再是核函數(shù)，最后到了現(xiàn)在的深度學(xué)習(xí)呢？

在我看來(lái)，是這樣的。因?yàn)樽畛醯腗LP，他只能解決一些獨(dú)立的特征，就像我們所熟知的鳶尾花數(shù)據(jù)集(iris dataset)一樣。如果是對(duì)于圖像特征，盡管他能夠?qū)D像通過(guò)reshape進(jìn)行降維，但是降維的同時(shí)，也會(huì)丟失一些空間信息。但隨著核函數(shù)的到來(lái)，也便解決了空間信息丟失這一問(wèn)題。因?yàn)?strong>核函數(shù)能夠很好的處理無(wú)論是線性問(wèn)題，還是非線性問(wèn)題(下文簡(jiǎn)單論述一番)。最后結(jié)合了核函數(shù)，就變成了我們?nèi)缃竦纳疃葘W(xué)習(xí)框架。

關(guān)于平均池化的一點(diǎn)看法。

其實(shí)從理論上講，我認(rèn)為，平均池化應(yīng)該視為可以與一些簡(jiǎn)單的核函數(shù)相等價(jià)的。因?yàn)閷?shí)際上，例如對(duì)于一個(gè)3*3的核函數(shù)，其實(shí)際的核即為:

1/9 * [[1, 1, 1], [1, 1, 1], [1, 1, 1]]

實(shí)際上，我也去進(jìn)行簡(jiǎn)單的測(cè)試了，盡管只是在LeNet上。

首先是最原始的帶有平均池化的效果，在測(cè)試集上的準(zhǔn)確率達(dá)到了85%。

而將net的平均池化換為一層卷積層之后，發(fā)現(xiàn)，精度有所提高。

我認(rèn)為，這是層數(shù)增加所帶來(lái)的，而非卷積層帶來(lái)的影響。盡管2層卷積層確實(shí)是可以等效為一層卷積層。

所以我進(jìn)一步修改了網(wǎng)絡(luò)架構(gòu)，這次倒是神奇的發(fā)現(xiàn)，效果與平均池化帶來(lái)的，出奇的相似。但是，我仍認(rèn)為，這也是不好的。

總之，我認(rèn)為平均池化用于池化層，是不理想的。因?yàn)槠涫?strong>線性處理方式，而應(yīng)該換用非線性的MaxPooling或MinPooling。其他的話，等以后有能力再做進(jìn)一步測(cè)試吧。