損失函數(shù)是衡量模型輸出與真實標(biāo)簽的差異

損失函數(shù)loss function

代價函數(shù)cost function

目標(biāo)函數(shù)objective fuction

參數(shù)太多，會導(dǎo)致我們的模型復(fù)雜度上升，容易過擬合。

正則項的作用就是約束參數(shù)，降低模型復(fù)雜度。

對模型進行約束的項稱為regularization正則項

通常使用L1（Lasso回歸）、L2（嶺回歸）、L1+L2（彈性網(wǎng)）

pytorch中的交叉熵?fù)p失函數(shù)

通過對loss fuction調(diào)用，輸入output真實輸出和labels標(biāo)簽所在位置，進而計算loss的值，衡量前兩者的差異

交叉熵其實是衡量兩個概率之間分布的差異，

常常用于分類任務(wù)當(dāng)中，分類任務(wù)中，通常需要計算兩個輸出之間的概率值，交叉熵值越低，表明兩個分布越近，概率越相似

nn.LogSoftmax()其實是對數(shù)據(jù)進行歸一化（函數(shù)圖像是0-1區(qū)間的），把數(shù)據(jù)集歸一化到概率輸出值的函數(shù)上

熵：是描述一個事件的不確定性

一個事件的不確定性越高，他的熵越大

0.5的位置不確定性是最大的，所以他的熵是最大的0.69

自信息：衡量單個輸出單個事件的不確定性