我是斜杠青年，一個(gè)熱愛(ài)前沿科學(xué)的“雜食性”學(xué)者！

信息是什么，是真的嗎？克勞德·香農(nóng)認(rèn)識(shí)到元素成分令人驚訝。

如果有人告訴你一個(gè)你已經(jīng)知道的事實(shí)，他們基本上什么都沒(méi)告訴你。然而，如果他們泄露了一個(gè)秘密，可以公平地說(shuō)，有些事情真的被傳達(dá)了。

這種區(qū)別是克勞德·香農(nóng)信息理論的核心。它由1948年一篇?jiǎng)潟r(shí)代的論文《通信數(shù)學(xué)理論》介紹，為量化準(zhǔn)確發(fā)送和接收消息所需的信息量提供了一個(gè)嚴(yán)格的數(shù)學(xué)框架，這取決于預(yù)期信息可能表達(dá)什么的不確定性程度。

也就是說(shuō)，舉個(gè)“栗子”吧……

在一個(gè)場(chǎng)景中，我有一個(gè)詭計(jì)硬幣——它兩邊都有頭。我要翻兩次。傳達(dá)結(jié)果需要多少信息？根本沒(méi)有，因?yàn)樵谑盏较⒅?，你完全可以肯定兩個(gè)翻轉(zhuǎn)都會(huì)出現(xiàn)。

在第二個(gè)場(chǎng)景中，我用普通硬幣翻轉(zhuǎn)兩次——一邊是頭，另一邊是尾巴。我們可以使用二進(jìn)制代碼傳達(dá)結(jié)果：頭部為0，尾巴為1。有四條可能的消息——00、11、01、10——每條消息都需要兩位信息。

那么，這有什么意義呢？在第一個(gè)場(chǎng)景中，你對(duì)消息的內(nèi)容完全確定，并且傳輸它需要零位。在第二場(chǎng)景中，你有1比4的機(jī)會(huì)猜出正確的答案——25%的確定性——消息需要兩位信息來(lái)解決這種模糊性。一般地說(shuō)，你對(duì)信息表達(dá)什么了解越少，傳達(dá)的信息就越多。

香農(nóng)是第一個(gè)使這種關(guān)系在數(shù)學(xué)上精確的人。他在計(jì)算消息所需的最小位數(shù)（后來(lái)稱為香農(nóng)熵的閾值）的公式中捕獲了它。他還表明，如果發(fā)件人使用的位數(shù)少于最小值，消息將不可避免地被扭曲。

加州大學(xué)圣地亞哥分校的信息理論家塔拉·哈維迪表示：“他也有這樣的直覺(jué)，即當(dāng)你對(duì)學(xué)習(xí)某事最驚訝時(shí)，信息就會(huì)最大化?！?/p>

“熵”一詞來(lái)自于物理學(xué)中，熵是紊亂的衡量標(biāo)準(zhǔn)。云的熵高于冰立方體，因?yàn)樵票攘⒎襟w的晶體結(jié)構(gòu)允許更多的方法來(lái)排列水分子。在類(lèi)似的情況下，隨機(jī)消息具有很高的香農(nóng)熵——如何排列其信息的可能性很大——而遵循嚴(yán)格模式的消息具有較低的熵。在物理學(xué)和信息論中計(jì)算熵的方式也存在形式相似之處。在物理學(xué)中，熵公式涉及對(duì)可能的物理狀態(tài)進(jìn)行對(duì)數(shù)。在信息論中，它是可能的事件結(jié)果的對(duì)數(shù)。

香農(nóng)熵的對(duì)數(shù)公式掩蓋了它捕獲內(nèi)容的簡(jiǎn)單性——因?yàn)樗伎枷戕r(nóng)熵的另一種方式是，平均而言，確定消息內(nèi)容所需的是或否問(wèn)題的數(shù)量。

例如，想象一下兩個(gè)氣象站，一個(gè)在圣地亞哥，另一個(gè)在圣彼得堡。每個(gè)人都想將自己城市的七天天氣預(yù)報(bào)發(fā)送給另一個(gè)。圣地亞哥幾乎總是陽(yáng)光明媚，這意味著你對(duì)天氣預(yù)報(bào)會(huì)的傳播充滿信心。圣彼得堡的天氣不確定——晴天的機(jī)會(huì)更接近50-50。

發(fā)送每個(gè)七天的預(yù)測(cè)需要多少個(gè)是或否問(wèn)題？對(duì)圣地亞哥來(lái)說(shuō)，有利可圖的第一個(gè)問(wèn)題可能是：所有七天的天氣預(yù)報(bào)都是晴天嗎？如果答案是肯定的（而且可能性是肯定的），那么你已經(jīng)在一個(gè)問(wèn)題中確定了整個(gè)預(yù)測(cè)。但對(duì)于圣彼得堡，你幾乎必須一天一天地完成天氣預(yù)報(bào)：第一天陽(yáng)光明媚嗎？第二天呢？

消息內(nèi)容的確定性越高，平均而言，你確定它所需的是或否問(wèn)題就越少。

要再舉一個(gè)例子，請(qǐng)考慮兩個(gè)版本的字母游戲。首先，我從英文字母表中隨機(jī)選擇了一個(gè)字母，我想讓你猜猜。如果你使用最好的猜測(cè)策略，平均需要4.7個(gè)問(wèn)題才能得到它。（一個(gè)有用的第一個(gè)問(wèn)題是：“字母在字母表的前半部分嗎？”）

在游戲的第二個(gè)版本中，你不是猜測(cè)隨機(jī)字母的價(jià)值，而是試圖猜測(cè)實(shí)際英語(yǔ)單詞中的字母。現(xiàn)在，你可以調(diào)整你的猜測(cè)，以利用一些字母比其他字母出現(xiàn)得更頻繁的事實(shí)（“它是元音嗎？”）了解一個(gè)字母的值有助于你猜測(cè)下一個(gè)字母的值（q幾乎總是跟著u）。香農(nóng)計(jì)算出，英語(yǔ)的熵為每個(gè)字母2.62位（或2.62是或否問(wèn)題），遠(yuǎn)遠(yuǎn)低于每個(gè)字母隨機(jī)出現(xiàn)時(shí)所需的4.7位。換句話說(shuō)，模式減少了不確定性，這使得使用相對(duì)較少的信息進(jìn)行大量通信成為可能。

請(qǐng)注意，在這樣的示例中，你可以提出更好或更糟糕的問(wèn)題。香農(nóng)熵設(shè)置了一個(gè)不可侵犯的底線：這是傳達(dá)信息所需的絕對(duì)最小位數(shù)，或是或否問(wèn)題。

“香農(nóng)展示了光速之類(lèi)的東西，這是一個(gè)基本的極限。”“香農(nóng)熵是我們可以壓縮源的根本限制，而不會(huì)冒失真或損失的風(fēng)險(xiǎn)?！?/p>

今天，香農(nóng)熵是許多應(yīng)用環(huán)境中的尺度，包括信息壓縮技術(shù)。例如，你可以壓縮大型電影文件，這要?dú)w功于像素顏色具有統(tǒng)計(jì)模式，就像英語(yǔ)單詞一樣。工程師可以為從一幀到下一幀的像素顏色模式構(gòu)建概率模型。這些模型可以通過(guò)為模式分配權(quán)重，然后根據(jù)像素可能出現(xiàn)的所有可能方式獲取權(quán)重的對(duì)數(shù)來(lái)計(jì)算香農(nóng)熵。該值告訴你“無(wú)損”壓縮的極限——在你開(kāi)始丟失有關(guān)其內(nèi)容的信息之前，電影絕對(duì)可以壓縮。

任何壓縮算法的性能都可以與此限制進(jìn)行比較。如果你離它很遠(yuǎn)，你有動(dòng)力更努力地工作，找到更好的算法。但如果你接近它，宇宙的信息定律就會(huì)阻止你做得更好。

了解更多信息科學(xué)，關(guān)注我就是你最好的選擇！