文 | HW君

香農信息公式取得的成就太過耀眼，以至于沒有人發現香農對信息的诠釋有瑕疵。

系列文章：

• 信息哲學 | #1 信息是熵還是負熵？

本文目錄：

1. 信息量是熵

2. 信息是0熵系統

3. 信息的HW诠釋

4. 信息的測量

5. 基于新範式的猜想

在上一期文章《信息哲學 | #1 信息是熵還是負熵？ 》中HW君複盤了香農信息論的建立過程，并留下了兩個問題：

（1）「信息是熵」和「信息是負熵」的說法誰對誰錯。

（2）為什麼「公式算出的香農信息量」和「直觀感受到的日常信息量」，兩者大小是矛盾的。

這一期我們會來回答這兩個問題。

香農認為「信息是熵」，維納認為「信息是負熵」。

這兩種說法是互相矛盾的，總有一方是錯誤的。

但還有一種可能，就是兩種說法都是錯的。

站在哲學視角上，很容易看清楚問題出在哪裡。

尺子有個屬性叫做長度，長度為10cm，但：

尺子 ≠ 長度

同樣的，信息有個屬性叫做「信息量/熵/信息熵/香農熵」，信息量為1bit，但：

信息 ≠ 信息量 = 熵

所以當你開始糾結「信息是熵」還是「信息是負熵」的時候，就已經掉進陷阱了。

​在更正了第一個錯誤之後，那麼香農真正表達的意思應該為：

信息具有不确定性。

對于不确定性進行測量可以得到不确定程度。

不确定程度的值稱為「信息量/熵/信息熵/香農熵」。

我們在上一期文章裡講過，即便我們認為「信息不是物質和能量」，但是也仍然可以斷言：

信息的存在依賴物質和能量。

一段文字和一段聲音的在形式上是完全不同的，但是它們可以含有有相同的信息量。

例如，一段寫在紙上的「GoneMeme」的文字和用聲音說出來的「GoneMeme」，它們有着相同的信息量，但是它們的物理屬性是不同的。

寫在紙上的「GoneMeme」和「HoneWeie」也擁有着相同的信息量，但是它們顯然是不同的物質和信息。

兩把尺子，即便它們的長度相同，我們也不能說它們是完全相同的尺子。

因此我們需要把信息，以及承載信息的物質和能量看成是一個整體的系統，然後将這個系統定義為信息。

這一點很不起眼，卻是我們接下來所有讨論的前提。

在修正了這一邏輯錯誤之後，香農的觀點可以被重新闡述為：

信息是熵系統，具有不确定性。

對于不确定性測量得到不确定程度。

不确定程度的值為「信息量/熵/信息熵/香農熵」。

維納的觀點可以被重新闡述為：

信息是負熵系統，具有确定性，可以消除不确定性。

對于不确定性進行測量得到不确定程度。

不确定程度的值為「信息量/熵/信息熵/香農熵」。

可以看到，香農和維納都同意：

信息量是熵。

那麼現在争論就變成了「信息是熵系統」還是「信息是負熵系統」。

香農認為信息是熵系統，具有不确定性。

而維納認為信息是負熵系統，具有确定性，可以消除不确定性。

很顯然，維納的诠釋是符合直覺的，而香農的诠釋是違反直覺的。

香農認為信息越多，越具有不确定性。

但我們日常生活中，獲取越多的信息，就越确定，越能不确定性越少。

所以要麼是香農的說法錯了，要麼是我們的直覺錯了。

2. 信息是0熵系統

有一件事情是肯定的：

「香農信息量」的計算結果和「日常信息量」的直觀感受是相反的。

這種矛盾感并非隻有HW君自己一人發現，實際上有很多人有察覺到。

而造成這種矛盾感的可能性有3種：

（1）香農信息公式是錯誤的。

（2）人們的直覺是錯誤的。

（3）香農的诠釋是錯誤的。

其中（1）的可能性最小，因為香農信息量公式已經被反複證明是成立的。

人們對香農信息量公式的應用取得了令人矚目的成就，這些成就不太可能都是建立在一個錯誤的地基上。

今日這個波瀾壯闊的信息時代正是香農信息量公式正确性的最好辯護。

所以有些人把目光放在對于香農信息論的诠釋上，嘗試發明了一些補丁來調和這種矛盾。

為了彌合這種矛盾，人們引入了一些補丁，這裡再簡要地回顧一下上一期的内容。

這些補丁大緻可以分為兩大類：

補丁1：加入時間概念。

把信息分成已知信息和未知信息，日常生活使用「信息量」時是指已知信息的「信息量」。

補丁2：否認兩種概念相同。

即認為同一個事物存在兩套數學性質不同的信息，因而能得出兩種不同的信息量，它們的使用場景不同。

「補丁1」是邏輯不自洽的，而「補丁2」邏輯自洽但不夠簡潔，不符合奧卡姆剃刀原則。

這裡面「補丁1」的邏輯錯誤在于：

所有的已知信息，其信息量都為0。

這句話乍看上去非常的不符合生活直覺，但是它卻是符合邏輯的：

因為：

所有的已知信息都是确定的，沒有不确定性，其不确定程度都0。

不确定程度 = 信息量 = 熵

所以：

所有的已知信息，其信息量都為0。

因此我們認為：

所有的已知信息，其信息量都為0。

它也可以表述為這樣的形式：

已知信息的熵為0。

而我們日常生活中使用的「信息」其實就是已知信息，「已知」這個前綴是沒有必要的。

然後再引入第一小節的「系統觀念」，那麼這個命題最後可以被表述為：

信息是0熵系統。

這是一個成立的真命題，即便它違反直覺，但它符合香農信息公式的計算結果。

而這個真命題就是解決矛盾的關鍵點。

到這裡簡單階段性小結一下。

信息是一個包含物質和能量的系統，這個系統具有一個屬性叫熵

熵可以描述系統，但系統不等同于熵。

不同的系統可以具有相同的熵，但是我們不能因此忽視它們的不同，把它們當作同一個系統。

這個思維翻轉其實就是将上一期文章我們講的香農的第一個思維翻轉，給重新翻回去。

于是接下來的工作便是，基于「信息是0熵系統」，構造一個邏輯自洽并且更符合奧卡姆剃刀原則的「補丁3」，對香農信息公式進行重新诠釋。

3. 信息的HW诠釋

這一小節，HW君會從「信息是0熵系統」這個命題出發，闡述一個更優的诠釋。

這個诠釋是自洽的，并更加符合奧卡姆剃刀原則。

它要求我們對現有的「熵」的概念進行重新理解。

這個诠釋是一個原創，或者說至少在中文互聯網上還沒有看到過類似的诠釋。

所以這裡HW君将其命名為「信息的0熵系統诠釋」，或者狂妄一點叫「信息的HW诠釋」。

其要挑戰的理論是「信息的香農诠釋」。

這裡HW君先把觀點羅列出來，在下一小節裡我們再詳細講解。

信息的HW诠釋：

（1）信息是一種由物質和能量構成的熵系統。

（2）将某個熵系統的熵定義為0，那麼可以用該0熵系統去測量另一個熵系統的熵。

（3）假設存在一個0熵系統Y和一個熵系統X。

不考慮0熵系統Y，我們可以用香農信息熵（information entropy）公式求得熵系統X的信息熵：

（4）但此時用香農條件熵（conditional entropy）公式也可以得到一個同樣的結果。

即用0熵系統Y去測量熵系統X，也就是求在完全确定Y的情況下X的條件熵，那麼：

H(X|Y)：在确定系統Y發生的情況下，X的熵。

H(X)：系統X的熵。

H(X,Y)：系統X和系統Y共有的熵，也叫「互信息」（mutual information）。

因為Y是0熵系統，也就是确定事件所以必然發生，沒有不确定性，發生的概率為PY=1。

又因Y是0熵系統，熵為0，那麼Y與X沒有共有信息，因此Y和X的「互信息」為0。

因此以熵系統X基于0熵系統Y的條件熵，其結果正好是一個信息熵的形式。

（5）這樣的信息熵有無數個，取決于基于什麼樣的0熵系統去求條件熵，采用不同的0熵系統可以得到不同的信息熵。

（6）推論：香農信息熵（information entropy）是香農條件熵（conditional entropy）一個特例。

不存在純粹的信息熵，所有信息熵都是條件熵。

（7）因此香農信息量和日常信息量的矛盾可以得到解釋。

我們把0熵系統當作一把可以測量熵系統的熵的尺子。

在香農構建的體系裡：

存在多個不同的0熵系統Y（Y1,Y2,Y3,...），去測量同一個熵系統X，得到相同系統的不同的熵（信息量）。

在日常感受到的體系裡：

存在同一個0熵系統Y，去測量多個不同的熵系統X（X1,X2,X3,...）,得到不同系統的熵（信息量）。

4. 信息的測量

我們要如何獲得一個可能事件的不确定程度（信息量）？

大部分學習信息論的人會脫口而出，用香農信息公式：

不，HW君想知道的不是這個。

我想問的不是「如何計算一個信息量」。

我想問的是「如何獲得一個信息量」。

舉個例子：

如何獲得一張紙的長度？答案是用一把尺子去測量。

如何獲得一杯水的溫度？答案是用一個溫度計去測量。

...

如何獲得一個粒子的态？答案是用一個儀器去測量。

我們在測量某個物體的長度時，總需要使用到一把尺子。

那麼在測量某個可能事件的不确定程度時，我們是拿什麼作為基準的「尺子」？

答案是用一個「0熵系統」作為測量的尺子。

即可以得場景1：

将一個熵系統Y定義為基準的0熵系統。

然後用0熵系統Y去測量某個熵系統X的不确定程度，得到熵系統X的一個條件熵。

而人們常常無視這個作為基準的0熵系統，稱這個條件熵為信息熵。

同樣的，我們可以用一個熵非0的熵系統Z用作基準去測量熵系統X。

那麼可以得場景2：

熵系統Z的熵非0。

用熵系統Z去測量一個熵系統X的不确定程度，得到熵系統X基于熵系統Z的條件熵。

即香農信息熵是香農條件熵一個特例。

也就是說，我們平時在使用香農的信息公式，去「計算」一個信息Y（0熵系統）的信息熵時。

我們計算得到的那個信息熵，并不是這個信息Y的熵，而是另外一個熵系統的熵。

這個信息Y的信息熵為0，它是确定的，沒有不确定性。

打個比方，求香農信息量是用不同尺子去測量同一個東西。

而直觀感受日常信息量時，是在用同一把尺子去測量不同的東西。

而信息就是那一把作為測量基準的尺子。

在香農信息論中，我們規定好了要測量的東西是什麼，然後用不同的尺子去測量它的不确定性。

選擇不同尺度的尺子，我們會測出不同的不确定性。

當我們的尺子變成了要測量的東西本身時，那麼不确定性就沒有了。

而在日常生活中，HW君發送了一條信息給你。

這意味着，HW君發送了一把尺子給你。

至于你用它去測量何種事物的不确定性，那取決于你。

因此這也解釋了，物理性質完全相同的一條信息，有人覺得信息量大，有的人根本沒有信息量。

5. 基于新範式的猜想

不知「信息的0熵系統诠釋」是否算得上是信息論的一個新範式。

它會給我們的觀念帶來許多前所未有的變化。

包括但不限于：

（1）測量是相對的。

（2）熵依賴測量，即熵也是相對的。

（3）因此「測量總存在誤差」，可以被解釋為「無法構建絕對的0熵系統」。

（4）「無法構建絕對的0熵系統」導緻了總是無法測得一個熵系統全部的熵，即丢失了兩個系統的互信息（mutual information）。

（5）語義信息和香農信息本質上沒有什麼不同，不存在一種獨立于香農體系的人類專用的語義信息。

（6）數學是我們用來丈量世界的最理想的0熵系統嗎？

（7）量子力學的測量和熵的測量會有什麼聯系嗎？

...

這些由新範式帶來的新的不确定性（熵），HW君會在「信息哲學」系列的後續文章裡，用「信息的HW诠釋」這個尺子進行逐一測量。

而本章其實我們還留下了一個問題沒有完全解答。

HW君隻回答了，為什麼香農信息量和日常信息量給人的感覺是不同步的。

但是HW君并沒有回答：

為什麼獲知一個新的信息（0熵系統），會讓人感覺獲得了更多的信息量（熵）。

這些問題，以及新增的更多問題，就留到這個系列的後續文章裡慢慢分析。

（本章節完，敬請期待下一節）

By HW君 @ 2021-04-28

,

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!

查看全部