克勞德·夏農:看我如何發明未來

【導讀】

克勞德·艾爾伍德·夏農,美國數學家、電子工程師和密碼學家,被譽為資訊理論的創始人。他發表了劃時代的論文——通訊的數學原理,奠定了現代資訊理論的基礎。不僅如此,夏農還被認為是數字計算機理論和數位電路設計理論的創始人。

他不曾捧起過一座諾貝爾獎盃。

他的名字也不曾如愛因斯坦、費曼般如雷貫耳,無論是生前死後。

但在大約70年前,他為現代資訊時代開創了先河,奠定了整個通訊基礎設施的基礎。

他是克勞德·夏農,一個不可磨滅的名字。

克勞德·夏農:看我如何發明未來

資訊交流不確定性

1916年,夏農出生在密歇根州蓋洛德市,父親是一名商人,母親是一名教師。從密歇根大學獲得電氣工程和數學學位後,他在麻省理工學院寫了一篇碩士論文,將一門名為布林代數的數學學科應用於開關電路的分析和合成。

克勞德·夏農:看我如何發明未來

這是一個變革性的工作,把電路設計從一門藝術變成了一門科學,現在被認為是數位電路設計的起點。

此後,夏農的心裡有了一個更大的目標:通訊。

從狼煙烽火到飛鴿傳信,再到如今的電腦、電話,通訊,一直是人類生存的基本需求,而人類也在藉助著科技的力量,讓通訊的距離越來越遠,通訊的內容越來越可靠。

克勞德·夏農:看我如何發明未來

但是通訊系統的工程總是與特定的源和物理媒介聯絡在一起。夏農反問:「通訊是否存在一個大統一理論?在1939年寫給導師萬內瓦爾·布什(Vannevar Bush)的信中,夏農概述了他關於“用於情報傳遞的一般系統的基本特性」的一些最初想法。

在研究這個問題十年之後,夏農終於在1948年出版了他的傑作:《通訊的數學理論》。

這本書的核心思想極為簡單:發射器將資訊編碼成訊號,訊號被噪聲破壞,然後由接收器解碼。

克勞德·夏農:看我如何發明未來

儘管它很簡單,夏農的模型包含了兩個關鍵的見解:從要設計的通訊系統中隔離資訊和噪聲源,以及對這兩個源進行機率建模。他想象著資訊源產生了許多可能要交流的資訊中的一條,而每一條都有一定的機率。機率噪聲進一步增加了接收端解開的隨機性。

在夏農之前,通訊問題主要被看作是一個確定性的訊號重構問題:如何變換被物理介質扭曲的接收訊號,以儘可能準確地重建原始訊號。夏農的天才之處在於他發現溝通的關鍵在於不確定性。

畢竟,如果你事先知道我會在這篇文章中對你說些什麼,那麼寫它還有什麼意義呢?

克勞德·夏農:看我如何發明未來

但在當時,這對通訊工程師們來說,這個不小的打擊。

因為這將通訊問題從物理上轉移到了抽象上,使得夏農能夠利用機率對不確定性進行建模。

在不確定性和機率的框架下,夏農在他的里程碑式的論文中系統地確定了通訊的基本限制。

他的回答分為三部分。在這三者中起核心作用的是資訊「位」(bit)的概念,夏農將其作為不確定性的基本單位。這個詞是「二進位制數字」的合成詞,一位可以是1也可以是0,夏農的論文是第一個使用這個詞的人(儘管他說數學家約翰·圖基首先在備忘錄中使用了這個詞)。

克勞德·夏農:看我如何發明未來

首先,夏農提出了一個表示資訊的最小每秒位元數的公式,這個數字被他稱為熵率h。這個數字量化了確定資訊源將產生何種資訊所涉及的不確定性。

熵率越低,不確定性越小,因此更容易將資訊壓縮成更短的內容。

例如,每分鐘傳送100個英文字母的簡訊意味著每分鐘傳送 26^100條可能的資訊,每條資訊由100個字母序列表示。可以將所有這些可能性編碼為470位,因為2^470≈26^100。

如果序列是等機率的,那麼夏農公式會說,熵的速率確實是每分鐘470位元。在現實中,某些序列比其他序列更可能出現,而且熵率更低,允許更大的壓縮。

第二,他提供了一個公式的最大數量位元每秒可以可靠地傳達的噪音,他稱之為系統的容量,c,這是最大的速率接收方可以解決資訊的不確定性,有效地使其通訊的速度限制。

最後,他指出,當且僅當H < c時,噪聲源資訊的可靠通訊是可能的。因此,資訊就像水一樣:如果流速小於管道的承載能力,那麼水流就可以可靠地透過。

雖然這是一種傳播理論,但它同時也是一種關於資訊如何產生和傳遞的理論——一種資訊理論。因此,夏農現在被認為是「資訊理論之父」。

克勞德·夏農:看我如何發明未來

他的定理導致了一些違反直覺的結論。

假設你在一個非常嘈雜的地方談話。確保你的資訊得到傳達的最好方法是什麼?也許會重複很多次?這當然是每個人的第一反應,但事實證明,這並不是很有效。當然,你重複自己的次數越多,溝通就越可靠。但是你為了可靠性犧牲了速度。

夏農向我們展示了我們可以做得更好。重複資訊是使用程式碼來傳輸資訊的一個例子,透過使用不同的和更復雜的程式碼,一個人可以快速通訊——一直到速度限制C——同時保持給定的可靠性。

克勞德·夏農:看我如何發明未來

事實上,夏農也證明了,在很多事情上,熵的概念可以作為壓縮的基本極限。

位元作為資訊的通用貨幣統治著世界,他是個科學家

從夏農的理論中得出的另一個出人意料的結論是,無論資訊的性質是什麼——無論是莎士比亞十四行詩、貝多芬第五交響曲的錄音還是黑澤明的電影——在傳輸之前將其編碼成位元總是最有效的。

所以在無線系統中,例如,儘管最初的聲音和電磁訊號透過空氣傳送模擬波形,夏農定理意味著它是最佳的先數字化聲波成碎片,然後這些位元對映到電磁波。

這一驚人的結果是現代數字資訊時代的基石,位元作為資訊的通用貨幣統治著世界。

克勞德·夏農:看我如何發明未來

夏農的一般交流理論是如此自然,就好像他發現了宇宙的交流法則,而不是發明了它們。他的理論如同自然物理定律一樣是基本的。

從這個意義上說,他是一個科學家。

夏農發明了新的數學來描述通訊定律。他引入了新的思想,如機率模型的熵率,這已被應用於廣泛的數學分支,如遍歷理論,研究動力系統的長期行為。

從這個意義上說,夏農是一位數學家。

但最重要的是,夏農是個工程師。

他的理論是由實際工程問題所激發的。

儘管當時的工程師對夏農的理論很深奧,但現在夏農的理論已經成為所有現代通訊系統的標準框架:光學系統、水下系統、甚至星際通訊系統。

事實上,目前推出的5G標準使用的不是一個,而是兩個實際程式碼,被證明達到了夏農的速度極限。

克勞德·夏農:看我如何發明未來

夏農在70多年前就找到了這一切的基礎。他是怎麼做到的?堅持不懈地關注一個問題的本質特徵,而忽略了其他所有方面。他溝通模式的簡單就是這種風格的一個很好的例證。他也知道要專注於可能的事情,而不是立即可行的事情。

夏農的研究說明了頂級科學的真正作用。當我開始讀研時,我的導師告訴我,最好的工作是修剪知識之樹,而不是讓它生長。當時我不知道該如何理解這條訊息;我一直認為,作為一個研究人員,我的工作就是新增我自己的小樹枝。但在我的職業生涯中,當我有機會將這一哲學應用到我自己的工作中,我開始理解。

當夏農開始研究通訊時,工程師們已經掌握了大量的技術。正是他的統一工作,將所有這些知識的細枝修剪成一棵連貫可愛的大樹——這棵大樹為一代又一代的科學家、數學家和工程師結出了果實。

參考連結

https://www。quantamagazine。org/how-claude-shannons-information-theory-invented-the-future-20201222/

編輯:觀山不易

頂部