不確定性與馬爾科夫鏈

>>>  技術話題—商業文明的嶄新時代  >>> 簡體     傳統

這個月玩公司的世界杯競猜游戲,期間經歷了各種跌宕起伏,有過競猜游戲幣被清零的記錄(后來貸款翻身),也有過“一夜暴富”榮登榜首的時候(多虧了烏拉圭人和巴西人),到現在理論上還保留著拿最后冠軍的希望。游戲期間無數次想到了關于“不確定性”的理論,結合以前讀書的一些所獲,如是有了今天的文字。

  一、不確定性

  1、 不確定性含義  

  所謂不確定性,是指超越人類理性駕馭而無法預測的事情。我們生活充滿了不確定性。比如:

  • 深圳下半年的房價是會上漲還是下跌?

  • 某互聯網公司明年的股票走勢如何?

  • 人類的的所有家務勞動,在未來一百年內會不會可以被機器人取代呢?

  對于不確定性,其實有兩個層面的含義,第一層理解是事物本身不能確定;第二層理解是事物本身是確定的,只是人類無法預知,或者預知要花費的成本不是人類有生之年可以承受的。這兩層含義,暫時是無法被證實或證偽的。這就好比如無法證明上帝是否存在一樣,但是基督教通過“信仰”來解決,他們告訴你:上帝是存在的,你希望他在他就在,你信他在他就在。

  人類對于不確定性有著天生的恐懼,生活在不確定性的世界里的人沒有安全感。人類誕生之日起就開始了尋找真理之路。為什么要尋找真理呢?無非就是為自身提供一種安全感。在一個不確定性的世界里,人類不知道自己下一秒自己的命運或財富會不會顛覆,甚至連生命也沒法得到保證,所以才會愿意犧牲部分個體活動的自由,集結成群,甚至是讓少數人凌駕于自身之上,組織成政府,以取得安全感與保護。

  2、 不確定性的根源解釋

  關于不確定性的根源,哲學與科學上已知的解釋有兩個:非線性與不確定性原理

  非線性

  常見的線性思考:

  • 只要每天多比別人工作 2 小時,就能產生好的績效,拿更多的獎金

  • 只要賺到足夠的錢,買房買車,心愛的妹子就會嫁給你

  • 經濟危機時,只要多發貨幣就能刺激經濟增長(凱恩斯主義)

  • 某公司因為抄襲所以獲得了成功

  這種簡單的“只要…就…”,“因為…所以…“,就是典型的線性邏輯,也是人類大腦天生的默認工作模式,也被稱為是一種”思考懶惰“。可是,事物的狀態的確定并不是單純的線性邏輯。多工作兩小時,如果工作方向不對,工作方式效率低下,同時身體的精力也是有限,無法長期堅持長時間的工作,能不能產生好的績效是不確定的;賺到足夠的錢,但同時不能忘了,還有很多人跟你一樣賺錢買房買車,甚至比你賺的更多,妹子的選擇也就更多,最后嫁給你還是嫁給別人也是不確定的。凱恩斯主義就更不用說了,幾年前的 4 萬億產生的后果,你我不都正在嘗著嗎?某公司抄襲,可是跟它一樣抄襲的公司多了去了,最后都剩下的卻寥寥無幾。

  事物的發展按照的是非線性邏輯,決定了事物具有”不確定性“的天然屬性。事物初始條件的細微變化都可能引起事物發展方向的極大扭轉,以致我們無法預料。如蝴蝶效應,墨菲定律說的就是這個。

  不確定性原理

  不確定性原理是量子物理學上的一個概念,它表明粒子的位置和動量不可同時被確定。由德國的量子力學奠基人之一維爾納·海森堡提出,也稱為”海森堡不確定性原理“。不確定性原理從量子層面解釋了不確定性是物質的固有屬性。

  通常情況下,不確定性原理易與為大家所熟悉的”觀察者效應“所混淆,觀察者效應是指被觀察的現象會因為觀察行為本身而受到一定程度或者很大程度的影響,也就是說由于事物被觀察了,從而導致了它的行為路徑發生變化。但這兩者是不同的,觀察者效應強調的是觀察本身對事物的發展所產生的影響,而海森堡不確定性原理強調的是事物本身所具有的屬性,跟觀察本身無關,這點是需要注意的。

  前文說到人類對于不確定性有著天生的恐懼,而事物本身具有不確定的天然屬性,這里存在著矛盾。而這種矛盾,正是激勵人類不斷向前追求真理的最大動力。但不管追求真理之路向前走多遠,對確定性的知識掌握總是有限,同時,對于一個個體來講,由于精力和智力所限,能掌握的確定性知識也更為有限。以至于完全靠真理和知識來克服對不確定性的恐懼,是不現實的。為了在真理和知識缺乏的情況下作出準確(或合適)的決策判斷,人類學會了概率思考,即從事物的歷史發展軌跡中統計分析將來的發展方向。建立了較為完善的數理分析理論,比如提出常見中心極限定理、正態分布、二項式分布等基礎的統計知識理論。

  在讀吳軍的《數學之美》一書,對于其中提到的馬爾科夫鏈預測模型印象頗為深刻。馬爾科夫鏈就是一個非常簡單的概率思考模型。

  二、馬爾科夫鏈

  前文說到,隨著時間的發展,事物所呈現的狀態是不確定的,也可以稱為是隨機的。比如我們可以將s1,s2,s3…、st,…看成是這一個月來深圳每天的最高氣溫,這里的每個st都是隨機的。同時,事物的每個狀態可能與它周圍其它的狀態相關,比如這一個月每天的最高氣溫,可能與深圳前段時間的最高氣溫相關。如果要把每個決定因素考慮進來,將會無比復雜,超出認知預測的范圍。為此,俄羅斯數學家安德烈·馬爾可夫提出簡化的假設:假設事物每個狀態,只與它的前一狀態相關,而不考慮歷史其它狀態。比如,我們預測明天的氣溫,只考慮今天氣溫,而硬性規定不考慮前天的氣溫情況。由于,這種狀態轉換的呈現出鏈表的形式,所以也稱為馬爾科夫鏈

  日常生活中,有很多事情可以用馬爾科夫假設來簡化的。比如在我們行走時,我們的下一位置,一般只與我們當前的位置(假設為5)有關,我們向前一步,位置就 +1(即為6),向后一步位置就-1(即為4),這個下一位置與我們當前位置之前的位置(1,2,3,4)沒有關系,可以忽略。當然,并不是每個事物都滿足馬爾科夫假設,比如彩票。

  而將馬爾科夫假設與事物狀態轉換概率結合來就可以建立一個簡單的預測模型。我們以天氣預測的例子來說明:

  根據日常經驗,我們看到當前的天氣狀態是多云時,天氣的下一個狀態可能會是下雨;而當雨水開始消退,云也減少時,接下來可能就是天晴了。我們收集某個地區十年內的天氣數據,計算出每種天氣(暫時限制為三種:多云,晴天,雨天)之間相互轉化的概率,統計結果如下表:

  以上轉換表可以用狀態機來表示:

  也可以用狀態轉換矩陣M來表示:

  有了狀態轉換矩陣,通過基本的矩陣運算,就可以對下一天氣狀態進行預測了。假設當前狀態是多云,即 100% 確認當前天氣為多云,可以用向量V來表示:

  對下一狀態的預測可以通過以下運算求得下一狀態 S2

S2 = V×M = [(1 ×0、1 + 0×0、3 + 0×0、4); (1×0、5 + 0×0、6 + 0×0、1); (1×0、4 + 0×0、1 + 0×0、5)] = [0、1; 0、5; 0、4];

  即可得下一狀態多云的概率為0、1,雨天的概率為0、5,晴天的概率為0、4,雨天的可能性最大

  繼續計算下一狀態 S3

S3 = S2×M =[(0、1×0、1 + 0、5×0、3 + 0、4×0、4); (0、1×0、5 + 0、5×0、6 + 0、4×0、1); (0、1×0、4 + 0、5×0、1 + 0、4×0、5)] = [0、32; 0、39; 0、29];

  不出意料,雨天的可能性還是最大。無論再計算多少步,結果都會是雨天的可能性最大。這是為什么呢?是因為狀態轉換表只保存了最后的一個狀態的信息,所有的狀態轉換只與最后一個狀態信息相關,所以,接下來的狀態也就逃脫不出初始狀態的約束了。這種只考慮最后一個狀態信息的馬爾科夫鏈稱為1 階馬爾科夫鏈。那如如果要提高準確性,使得下一狀態不只是受上一狀態的約束,該怎么做呢?可能你已經想到了,提升到多階馬爾科夫鏈*即可。比如 2 階馬爾科夫鏈的轉換概率表可以用如下的表格來表示(只畫出了1/3 部分,其它部分依次類推,共會有 18 種組合):

  以上 2 階狀態轉換表,表明了下一天氣狀態是由最后兩天的天氣決定,由它計算出來的結果準確性會比 1 階的矩陣計算結果要高,隨著階數的繼續遞增,準確性也會相應的提高。可是這個提高是有代價的,階數越高,計算的復雜性也就越大,而且是呈指數級的增長而非線性的增長。當階數增大一定程度,計算的復雜度超過人類現有的計算能力范圍后,問題也就變成了不確定性問題了。

  總結:

  世界萬物具有本質的不確定性,人類由于對不確定性的恐懼而選擇追逐真理。但是,完全靠真理來克服對不確定性的恐懼是不現實的,有時候我們需要學會接受不確定性,并通過概率思考來來對不確定性作出決策判斷。馬爾科夫鏈模型就是一個非常簡單的概率決策模型,是很好的概率思考實踐。

  最后 PS 一條:如果你沒法掌握足夠的股票市場一手信息,遵循“買漲不買跌”的原則進行股票交易的話,會比你各種無意義的推測要好的多!


網載 2014-07-13 19:58:09

[新一篇] 怎樣快速學會一門技術

[舊一篇] 國內安卓平臺對中小開發者友善度評測
回頂部
寫評論


評論集


暫無評論。

稱謂:

内容:

驗證:


返回列表