導(dǎo)讀：描述“富者愈富，窮者愈窮”的馬太效應(yīng)，以及經(jīng)濟(jì)學(xué)中的帕累托法則，其背后的數(shù)學(xué)模型是什么？在統(tǒng)計學(xué)中，它們可以被抽象成冪律分布。

作者：帕諾斯·盧里達(dá)斯（Panos Louridas）

來源：大數(shù)據(jù)DT（ID：hzdashuju）

內(nèi)容摘編自《真實(shí)世界的算法：初學(xué)者指南》

我們在城市規(guī)模中看到的模式：大多數(shù)人類居住地區(qū)的規(guī)模達(dá)不到以百萬來計數(shù)，但少數(shù)地區(qū)能達(dá)到數(shù)百萬人規(guī)模。在數(shù)字王國里，大多數(shù)網(wǎng)站的訪問量很低，但少數(shù)網(wǎng)站的訪問量非常龐大。在文學(xué)領(lǐng)域，大多數(shù)書籍幾乎無人閱讀，但少數(shù)書籍暢銷異常。

所有這些都讓我們回憶起“富者愈富，窮者愈窮”的現(xiàn)象。

在語言學(xué)中，這種現(xiàn)象被稱為Zipf定律，以哈佛的語言學(xué)家George Kingsley Zipf的名字命名，他觀察到在一種語言中第i位最常見的單詞出現(xiàn)的頻率正比于1/i。Zipf定律指出，在一個n個單詞的語料庫中，遇到第i位最常見單詞的概率為

其中

數(shù)Hn在數(shù)學(xué)領(lǐng)域出現(xiàn)非常頻繁，值得為它起一個名字——第n位調(diào)和數(shù)（harmonic number）。這個名字源自何處？它源于音樂中的泛音或稱和聲。一根弦以一個基波長震動，同時還以1/2，1/3，1/4，…的諧波長震動：這對應(yīng)一個無窮和，當(dāng)n=∞時，它被稱為調(diào)和級數(shù)（harmonic series）。

由于Zipf定律給出了一個事件的概率，因此也用它命名了對應(yīng)的概率分布。

在表11-1中，你可以看到一個英語語料庫（布朗語料庫，包含981716個單詞，其中有40234個不同單詞）中最常見的20個單詞，其經(jīng)驗(yàn)概率是通過統(tǒng)計它們在語料庫中出現(xiàn)的次數(shù)來計算的，而它們的理論概率則是根據(jù)Zipf定律/分布計算的。簡言之，我們給出了排名、單詞、經(jīng)驗(yàn)分布和理論分布。

• 表11-1 布朗英語語料庫中20個最常見的單詞及其概率和Zipf定律給出的理論值

在圖11-4中，我們繪制了表11-1中的數(shù)據(jù)。注意，分布只是為整數(shù)值定義的。我們增加了一條差值線來顯示總體趨勢。另外注意，理論概率和經(jīng)驗(yàn)概率并不是完全重疊。這是我們將一個數(shù)學(xué)模型應(yīng)用到現(xiàn)實(shí)世界時必須要面對的情況。

▲圖11-4 布朗語料庫中最常見的20個單詞的Zipf分布

當(dāng)我們發(fā)現(xiàn)一個快速下降的趨勢時，如圖11-4中的趨勢，就有必要檢查一下，如果我們將熟悉的x和y坐標(biāo)軸替換為對數(shù)坐標(biāo)軸會發(fā)生什么。在對數(shù)坐標(biāo)軸中，我們將所有值轉(zhuǎn)換為它們的對數(shù)后繪制出來，圖11-5給出了與圖11-4等價的對數(shù)坐標(biāo)圖：對每個y我們使用log y，對每個x，我們使用log x。

▲圖11-5 對數(shù)坐標(biāo)軸下布朗語料庫中最常見的20個單詞的Zipf分布

如你所見，理論分布的趨勢現(xiàn)在變?yōu)橐粭l直線，經(jīng)驗(yàn)分布看起來位于理論預(yù)測值上方一點(diǎn)。在大多數(shù)情況下，理論分布與我們實(shí)際觀測的結(jié)果會有一些不同，而且，兩個圖只顯示了包含前20個最常見單詞的子集，因此，基于它們我們不能真正判斷是否吻合。

為了觀察真正發(fā)生了什么，請查看顯示了布朗語料庫中所有40234個不同單詞的完整分布的圖11-6和圖11-7。有兩個現(xiàn)象凸顯出來：首先，除非我們使用對數(shù)刻度，否則圖是無用的，這很好地說明了分布有多么不均勻，我們必須使用對數(shù)值，否則任何趨勢都不可見；第二，一旦我們使用了對數(shù)坐標(biāo)軸，理論值和經(jīng)驗(yàn)觀察結(jié)果的吻合要好得多。

▲圖11-6 布朗語料庫的經(jīng)驗(yàn)分布和Zipf分布

▲圖11-7 對數(shù)坐標(biāo)軸下布朗語料庫的經(jīng)驗(yàn)分布和Zipf分布

在對數(shù)刻度下，我們能看清所有東西，因?yàn)閆ipf定律是冪率（power law）的一個特例。冪率是指一個值出現(xiàn)的概率正比于此值的負(fù)指數(shù)，用數(shù)學(xué)語言描述就是：

P(X=x) ∝ cx-k，其中 c ＞ 0，k ＞ 0

在此公式中，符號∝表示“正比于”?，F(xiàn)在我們可以解釋為什么對數(shù)圖是一條直線了。如果有y=cx-k，我們可得y=log(cx-k)=log c-klog x。最后一部分就是一條直線y，截距等于log c，斜率等于-k。因此當(dāng)我們遇到在對數(shù)圖里成一條直線的數(shù)據(jù)時，就是其理論分布可能是冪率的明顯信號。

經(jīng)濟(jì)學(xué)中冪率的一個例子是帕累托法則，它指出80%的結(jié)果源自20%的起因。在管理學(xué)和流行的大眾理解中，其含義通常變?yōu)?0%的人做了80%的工作。在帕累托法則中可以證明P(X=x)=c/x1-θ，其中θ=log 0.80/log 0.20。

冪率是如此普遍，以至于在過去二十年間產(chǎn)生了一個研究相關(guān)現(xiàn)象的完整領(lǐng)域似乎任何事情都有冪率現(xiàn)象隱藏在背后。

除了在介紹馬太效應(yīng)時已經(jīng)提到的例子外，我們還發(fā)現(xiàn)冪率出現(xiàn)在如科技論文的引用、地震震級和月球隕石坑的直徑等如此不同的領(lǐng)域中，還有生物物種隨時間推移而增多、分形學(xué)、食肉動物的覓食模式以及太陽耀斑的射線峰值強(qiáng)度，其中也都有冪率現(xiàn)象存在。

這個列表還能繼續(xù)增加：一天中長途電話的數(shù)量、停電影響的人群數(shù)量、姓氏出現(xiàn)的頻率等。

這種規(guī)律有時似乎是憑空冒出來的。例如，一個相關(guān)的定律是Benford定律（Benford's law），因物理學(xué)家Frank Benford的名字而命名，也被稱為第一位法則（First-Digit law）。它指出了在很多種類的數(shù)據(jù)中數(shù)字頻率的分布。

具體地，它指出，一個數(shù)的第一位數(shù)字是1的概率是30%，從2到9每個數(shù)字出現(xiàn)在第一位的頻率逐漸降低。用數(shù)學(xué)語言表達(dá)，這個定律指出，一個數(shù)的首位數(shù)字是d=1，2，…，9的概率是

如果我們計算每個數(shù)字的概率，就會得到表11-2中的結(jié)果。表中的數(shù)值告訴我們，如果數(shù)據(jù)庫中有一組數(shù)，其首位數(shù)字為1的概率約為30%，大約有17%的數(shù)會以2開頭，大約有12%的數(shù)會以3開頭，依此類推。

• 表11-2 Benford定律，給出了數(shù)字出現(xiàn)在一個值首位的概率

圖11-8中給出了Benford定律的一個圖示。看起來和齊普夫分布沒有太大不同，因此我們可能想知道如果用對數(shù)坐標(biāo)軸繪制的話圖會變成什么樣子。圖11-9給出了結(jié)果，幾乎就是一條直線，意味著Benford定律與冪率相關(guān)。

▲圖11-8 Benford定律

▲圖11-9 對數(shù)坐標(biāo)軸下的Benford定律

Benford定律的廣度令人震驚。它適用于如物理常量、世界上最高建筑物的高度、人口數(shù)、股票價格、街道地址等如此不同的數(shù)據(jù)集，還有很多。

實(shí)際上，它看起來如此普遍，以至于一種檢測偽造數(shù)據(jù)的方法就是檢查包含的數(shù)值是否不服從Benford定律。欺詐者會修改真實(shí)值或用隨機(jī)值替代真實(shí)值，他們不會注意得到的數(shù)值是否服從Benford定律。因此如果我們遇到一個看起來可疑的數(shù)據(jù)集，最好先檢查首位數(shù)字是否服從Benford概率。

如果我們的搜索模式反映了數(shù)據(jù)分布模式，即如果記錄的關(guān)鍵字服從Benford定律，且我們正在搜索的關(guān)鍵字也服從Benford定律的話，Benford定律可能影響我們的搜索。如果是這種情況，會有更多的記錄具有以1開頭的關(guān)鍵字，對這些關(guān)鍵字的搜索也會更多，以2開頭的關(guān)鍵字少一些，依此類推。

關(guān)于作者：帕諾斯·盧里達(dá)斯（Panos Louridas），曼徹斯特大學(xué)軟件工程博士，現(xiàn)為雅典經(jīng)濟(jì)與商業(yè)大學(xué)管理科學(xué)與技術(shù)系副教授。在加入高校之前，曾在投資銀行擔(dān)任高級軟件工程師。

本文摘編自《真實(shí)世界的算法：初學(xué)者指南》，經(jīng)出版方授權(quán)發(fā)布。