從例項出發,聊聊“平均值”和“辛普森悖論”

資料分析系列內容,“平均值”可靠嗎?辛普森悖論是什麼?總體區域性如何選擇?資料分析是如何應用到日常生活中的?這篇文章作者將詳細給出答案,透過白話方式介紹複雜問題。推薦對資料分析感興趣的童鞋閱讀。

從例項出發,聊聊“平均值”和“辛普森悖論”

00 寫在前面

不知道大家有沒有類似的經歷?有沒有曾經因為追求高階的演算法和工具而沒有及時交付最終的業務結果,最後被老闆一通批評;有沒有拿著一個單點的資料分析結果就給出了一個全面的結論和建議;有沒有給過一些因果倒置或者“倖存者偏差”的結論,導致業務走了彎路。這些經歷大家多多少少都會遇到,為什麼會犯這些錯誤?因為我們缺乏了一些基本的資料分析思維。

剛好最近一直在拜讀郭煒的【資料分析思維課】,講得很好,內容深入淺出,很接地氣。我們很多人缺乏的不是資料分析的理論,而是在實際場景中應用理論的能力,理論+實際場景=方法論,如何把看似浮在空中的理論落地到實際的工作場景中來,就需要透過

簡單易懂的案例和近似白話的語言傳達出來,這也是為什麼會有【白話資料分析】這個系列的原因。

無論你是什麼階段什麼水平,我們從生活/工作中最常見的案例出發,用最直白的文字把理論講清楚,真正掌握資料分析的基本思維和原理,這也是寫這個系列文章的初衷。

因為是白話,所以在這個系列文章中,

沒有晦澀難懂的公式和複雜的程式,我只是希望用大白話的形式,結合工作和生活中的各種各樣的例子,學會怎樣從資料分析的角度來解決這些問題,掌握一些資料分析最基本的知識

。放我們再看待同一件事情的時候,思路和以前不一樣了,可以從資料的角度來詮釋身邊發生的事情,用資料的思維來做出你的判斷。

01 舉個栗子

最近,公司的一位資料分析同事的競品分析報告裡提到:“我們客戶的平均客單價是 100元錢,競爭對手的只有 50 元,我們的客戶比對方的高階多了。所以我們產品要走高階路線”

這些結論可信嗎?還真不一定

再舉一個例子,某遊戲公司做了款遊戲,有 Android 和 iOS 版本。一個數據分析師看完使用者的付費資料後,發現整體上 iOS 付費率比較高。他就直接告訴老闆說,“我們 iOS的使用者付費率要高於Android的使用者付費率,我們應該集中資源開發iOS客戶端!”

這個結論可信麼?還真不一定

我們在日常生活中也會遇到這種情況,可以看到各種統計資料,“某市的人均住房面積是 120 平米”,“全國人均年收入超過 30 萬元”,看完這個資料之後,開始懷疑人生了,對不起,我那麼有錢我自己都不知道。

02 平均值為啥不靠譜?

以後看到這麼不專業的統計報告就別看了。稍微有點資料思維的朋友都知道,這是我們被平均了,那準確客觀的平均值統計應該是怎樣的?

首先,我們得知道平均值究竟是什麼。從概念上看,平均值有很多種。單從數學上來說,就有算術平均值、幾何平均值、平方平均值、調和平均值、加權平均值等等。當然,我們日常生活中提到的平均值都預設是“算術平均值”,也就是“一組資料中所有資料之和再除以資料的個數”。

這個概念很簡單,但是算術平均值有很大的短板,其容易受到極端值的影響而不能很好地表徵整體水平。它無法客觀準確地反映資料整體情況。更進一步來說,整體平均值是在資料呈均勻分佈或者正態分佈的情況下才會有意義,如果忽略整個資料的分佈情況,只提平均值,其實是沒有意義的。

這也就是為什麼你會在讀一些統計分析報告時覺得自己不是“被加薪了”,就是“被幸福了”。

03 啥是辛普森悖論?

好,再回到剛才的問題,統計報告說人均年收入達到了30w元,你很容易就會想到這裡面有些年薪很高的人拉高了整體水平,所以需要分開來看,這個時候就需要去看細分群體的平均值,比整體平均值更有意義。

整體平均值不能代表各細分群體情況,區域性群體結論和整體平均值結論可能會背道而馳。這個現象就是資料分析中最常見的“辛普森悖論”,

辛普森悖論是 1951 年由 E.H. 辛普森提出的,簡單來講就是在分組比較中都佔優勢的一方,有的時候在總評中反而是失勢的一方。指區域性的結論和整體的結論完全相反

再舉個例子說明一下,公司要對客服部的服務質量進行評估,我們發現無論是男生還是女生,一組的優秀客服比例都比二組好,但總體上一組的優秀客服比例卻比二組低。

從例項出發,聊聊“平均值”和“辛普森悖論”

一組的優秀客服比例是:(40+60)/(60+200)≈40%

二組的優秀客服比例是:(140+4)/(200+40)=60%

二組的的整體優秀客服比例明顯高於一組。再分開男女單獨比較:

一組女生優秀客服比例100%,高於二組女生的70%。

一組男生優秀客服比例30%,高於二組男生生的10%。

一組的男生優秀客服比例和女生優秀客服比例都比二組高,但為什麼一組整體優秀客服比例卻比二組低?二組的優秀客服比例高的原因在於二組女生多,一組女生少,一組女生表現雖然好,但人數太少,拉不起整個一組的表現,導致二組整體成績比一組好。細心的同學可能注意到了,這種悖論一般出現在分組樣本不均衡的情況下,上面的例子中,兩組男女性比例相差較大。

我們通常會講到“質量”這個詞,而且是一起出現,但實際上,“質”與“量”是兩個不同的方面,我們在考慮質的時候,一定要注意量的影響,我們如果把這兩者揉成一個“質”,就會出現辛普森悖論。

回顧一下文章開頭提到的案例,我們發現Android使用者的付費率比iOS使用者低,再細分下去就會發現,

我們也是錯誤地把“質”(付費率)和“量”(使用者數)混為一談,結論很有可能是錯誤的

因為很有可能出現這樣一種情況:Android 無論是男性還是女性的付費率分別都比 iOS 高,但是整體上因為Android男性使用者比較多,而iOS女性使用者比較多,簡單一點可以理解為,Android以男性使用者為主,iOS則恰巧相反,以女性使用者為主,佔據主導因素的Android男性的付費率比iOS女性的付費率要低,所以最終導致整體上Android使用者的付費率比iOS使用者低。

簡單的道理來說,就是Android最大的優勢(男性使用者)沒有比過iOS最大的優勢(女性使用者),這是決定最終整體走向的關鍵。

04 總體/區域性,我們信哪個?

那麼問題來了?如果真的出現了辛普森悖論,那我們到底應該相信整體的結論還是細分的結論?我想到這裡,大家應該比較清晰了,只要細分的使用者群體足夠大,有統計學意義上的顯著性,那一定是以細分結論為準,因為真理都是需要抽絲剝繭,藏在細節處。

但是如果細分的群體太小,比如上面的例子中,細分以後各組的使用者數都很小,不具統計學意義,那細分的結論就不可信了。

所以還是那句話,無論是整體還是細分,在看“質”的同時,一定要兼顧“量”的影響,這是理解辛普森悖論最重要的一點。

講到這裡,平均值和辛普森悖論也給我們一些生活上的啟發,

它告訴我們要抓大放小,把握住重要的東西,充分沉澱我們的優勢,這樣整體上我們就有更強的競爭力,不要因為某一個不重要的單項優勢就得意忘形,也不要因為一個微不足道的失敗就一蹶不振。

生活要有一顆平常心,我們的目標是讓我們這一生的“人生平均值”逐步提高。

本文由@資料分析星球 原創釋出於人人都是產品經理,未經許可,禁止轉載。

題圖來自 Unsplash,基於CC0協議

該文觀點僅代表作者本人,人人都是產品經理平臺僅提供資訊儲存空間服務。

頂部