如何評估付費會員專案價值?這個方法免費送給你

編輯導語:在滲透式專案中,往往需要透過測試對照來支撐運營快速決策,那麼哪一種測試對照才是科學有效的呢?本文從全量的AB測試對照的侷限性出發,提出了一種全新的付費會員對照評估方法,一起看看吧。

如何評估付費會員專案價值?這個方法免費送給你

一、現狀問題

隨著業務的發展,我們發現AB測試的全量對照存在較大的侷限性,比如在滲透式專案這種場景下,由於專案前期滲透率較低,透過全量的AB測試對照往往會導致整體增量價值不高,無法支撐運營快速決策是否可以持續投入專案。

什麼是滲透式專案?

滲透式專案是特指在運營週期內,可預見性地無法快速達到高使用者滲透率的產品,例如付費會員、積分等。它往往跟常規的AB測試中文案調整、UI最佳化等元素對實驗組使用者可以100%影響的專案相對。

二、解決方案

根據翻閱行業內的相關資料,筆者無法在行業內找到已經落地的可行的解決方案,於是沿著這個問題進行思考。

解決這個問題的核心點在於:

找到滲透節點的使用者的對照組,對比兩類使用者的使用者價值資料。

什麼是滲透節點?

可以理解為,滲透式專案的使用者核心行為節點即為滲透節點。例如:付費會員專案對應的「購買付費會員」行為節點,積分專案的對應「領取積分」行為節點。

評估步驟:

經過思考,找到了一個方法,由於行業內沒有找到其他人有發表過這種方法,暫且將此對照方法命名為「碧落對照法」,具體步驟如下:

1. 資料測試

根據常規AB測試方法對滲透式專案進行測試(這裡不對AB測試的知識做展開介紹,不理解的同學自行搜尋學習)。

假設該專案分兩組,分別是實驗組A及對照組B

2. 資料回收

1)回收AB組分別的大盤實驗進入使用者數及使用者價值資料。

如何評估付費會員專案價值?這個方法免費送給你

2)回收實驗組中滲透節點的使用者數及使用者價值資料。

3.資料分析

1)AB組滲透節點的使用者增量價值評估

實驗組A未滲透人群數量及價值測算:假設實驗組A未滲透的使用者數及對於的使用者價值為a3和A3,那麼:

a3=a1-a2,A3=A1-A2。

對照組B理論上滲透/未滲透使用者數量測算:假設a2和a3在對照組B中分別有兩組使用者對應,理論上使用者數量比例應當一致,我們假設對應的為b2和b3,那麼:

b2=a2*(a1/b1),b3=a3*(a1/b1)=b1-b2。

對照組B理論上未滲透人群價值測算:理論上,b3人群跟a3人群的人均價值一致,我們將b3人群的總使用者價值定義為B3,那麼:

B3=b3*(A3/a3)

對照組B理論上滲透人群價值測算:根據上述資料,很容易得出對照組B理論上滲透人群價值,我們認定為B2,即

B2=B1-B3

實驗組A滲透節點的使用者增量價值測算:

△實驗組A滲透節點使用者增量價值提升比例=(b2*A2/a2-B2)/B2

如何評估付費會員專案價值?這個方法免費送給你

如何評估付費會員專案價值?這個方法免費送給你

2)AB組大盤使用者價值資料對比

實驗組A大盤使用者增量價值測算:

△實驗組A大盤使用者增量價值提升比例=(b1*A1/a1-B1)/B1

如何評估付費會員專案價值?這個方法免費送給你

3)預估滲透式專案的滲透率上限,以此預估在高滲透率下專案的理論增量價值

假設該專案預估滲透率上限為X,顯然:1≥X≥a2/a1。假設在該滲透率狀態下,a2和a3人群各自的人均價值不變(實際上,隨著滲透率的逐步提高,兩類使用者的人均價值均有可能下降),那麼,在該專案滲透率狀態下,大盤的使用者增量價值將在新的狀態下得到整體的提高,測算邏輯跟現有狀態下測算一致。

4. 舉個例子

1)資料測試

以某APP付費會員專案為例,我們對付費會員專案進行AB測試,比例為5:5。

2)資料回收

a。 回收付費會員AB組分別的大盤實驗進入使用者數及交叉使用者資料。

交叉定義:某平臺的完成兩個及以上業務交易的使用者。

如何評估付費會員專案價值?這個方法免費送給你

b。 回收實驗組中購買付費會員的使用者數及對應的交叉使用者資料。「購買付費會員交叉率為24%=240/1000」

3)資料分析

a. 購買付費會員使用者增量價值評估

實驗組A未購買付費會員使用者數量及對應交叉使用者數:

實驗組A未購買付費會員使用者數量=10000-1000=9000。

實驗組A未購買付費會員使用者對應交叉使用者數=1050-240=810。「未購買付費會員交叉率為9%=810/9000」

對照組B理論上的購買/未購買付費會員使用者數量測算:購買付費會員使用者和未購買付費會員使用者理論上分別為:1000和9000。

對照組B理論上未購買付費會員交叉使用者測算:理論上,對照組B跟實驗組A中未購買付費會員的使用者交叉效率應該一致,那麼,對照組B中未購買付費會員交叉使用者數=9000*(810/9000)=810。

對照組B理論上購買付費會員交叉使用者測算:根據上述資料,很容易得出,對照組B理論上付費會員交叉使用者數=1000-810=190。

實驗組A購買付費會員的增量交叉使用者比例:

△實驗組A購買付費會員使用者增量交叉使用者提升比例=(240-190)/240=20.83%。

如何評估付費會員專案價值?這個方法免費送給你

如何評估付費會員專案價值?這個方法免費送給你

b. AB組大盤使用者價值資料對比

實驗組A大盤交叉使用者增量測算:

△實驗組A購買付費會員使用者增量交叉使用者提升比例=(1050-1000)/1000=5%。

如何評估付費會員專案價值?這個方法免費送給你

c. 預估滲透式專案的滲透率上限,以此預估在高滲透率下專案的理論增量價值假設該專案預估滲透率上限為50%。

假設在該滲透率狀態下,購買付費會員和未購買付費會員的交叉效率不變(實際上,隨著滲透率的逐步提高,兩類使用者的人均價值均有可能下降),那麼,在50%的滲透率下,對應的大盤增量交叉使用者提升比例=(2600-1000)/1000=130%

如何評估付費會員專案價值?這個方法免費送給你

三、總結

總結一下:

本方案的核心是,

透過模擬計算找到滲透節點使用者在對照組同樣的使用者的價值資料,以此取得相對合理的對照。

本方法具有一定的先進性:

在專案滲透率低且大盤價值增量對比不明顯時,本方案可以找到一個理論上的滲透節點使用者的對照組,能夠應用到運營上快速決策專案是否可以進一步推進。

但同時也有它的侷限性:

跟AB測試一樣,所有的增量資料只能反映當下的資料增量,不能直接視為長期的資料增量。

隨著滲透率的提高,專案預估高滲透率狀態下的理論增量價值實際並不準確,有可能盲目高估。

作者:碧落,微信公眾號:運營沉思錄

本文由 @碧落 原創釋出於人人都是產品經理,未經許可,禁止轉載。

題圖來自 Unsplash,基於 CC0 協議

頂部