【不知道產品好不好?讓A/B testing來解答吧】by 吳憲達

主題:【A/B testing 數據分析與決策–不知道產品好不好?讓A/B testing來解答吧】

講者:吳憲達

時間:2018/10/05(五)

地點:台北

前言:你相信姓名學嗎?如果姓名學沒有道理,為什麼姓吳而且名字裡面有憲的這位創辦人像吳宗憲一樣好笑呢?研討會當天女性聽眾反應之踴躍,完全可以想像他為什麼要邀請老婆出席(然後老婆長得更可愛,聲音又好聽。昏倒)

看到分享者來自【玩運彩】,我原本以為是發行彩券的【台灣運彩】,想不到是專業運彩社群網站,而分享者吳憲達,阿達,是玩運彩公司的創辦人。

【玩運彩】從’09年發展至今已近十年,不但是Android 與iOS 運動類App 的第一名,在Alexa 的台灣網站排名上,也高居第46名。目前每月流量近百萬,收入來源為賣廣告與高手預測。

思考架構

阿達分享了他們公司用的新產品開發九大步驟,要到第六步驟才會進入測試:

  1. 訪談
  2. 產品定義
  3. 製作最小可行性產品(MVP,Minimum Viable Product)
  4. 最小可行性產品測試
  5. 開發產品
  6. A/B 測試
  7. 問卷
  8. 上線
  9. 優化

因為A/B testing 是有成本的,所以在進入測試前會想盡辦法了解使用者、做好產品,提高測試的成功率,避免浪費測試成本。

而測試中對使用者做問卷,常常可以幫助最後的決定。

案例與核心問題

阿達大大分享了很多案例,我印象最深的是『明燈改版』

『明燈』是高手預測職業賽事結果,每個高手就如同一盞明燈,使用者購買高手預測,是重要的收入來源。

過去的明燈列表只有高手的名字與等級,隨著使用者與高手增加,越來越多人會記不住哪個高手是哪個,想知道每個高手的戰績如何則需要一個一個點進去才能看到。

阿達跟同事們做了改版:明燈列表上每個高手都配備照片還有過去的關鍵勝率。希望這樣的改版能夠提升明燈的訂閱人數、瀏覽量以及銷售額。結果訂閱人數、瀏覽量都有提升,但是居然沒有統計顯著。更別提銷售額沒有差異了。

但團隊覺得這個產品真的比較好啊,難道分數一樣就不上線了嗎?從問卷發現使用者其實是滿意的也喜歡的。於是重新將使用者分群,觀察『中重度使用者』的相關指標,發現在瀏覽量的部分有顯著提升。

觀察指標沒有提升,但是主要消費群的中重度使用者看得比較多,而且所有的使用者都表示比較喜歡新版的網頁。那還猶豫什麼呢?就上線吧。

阿達的分享有趣在,當你自己就是老闆,自己擔起全公司的風險,不再需要說服其他人該怎麼開發產品或者分配資源,你會怎麼做呢?A/B testing 作為產品開發的一環,可以跟問卷配合幫助下更好的決定。

關鍵技術或小技巧

實驗組的使用者不宜太多,因為可能推出不夠好的產品。

使用貝氏定理的檢驗方式,測試出來的不是有95% 的信心會成功,而是有95% 機率會成功。

新功能上線後,等到客戶熟悉該功能才能看測試結果。第一週的測試數據,結果可能有偏差。至少等2~3周後才能看結果。

如果可以的話,用自己的log 來看測試結果。因為自己的log 不但可以排除極端值,也可以只看某些組別或裝置的使用者。這些都是第三方 A/B testing 工具比較沒辦法做到的。

【幼如心得】

我被前輩質疑過:『測試很好,但是你只有測試這一招嗎?』

(其實我一招都沒有,中箭倒地)

但話說回來,測試學習是商業決策重要一環,而且是非常非常重要的一環

但並不是全部

當實驗的結果跟你對未來的認知不同的時候

當你想不出方法實驗如何拉新、留存、裂變… 的時候

當競爭對手夾資本力量跑得比你做夢想到的還快的時候

我們不就只能鼓著勇氣,拿著手上僅有的證據

發抖的做決定嗎?

好在永遠可以ORID、自我反省啊

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *