【A/B Testing 手把手實作過程分享】by 張修齊

主題:【A/B testing 數據分析與決策 實務研討: A/B Testing 手把手實作過程分享】

講者:張修齊

時間:2018/10/05(五)

地點:台北

張修齊博士Jasper 是線上英語教學公司希平方的技術長,公司的收入來源是客戶購買課程。希平方在臉書曝光的文章,效果最好的【30天學好英文】,已經有140萬次點擊。他們的原則是只在可以追蹤的地方曝光。

思考架構

他舉了自己在美國旅遊自駕的囧事,谷歌地圖估計從舊金山到優勝美地要七小時的路程,他們悠哉的中午出發,邊玩邊吃邊買,預計傍晚到住宿地點結果卻開到午夜。

這個例子說明了客人行為跟我們想像的不一樣:從陌生人路過你的網頁,到真正購買,中間有太多可以分心跑走的節點了。A/B testing 就是在這個路徑中幫助你找到節點,抓到最多客戶的眼球。

這條路徑就是大名鼎鼎的銷售漏斗(sales funnel):從陌生人,訪客,潛在客戶,變成用戶,甚至推薦者的過程。

除此之外,Jasper 非常強調測試假設要有原因,與預期的有KPI (Key Performance Index關鍵指標)改善的幅度

『我相信紅色購買按鈕比綠色的能引起購買慾,因此能增加10% 的點擊率』,遠比『把按鈕從綠色改成紅色,會增加轉換率』來得好。

案例與核心問題

這次分享的案例是『在希平方的文章中,是按鈕(CTA, Call to action)還是排版,更能提升轉化率呢?電腦跟手機的效果一致嗎?』

測試的關鍵指標包含閱讀行為(沒看就跳出的比例、看到90%的比例等等)與購買行為(前往購買頁、前往體驗、看更多心得)。

第一輪測試中,新的CTA在各個指標都勝過原始版本,但是文章排版與購買點擊率的關係卻不太明朗:手機上面是舊版的較好,電腦上卻是新版的較好。

為了獲得更明朗的效果,團隊決定針對新舊排版再做一輪測試。想不到第二輪測試的結果變成兩種排版的CTA都沒有顯著的差異。

由此引發的核心問題是『關鍵指標(CTA)結果不明朗的時候,你會根據什麼下決定?』

一種方式是追求最大的信心水準:90% 信心水準太低,至少要95%,甚至要99%。另一種是用銷售漏斗中的其他指標,例如說閱讀率是否有變化。

至於希平方的團隊基於甚麼原因,做了什麼決定呢?在此不劇透,只能說上線後觀察一個月在電腦版與手機版的轉化率都提升了18% ~ 73%。

關鍵技術或小技巧

 

計算足夠樣本數。要先知道三大重點『基礎轉換率、最小可辨識效果、每日流量』,搭配目標的統計顯著性,就可以使用工具網頁算出最少要幾天的樣本數才能測出效果。

銷售漏斗中的關鍵指標都要追蹤。就算轉換率差異不大,閱讀行為可能會有差別。就此埋下未來購買的機會。但不要追蹤太多,會讓團隊難以下決定。

資源不夠的狀況下,如何決定測試題目呢?專注在轉換率(能換錢的東西)上面有很多測試想做的時候怎麼抉擇呢?

根據『商業影響程度』與『技術可執行程度』做個四象限排序。兩者皆優的是首選,其次是至少一種較優,若兩者皆不優的則是較不重要的題目。

【幼如心得】

A/B testing 差異太小看不出結果怎麼辦?

剛開始做測試時,最常犯的錯誤就是樣本太小、樣本太小、樣本太小,結果在小數點後兩位中比較幾乎看不見的差異不說,下次還可能無法再現。

主要的原因是因為捨不得可能會流失的機會,但究竟是真的流失了還是只是自以為流失呢?當時也不知道。

後來學乖了,開始做測試前,先判斷一下可能的差異多大多小,再按照差異決定樣本大小。如果這樣做了還是看不出差異怎麼辦?可能方案沒找到客戶心中的重點。至於怎麼判斷樣本大小夠不夠呢?試試這個A/B test Calculator

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *