【戰鬥,從A/B testing才開始】by 黃道育

主題:【A/B testing 數據分析與決策–戰鬥,從A/B testing才開始

講者:黃道育

時間:2018/10/05(五)

地點:台北

前言:聽完分享後,我很想幫Dennis 的自我介紹加上這個tag『擅長鼓勵業主持續進行測試』。是完完全全的真心稱讚,畢竟工作上,不僅我常想得到各種鼓勵、也很希望能提供主管、同事、team member 各種鼓勵。不管什麼499或是其他亂,讓我們一起充滿信心的航向大海吧~

身為分享會中唯一的乙方代表,圖靈數位的黃道育Dennis 的自我介紹簡直是火力展示:不但通過Google Analytics101/201/301,更是2017年的Google top Contributor。我尤其喜歡他自介中寫的『乘法人,游走於技術與行銷之間』,聽過分享後我覺得可以加上,『擅長鼓勵業主持續進行測試』

思考架構

Dennis 分享的四大步驟是『分析數據、假設期望、建構實驗與結果討論』,就結構來說跟前三位講者最大的差別在第一步要先分析數據

Dennise\提到這步驟的雙重難題在於要一邊清理資料,一邊讓甲方面對現實。因為至少有兩成的數據可能是有問題需要清理掉的,而很多客戶可能看到太多的數據就先崩潰放棄了。

經過這步驟後才能引導客戶建立假設與訂定測試目標,但是新手常常會提出不靠譜的方案,或者是遇到內部的阻力。

等克服這步後,又會面對缺少資源建構實驗的問題,例如購物網站要增加一個banner,可能排隊等工程師與設計同事就要排兩三個星期,還不知道實驗結果會不會成功。他推薦使用第三方測試用的工具Google Optimizer,用直覺拖拉式的方法調整頁面。

最後的結果呈現則可以運用『一頁式摘要』,用最短的篇幅讓關鍵人物了解實驗的結果。再搭配後續的客觀細節資訊,做補充說明。

由於實驗失敗是常態,有75% 的實驗會失敗,要用平穩但自信的語氣跟客戶傳遞實驗失敗是正常的。

甚至實驗成功時也還需要更謹慎,為了避免實際上轉換率沒有優化,卻被解讀為有的誤讀,有時候還會用AA測試進行檢查,等到確定無誤後才能上線。

案例與核心問題

有關資料不乾淨,Dennis 舉了個汽車貸款客戶的案例:他們發現按“立即預約”的客戶中,只有5% 真的會撥打電話,比例異常地低。

有這麼多客人都按錯按鈕嗎?將網站流量來源分開檢驗後發現,有個廣告商可能在流量上面做假:因為他們提供的流量,按下“立即預約”的比例異常地高,而真的撥打電話的一個也沒有。

關鍵技術或小技巧

測試新手,最該優先進行的是購物車優化。

沒有Basline的時候,就參考過去半年的效果

網站搬家的流量與營收都先砍半

做網站測試前,一定要讓公司其他單位知道:不可以在測試的時候進行網站改版(不然就白做了)

【幼如心得】

測試老司機聽到Dennis 的分享感到安慰,測試的現實不是黑魔術,而是各種坑坑疤疤。好事是,坑坑疤疤不是錯誤,不代表測試失敗;反而代表我們來到測試世界的現實。

記得駭客任務?那顆真實世界的藥丸,不是讓你人生更簡單的。是讓你進入另外一個世界。

另外一個世界不承諾輕易得來的幸福,但是你知道每個對跟錯是怎麼發生的。

歡迎拍打餵食按讚分享:
error0

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *