主題：【A/B testing 數據分析與決策 實務研討: A/B Testing 手把手實作過程分享】
講者：張修齊
時間：2018/10/05（五）
地點：台北
張修齊博士Jasper 是線上英語教學公司希平方的技術長，公司的收入來源是客戶購買課程。希平方在臉書曝光的文章，效果最好的【30天學好英文】，已經有140萬次點擊。他們的原則是只在可以追蹤的地方曝光。
…
思考架構
他舉了自己在美國旅遊自駕的囧事，谷歌地圖估計從舊金山到優勝美地要七小時的路程，他們悠哉的中午出發，邊玩邊吃邊買，預計傍晚到住宿地點結果卻開到午夜。
這個例子說明了客人行為跟我們想像的不一樣：從陌生人路過你的網頁，到真正購買，中間有太多可以分心跑走的節點了。A/B testing 就是在這個路徑中幫助你找到節點，抓到最多客戶的眼球。
這條路徑就是大名鼎鼎的銷售漏斗(sales funnel)：從陌生人，訪客，潛在客戶，變成用戶，甚至推薦者的過程。
除此之外，Jasper 非常強調測試假設要有原因，與預期的有KPI (Key Performance Index關鍵指標）改善的幅度。
『我相信紅色購買按鈕比綠色的能引起購買慾，因此能增加10% 的點擊率』，遠比『把按鈕從綠色改成紅色，會增加轉換率』來得好。
案例與核心問題
這次分享的案例是『在希平方的文章中，是按鈕(CTA, Call to action)還是排版，更能提升轉化率呢？電腦跟手機的效果一致嗎？』
測試的關鍵指標包含閱讀行為（沒看就跳出的比例、看到90%的比例等等）與購買行為（前往購買頁、前往體驗、看更多心得）。
第一輪測試中，新的CTA在各個指標都勝過原始版本，但是文章排版與購買點擊率的關係卻不太明朗：手機上面是舊版的較好，電腦上卻是新版的較好。
為了獲得更明朗的效果，團隊決定針對新舊排版再做一輪測試。想不到第二輪測試的結果變成兩種排版的CTA都沒有顯著的差異。
由此引發的核心問題是『關鍵指標（CTA）結果不明朗的時候，你會根據什麼下決定？』
一種方式是追求最大的信心水準：90% 信心水準太低，至少要95%，甚至要99%。另一種是用銷售漏斗中的其他指標，例如說閱讀率是否有變化。
至於希平方的團隊基於甚麼原因，做了什麼決定呢？在此不劇透，只能說上線後觀察一個月在電腦版與手機版的轉化率都提升了18% ~ 73%。
關鍵技術或小技巧
計算足夠樣本數。要先知道三大重點『基礎轉換率、最小可辨識效果、每日流量』，搭配目標的統計顯著性，就可以使用工具網頁算出最少要幾天的樣本數才能測出效果。
銷售漏斗中的關鍵指標都要追蹤。就算轉換率差異不大，閱讀行為可能會有差別。就此埋下未來購買的機會。但不要追蹤太多，會讓團隊難以下決定。
資源不夠的狀況下，如何決定測試題目呢？專注在轉換率（能換錢的東西）上面有很多測試想做的時候怎麼抉擇呢？
根據『商業影響程度』與『技術可執行程度』做個四象限排序。兩者皆優的是首選，其次是至少一種較優，若兩者皆不優的則是較不重要的題目。
【幼如心得】
A/B testing 差異太小看不出結果怎麼辦？
剛開始做測試時，最常犯的錯誤就是樣本太小、樣本太小、樣本太小，結果在小數點後兩位中比較幾乎看不見的差異不說，下次還可能無法再現。
主要的原因是因為捨不得可能會流失的機會，但究竟是真的流失了還是只是自以為流失呢？當時也不知道。
後來學乖了，開始做測試前，先判斷一下可能的差異多大多小，再按照差異決定樣本大小。如果這樣做了還是看不出差異怎麼辦？可能方案沒找到客戶心中的重點。至於怎麼判斷樣本大小夠不夠呢？試試這個A/B test Calculator