【實驗驅動成長-財報狗使用的方法論及經驗分享】by 林威宇

主題:【A/B testing 數據分析與決策 實務研討:實驗驅動成長-財報狗使用的方法論及經驗分享

講者:林威宇

時間:2018/10/05(五)

地點:台北

財報狗的介面簡潔,資訊好讀,是我查詢股票資訊的首選,周遭也有很多朋友熱愛。當年輕的林威宇說『我們公司的四個人中,只有我不會寫Code,其他都是工程師』,我的下巴跟膝蓋都一起掉下來。下巴掉下來是因為驚訝,膝蓋掉下來是對這四人團隊的敬佩。

林威宇引用了GrowthHackers 網站上面著名的文章【High Tempo Testing Revives GrowthHackers.com Growth】:網站的不重複使用者在十一週內從每月9萬人成長到15萬人,成功的關鍵只因為發了狂地做測試。失敗的測試指的不是實驗無效,而是沒有學到東西。

思考架構

用A.R.C 與 I.C.E 為測試點子排序。

在財報狗,凡事皆可測試:從廣告網頁投放與文案、註冊網頁的版面配置、到新的股票健診工具… 而測試的指標可以分為三大類別:『獲取、留存、轉換』

Acquisition 獲取:增加新訪客的成功率

Retention 留存:從首次進站後,未來幾週的客戶回訪率

Convertion 轉換:變成付費客戶的轉換率

測試越多越好,但是只有三個工程師,還要負責寫新工具。該如何決定優先順序呢?林威宇推薦使用I.C.E 來評估優先順序,每個都標明1分(最低分)到9分(最高分)

I = Impact,影響幅度大小

C = Confidence,對這個點子的信心度

E = Ease ,測試的容易程度

I7C7E2 就代表高影響幅度、高信心指數,但做起來難度不低。

I5C7E9 則代表影響幅度中等、高信心指數,做起來超級容易。

最後再用 Idea Log 紀錄每個想測試的點子:標明測試目的是屬於獲取、留存、轉換,以及自我評定在影響、信心、容易程度上面的分數。

案例與核心問題

林威宇分享了一個『個股健診模組』相關測試,目的是提高留存率。

該測試假設新註冊的使用者是為了檢定一間公司是否值得投資,但站上的工具不知道該如何使用。因此若能藉由提供簡易健診模組,降低工具使用門檻,就能改善第零週的上站天數與第一週的回訪率。結果客戶留存率並沒有提升,但付費轉換率卻提高了。

 

這個測試反應了一個常見的重要問題:實驗失敗。我想像中工程師是這樣的:

儘管大家都知道大量的測試對成長的重要性,但是一再的失敗會傷害工程師的成就感與士氣。更何況高達三分之二的測試都會以失敗結尾,要如何讓工程師願意繼續做測試呢?

講者分享的方法是用數字管理資源:為了高速成長,線上同時要有X個不同主題的測試同時進行,以達成公司的高速成長。當工程師可以預期測試數量,並且以此分配自己的時間資源,對測試的阻力就小了許多。

關鍵技術或小技巧

點子哪裡來?過去有效的實驗、心理學理論的發想、對使用者流程的研究、抄別人的

點子有用了怎麼辦?一用再用、用到極致、用到爆。

點子庫裡面有什麼?除了有實驗規劃外,還要有開發中、進行中、排隊上線以及已經完成的實驗。

【幼如心得】

林威宇講話很快,然後會喃喃自語:我這樣很難懂嗎?

我可以想像他平常聽音頻是用五倍速(得到app 技術總監快刀青衣講過,他們有群客戶用五倍速聽音頻,還覺得這樣速度才合理。我自己平常是用1.5倍,偶爾會用2倍)、

跟同事討論事情時候會忍不住找同事身上有沒有加速按鈕(並沒有,世界上只有你這麼沒禮貌好嗎?)

但我可以想像『有大部分的測試以失敗告終,想要作更多測試以得到更好的業績與收入,但能幫忙做測試產品的人都不想再測試了,看得出來他們內心大吼「讓我做產品!」,再不讓他們做產品,人員就要流失了』這種巨大的悲劇

怎麼辦呢?測試狗們,做個測試資料庫,自我管理(哪些是重要的,哪些是緊急的。哪些只是做開心的。嗚嗚,我也想開開心心做測試啊)也許是個起步吧。汪。汪。

發表迴響

你的電子郵件位址並不會被公開。 必要欄位標記為 *