(1) A/B測試
A/B測試是最簡單的網站測試類型.通常也最容易設置。因此,許多網站測試新手都首先學習和使用它。這種基本測試形式在任何測試工具(不管何種級別)中都可以運行下面是在優化工作中使用用A/B測試的優點和缺點。
優點:這類測試對于測試專業知識較少的人,或者只需要一次測試頁面上的一個元素以比較兩個不同頁面變量的性能時很理想。對于運行基本的重復測試,了解多變量測試中的獲勝元素是否真正勝過控制版本的情況也很理想。因為這種測試通常不太復雜,所以獲得明顯的測試結果并確定勝者所需要的流量比多變量測試少。
缺點:如果你測試一個包含不同元素(例如,不同的標題、圖片以及行動號召)的的全新頁面,將其與當前版本比較,就無法確定新頁面的哪些元素對轉化的影響最大。這是為這種測試只能測量整個頁面的性能,而不是頁面某個部分。進行這種測試還可能導致推出對轉化略有負面影響的元素。測試頁面上許多元素可能花費很多的時間.,因為每個頁面元素在理想狀況下需要單獨的A/B測試。
大部分在線營銷人員都從使用這種更簡單的測試形式開始,然后再進化到更復雜的測試類型,如多變量測試(下面將做說明)。圖2.8展示了一個例子,兩個不同風格的頁面在A/B測試中進行比較,它們的模塊布局、橫幅和圖片都不同 。
(2) 多變量測試
多變量測試(Multi Variate Test.MVT)設計用于以更快的速度和更好的易用性同時測試多個頁面元素。
為了幫助你更快地測試多變量測試中元素的數百種不同組合,大部分測試工具使用田口統計方法(也稱作部分因子測試)來提出代表性的測試內容組合樣本,而不是測試所有組合。
有些工具(如Google網站優化器)實際上同時測試所有不同的組合(叫做全部因子測試),但是這需要非常高的流量和較長的周期才能獲得顯著的測試結果。有些工具可以選擇使用這兩類多變量方法。
下面是在優化工作中使用MVT的優點和缺點:
優點:這些測試非常適合于在一個頁面或者一系列頁面上同時測試許多元素。這種測試的另一個主要優點是能夠確定哪些元素對提升轉化有最大的貢獻,從而幫助你了解未來需要測試的頁面元素
缺點:因為需要許多不同的測試組合,所以多變量測試通常基于測試版本組合(稱稱為配方 Recipe)的采樣(部分因子).這可能導致你遺漏某些可能最佳的元素組合。有些專家甚至懷疑使用部分因子方法測試的有效性,但幸運的是,有些方法能夠克服這一問題。另一個問題是獲得結果所需的流量水平往往高于AB測試,特別是在一次測試4個以上的頁面元素時。
圖2.9展示了可以在網站設計多變量測試中同時測試的兩個頁面元素組合(每個模塊用不同的字母標注).測試可以找出表現最佳的元素組合 。
本文地址:http://murenxiang.com.cn//article/2646.html