可用性測試溯源:5個人就夠了?

編輯導語:做可用性測試時,要注意什麼?大廠在做可用性測試時有什麼不一樣?找多少個使用者做可用性測試才合適?本文就此問題做了分析和解答,希望對你有所幫助。

可用性測試溯源:5個人就夠了?

你是否常常覺得看不懂“可用性測試”這個東西,感覺它做法複雜、又不知道具體哪些環節必須做、哪些環節不用做?“大廠”做可用性測試是否會更嚴謹、寫更多文件?究竟找多少個使用者做可用性測試才合適?

假如你有以上疑問,這篇文章適合你繼續閱讀。本文部分觀點來自《人因學手冊》handbook of human factors and ergonomics的“可用性測試”一章。

一、你也是半個心理學家

我之前反覆提過,我們體驗設計現在的主流研究方法大部分從社會學或者心理學裡移植而來,而可用性測試就直接脫胎於認知心理學的看家研究方法

“實驗法”

假如有讀者小時候上幼兒園的職業理想曾經是“做實驗、當科學家”,那麼恭喜你,當設計師會做可用性測試,某種程度上也算是部分實現了你當年的心願。先給自己一點鼓勵。

認知心理學的基本思路是把人的心理活動理解成一套像精密機械一樣的資訊加工系統,裡面的各個零件可以拆開來各自研究的:比如人的注意力、記憶,或者某種感受。它有許多的研究內容都是很微觀的概念和現象,這些(短期)現象發生得非常快、並且在自然環境下受各種因素影響干擾,很難測量。

因此為了在現象或概念間建立有力的因果關係,認知心理學作為橫跨社科和自然科學兩個領域的一門學科,向自然科學取經從而發展出了很成熟的控制實驗技術(包括咱們比較常見的眼動儀實驗)。

這個方法後來輻射到了各個其他社會學科中,又誕生了“實地實驗”(field experiments,自然實驗/社會實驗)的說法,其思路很像我們今天經常做的AB test。

還是拿我們上篇文章的“可愛小貓論”作案例,假設你是一個很有才華的心理學家,發現小貓可愛程度會影響人的身心健康,養越可愛的貓越有利於身心健康。你要如何證明這一點?

可用性測試溯源:5個人就夠了?

我們需要確定這個現象普遍廣泛存在,而不是僅僅存在在你這個貓奴身上的個例,因此一定需要透過定量的方法做驗證。

在現實生活中能對人的身心健康產生影響的東西太多了,比如這個月老闆老給你穿小鞋,導致你身心受到了巨大打擊;下個月你苦練搏擊,身心健康又增長不少,那麼如何從這麼多因素中抽離出貓咪對你的影響,而過濾職場/鍛鍊/飲食等其他因素的影響?

也許養貓和身心健康是有關係,但其實是身心健康較弱的人更不願意養貓,而非反過來——如何能準確探究這兩個因素的關係?

答案是

在實驗室環境下嚴格地控制變數

,透過對實驗環境和環節的科學設定、對被試者情況的篩選和抽樣來確保得到精準的結果。

比如你可以假設被試對貓的喜愛程度、貓的可愛度都可能影響實驗結果,所以你可以被試分成4個單元小組:不可愛的貓配不喜歡貓的人、可愛的貓配不喜歡貓的人、不可愛的貓配喜歡貓的人、可愛的貓配喜歡貓的人。

在測量了人的初始身心健康程度後,讓他們與貓呆3小時,然後再次測量人的身心健康程度。此外還需要配備一個對照組,這個組的人只能看3小時動畫片——這就是一個很簡單的小實驗。

可用性測試溯源:5個人就夠了?

由此可以看出控制實驗法和其他的研究方法相比,完全脫離了情境,所以實驗室內的結果是否可以推廣到實際生活中去,是需要打一個大大的問號的,但正因為如此,實驗法也為驗證因果關係創造了可能性。這一點也就是我之前在

不要從“互動設計定理”入門互動設計

中強調的。

說回到咱們的可用性測試,根據《人因學手冊》的說法,可用性測試在80年代初被提出後馬上在80~90年代風行於業界,影響了施樂(Xerox)、蘋果、IBM等一代明星公司的產品評估流程。

在可用性測試引進之初從業者仍然比較嚴格地遵守控制實驗的方法,對測試的環節設計、環境設定要求十分嚴格,

是一種主要用於評估/對比設計方案的、定量的、脫離情景的手段

舉個例子,為了得到比較嚴謹的結果,可用性測試應該:

做預測試:在設計完實驗流程後需要先找一些被試,看看控制變數的手段是否有效

考慮組內實驗還是組間實驗:比如是找同一個使用者測試3組設計圖,還是3個不同的使用者每人測試1組設計圖

考慮實驗順序:假如找同一個使用者測試3組設計圖,那麼先看哪個、後看哪個

……

此外,各個公司會為了可用性測試搭建專門的、昂貴的可用性實驗室。在實驗室環境下對使用者釋出任務、進行測試,主要是為了規避噪音、燈光、外來人員打斷等干擾因素對實驗結果的影響。比如下圖就是一個典型的可用性測試實驗室。

可用性測試溯源:5個人就夠了?

二、發展與“5個就夠了”

90年代後隨著可用性測試相關的應用和研究快速發展,可用性測試的概念也從

驗證性研究逐漸擴充套件到形成性的、探索性研究

對可用性測試的要求也遠遠沒80年代那麼高了,到今天據我所知很多廠的使用者研究部門把可用性測試理解地很寬泛,只要和使用者有接觸、只要設定了任務,都可以勉強講是“可用性測試”。

這樣做測試不再需要嚴格的實驗室環境與變數控制技術,反而更加偏向實地調研,讓使用者在自己熟悉的環境中完成任務。

造成這個發展的原因其實有很多:

(1)軟體開發模式變了

70~80年代盛行的瀑布流式開發,要求軟體的設計開發者一次性完全完成一個環節後,再邁入下一個環節。比如你做設計時,需要提前想好未來需要應對的所有場景,一次把幾千張設計圖全部交付開發,開發開始寫所有的頁面,寫完了這幾千張圖再上市。

這種開發模式在90年代被

敏捷開發或迭代開發

逐漸替代,這要求設計者出一版能用的先做出來,根據使用者反饋再迭代之前的想法。因此,設計師對於

快速定位設計問題

的訴求大大提升,而可用性測試作為一種有使用者參與的評估方式(可能是唯一一種),可以滿足這種訴求。

(2)從調研目的的角度上來講,我們作為設計者說到底和科學家做的事兒是不同的

對於科學家來講研究概念之間的相互關係是有意義的,其最終的目的是形成一個具有解釋力的學說。但對於設計師來說我們需要選出更優的設計,但並不關心究竟是哪個變數導致了設計最優、變數之間相互的關係是啥。

比如你可能做了兩個稿子,A稿紅色按鈕放右邊、B稿橙色按鈕放左邊,終端使用者覺得B稿好,你的研究就結束了;而心理學家需要去思考到底是位置、顏色,還是別的什麼因素影響了使用者的什麼體驗,最終導致使用者的決策?

對控制變數的嚴格要求,最終導致做一場嚴格的控制實驗

成本超高

,除去複雜的控制變數帶來的成本以外,為了讓整個實驗可以使用統計學分析,一般會要求

每個單元小組的樣本量大於30

——做學術也許可以不那麼考慮成本,但企業總是會思考投入產出比。

可用性測試溯源:5個人就夠了?

比如90年代軟體業界就曾經把當時出現的

專家啟發式評估、認知走查

這些無需使用者參與、專家進行即可的方法當成可用性測試的廉價替代品。雖然後來被證實沒有方法可以替代使用者評估——專家走查出來的問題往往不是真實使用者遇到的問題,而往往是一無傷大雅的小細節。

(3)90年代尼爾森寫了一篇關於可用性測試樣本量的文章,極大地鼓舞了用可用性測試做探索性研究、尋找可用性問題的做法

這篇文章我最開從《使用者體驗度量》裡讀到,我把這個理論叫“5個就夠了”論。

可用性測試溯源:5個人就夠了?

尼爾森將此前為一些產品做的可用性測試與專家評估結果整理了一下,用一個泊松模型來預測參與可用性測試的使用者數或參與評估的專家數與最後找到的可用性問題的比例之間的關係,最終“發現5個使用者就能發現83%的問題”。

下面這張圖能看出來假如拆分了可用性測試和專家評估,那麼可用性測試需要的人數稍微多一些,5個使用者大約能發現70%的問題。

可用性測試溯源:5個人就夠了?

現在看來尼爾森這個模建得說不上多麼精細。注意這個圖裡的因變數是百分比,“1”代表“所有被發現的問題”,而不代表“本系統所有可能存在的問題”,所以尼爾森這個結論正確的解讀方式是,假設他們測試了20個使用者最終發現了10個問題,那麼5個使用者就能發現其中8個問題。

這種問題的重疊很有可能是因為對使用者的不當抽樣帶來的。比如我們現在很多系統存在不同的使用者角色與使用者場景,使用者個體的技能水平也有差異,因此不同使用者組的關注點、問題點可能都是不一樣的,很可能這一組使用者找不到另外一組的問題,這一點在《使用者體驗度量》也有所說明。

後來尼爾森在他公司的網站上對“5個就夠了”論做出了補充,當前版本的可用性測試結合了設計迭代的動作,更偏向定性的、個案研究的思路。按他現在的話來講,可用性測試這個事情應該多次多輪的進行:首先選取5個人可用性測試-然後馬上對設計進行修改和迭代-再找另外5個人重複進行可用性測試,看看他們有沒有新的觀點,如此多輪往復,最終打磨出一版好設計。

三、怎麼做更好

我們總結一下:假如你不太熟悉可用性測試的發展脈絡,那可能會對這個東西有點犯迷糊:一會要設定任務,一會要發問卷,一會又要觀察使用者的動作;一會5個就夠了,一會又要多找幾個人。簡單來講:

假如你做可用性測試是為了發現問題,5個人夠了。雖然要設定任務但不需要太嚴謹,以快取勝

假如你做可用性測試是為了對比方案/評估方案的

優劣程度

,5個人不夠。嚴格來說每個組至少30人,但我們畢竟不做學術,少一點也勉強可接受。雖然今天已經基本不做嚴格的實驗設計,但應該儘量減少對使用者的言語干擾、指導,讓使用者自由體驗產品

最後關於樣本量的事情我再多說兩句。雖然調研的使用者數量是一個困擾大部分設計師的問題,但根據我個人的經驗來看,可用性測試是“多做比少做好,但做了一定比不做好”的一件事。對上線前的飛機稿來說,即使你只找1個使用者看了你的設計,甚至你只找同事看了一眼你的設計,都會比你閉門造車要更好。不要懼怕做體驗調研,也不要認為非要花多大代價才算在做體驗調研。

作者:白話說互動;微信公眾號:白話說互動(ID:gh_96e304585325)

本文由 @白話說互動 原創釋出於人人都是產品經理。未經許可,禁止轉載。

題圖來自Unsplash,基於CC0協議。

頂部