酷播亮新聞
本文將以“股票交易系統”評估為例，簡要闡述做一套完整的評估工具的過程。 enjoy~
做產品的人，通常要問自己這些問題：
- “我們這款現在口碑如何？”
- “這個功能，用戶使用起來滿意度怎麼樣？”
- “這一次更新，體驗有提升嗎”
- “和競品A比，我們有優缺點是什麼”
- ……
所謂“知己知彼”，我們通常更輕易“知彼”（了解競品），因為有市場的檢驗、用戶的口碑，還有自己切身操作體驗。 然而對於“知己”，則不那麼確定了，一來因為主觀的“先入為主、身在其中”常常讓我們盲目，二來是我們常常沒有一個可靠的評估系統。
評估、反饋對於產品的進化非常重要。 但我們平常往往是這樣做的：
“這次改版之後，用戶說了什麼？有不好的聲音嗎？”
“用戶又降了，這版做的不夠好嗎？”
“看下用戶對這次優化的總體評分怎樣？”
以上信息，本質上的都是反饋，但是信息雜亂、模糊，我們無法從中得到對於產品各個側面用戶精確的滿意度。
我們需要一個穩定、全面、客觀的評估工具。
- 穩定： 採用統一指標、統一度量，能夠重複測量使用；
- 全面： 所設指標包含用戶和這個功能（系統）接觸的所有信息面，無遺漏；
- 客觀： 要求測量指標全面、嚴謹，對於不同樣本施測能得到穩定一致的結果。
以下，我們以“股票交易系統”評估為例，簡要闡述做一套完整的評估工具的過程。
STEP 1 指標收集
交易系統的指標包括那些內容？ 速度流暢、還是內容豐富？ 這些都是未知。 這第一步非常重要，因為這是所有工作的基石。 所以需要盡可能全面收集信息，絕不能出現顯而易見的遺漏。 我們的指標內容收集主要來自：
- 9名內部專家用戶訪談
- 用戶問卷信息收集（343人次）
- 客戶端后台反饋
- 用研已有研究積澱和輿情積澱
訪談時候需要設立一個可以主題，讓受訪者可以圍繞這個主題充分錶達出交易系統所包含的內容。
我們的訪談主題是：
- 目前同花順的交易（含PC和手機）,您認為優缺點各是什麼呢？
- 您覺得交易這個模塊，未來的規劃和發展方向應該是什麼？
STEP 2 指標拆分
針對以上兩個主題，專家和用戶同一角度給出建議（訴求），所得內容，需要做語義拆分。 語義拆分是一個集合經驗和直覺的過程，當然也有一些方法論可以藉鑑，但最重要的還是要做數據的人要熟悉產品和項目，最後出來的結果再反饋給專家把關，基本上都能正確 。
根據內容我們將交易系統的評價維度歸納為以下幾個大類：
- 性能問題
- 可用性問題
- 功能問題
- 內容方面
圖示：部分關鍵信息歸納（僅示部分）
同時，根據內容再細分指標。 在一級指標下再分二級指標（15個）：
STEP 3 指標定義
對二級指標賦予明確定義。 這一步既是對各個細分指標的解釋說明，也是為了後一步的指標測量做準備。
STEP 4 指標測量
根據上一步明確的指標定義，直接對目標用戶實測。 15個二級指標都需要真實用戶評分，化為15道實測題目，用戶在充分理解指標含義之後，作出評分。
題目的格式參考如下：
如：“安全：交易的安全，是指交易和資金安全有保障。——您覺得同花順手機交易做得如何？”（評分：0-100，非常不滿意——非常滿意）
通過線上問卷形式實測，回收1434個數據。
STEP 5 指標統計
清理掉失真的數據，得可用數據904個（這裡主要是刪掉作答時間少於最低測試時間的數據）。 主要分析方法：因子分析（二級指標&一級指標； 一級指標&總體滿意度）
注意：因為因子分析原理是靠提取少量分子來描述多個原始變量，而我們此處無需削少因子數目，所以在Extract環節提取因子數目應和原始變量數目相同，比如“功能”下面有5個 二級指標，提取因子數應是“5”。
各個指標對上一級的權重（貢獻力）計算如下：
STEP 6 評估模型
經過上述計算，我們可得初步評估模型如下圖：
從這個係數圖譜，我我們可以清晰看到，對交易總體滿意度敏感的因素是“功能”，而對“功能”指標影響大是“創新性”和“區分度”。 從整理來說，速度、流暢、以及內容方面，的確是目前我們交易系統的短板，也從數據上得到了體現。 總結起來，評估模型能直觀告訴設計者2個問題：
- 目前的系統優缺點是？ （知道優缺點，能夠在產品方向上有的放矢）
- 影響用戶滿意度最重要的因素是？ （根據權重找出改進的優先點，才能搶占用戶口碑）
當然，這只是第一次評估，所有的評估都要有對比才有意義。 評估模型還需要繼續進行2-3輪的迭代驗證，並跟隨未來交易系統的功能調整而逐漸調整，它不是一個靜態的工具。
作者：大狗狗，互聯網金融產品用戶研究員，心理學二年級學渣，公眾號：同花順UED（公眾號：Mob-HitThink-UED）
本文由 @大狗狗 原創發佈於人人都是產品經理。 未經許可，禁止轉載
題圖來自 Pixabay，基於 CC0 協議