以前書いた“その調査、誰に聞く？ユーザーリサーチやアンケートの回答者選びで考えるべきこと”という記事では、調査全般についての回答者選びについて書かせていただきましたが、今回はユーザーテストの際の被験者選びの考え方や注意点についてまとめてみたいと思います。

UXリサーチやユーザーテストは何人すべきか、ということをあらためて考えてみる

まず、よく質問をいただく何人テストをすればよいか、ということについて。よく5人と言われますが何が5人なのか、ということについて考慮する必要があります。

最近では、デバイスごとにテストすることがほとんどですし、そもそも利用者がまったく違うサービスもあります。また、ユーザー属性ごとにテストをすることも多くあります。
ただ、それぞれに5人ずつだと合計人数が多くなりすぎてしまうため、細かく調査はしたいが、なるべくコンパクトにしたいという観点も踏まえると、1セグメントあたり4人が落としどころかと思います。
本当は3人と言いたいところなのですが、質の低いモニターさんがまざってしまうリスクがあり、そうなると実質2人になってしまうのでやや危険です。あとから追加できるようであれば3人という選択肢もあると思います。

また、テストの時間を2つに割って、PC/SPデバイスごとに調査を行うやり方も考えられますが、一回目で一方のデバイスで調査した後に、もう一方のデバイスで行う際は慣れがあることもあり、有効な調査とはなりにくいように感じます。また、時間も不足してしまいがちです。

デバイス間で、使われ方、利用シーンがある程度はっきりしているサービスでは、デバイスごとに調査を行うのではなく、その利用のされ方に添ったかたちでテストをすることもパフォーマンスとして良いと思います。
例えば、平日の日中はスマホである特定の行動をされることが多く、夜間や土日はある特定の行動をする人が多い、といったサイト/サービスでは、こうした調査方法のほうが効果的です。アクセスデータを見て検討してみると良いでしょう。

誰にテストするかが重要

何人にユーザーテストすべきかを考えることは、誰に聞くのか、という話にもなってきますが、UXリサーチやユーザーテストを行う際は「誰に聞くか、誰の行動を調査するか」の検討が非常に重要です。
どんなユーザーからどんなことを聞き出すのかを明確にすることが重要です。

考える軸としては例えば以下のようなものがあります。

調査対象サイト利用者か未利用者かどうか
・利用者であれば利用頻度、利用状況、利用シーン/チャネル
・未利用者であれば検討の結果未利用なのか、検討したこともないのか
・未利用者の場合、競合サービス利用者かどうか

調査対象サイトの商品の保有者かどうか
・保有者の場合、購入経路、購入動機、意思決定者、保有時期も加味
・保有検討中の方の場合、漠然と予定しているのか、差し迫ってるのか
・非保有者の場合、競合商品保有者か、保有者となり得る可能性はどの程度か

その他
・年齢、家族構成
・お住まいの地域

別軸では顧客として獲得したい層といった観点もあります。
アクセスデータを見ながら募集したい層を検討してみることも良いと思います。
例えば、コンバージョンしている層がある程度特定できそうで、かつ、スクリーニング時の質問項目として成立しそうであれば、この属性のユーザーにテストをしてみることも手でしょう。

利用者・経験者、保有者などを集める際の注意点

こういう人を呼んでこういう調査をしたい、ということが具体的であればあるほど、リクルーティングのミスマッチがおこりやすいので、注意が必要です。
特に、経験者や利用者を呼ぶ場合、ミスマッチがおきやすいように思います。
テスト開始後に、しまった、、とならないためには、どういった部分に注意すれば良いでしょうか。なかなか予測できないことも発生しますので難しいですが、ご参考までに過去のリサーチで発生したミスマッチをいくつかご紹介させていただきます。

  • ある商品の購入経験ありの方にお越しいただき、様々なことを調査しようと思ったが、購入したのが大昔でかつ、すぐに売却してしまったので初心者同然だった。
  • ある商品の保有者にお越しいただき、様々なことを調査しようと思ったが、親御さんが勝手に買ったので、自分は関心がない、とのこと。サイトも見たことがない、ということだった。
  • あるサービスの利用者に対し、利用開始にいたるまでの動機やつまづいた部分を、過去の体験などをもとにリサーチしようと思い利用者を呼んだところ、利用開始のところは配偶者まかせだったので分からない、とのこと。
  • ヘビーユーザーの行動を調査したかったので、利用頻度が多い人にお越しいただいたが、いつもの行動パターンが限定的すぎて、それ以外のところはほぼ初見だった。

細かなミスマッチも含めると本当にたくさんありますが、大きなミスマッチが発生するとテストとして成立しなくなってしまいます。スクリーニング用の調査項目を作る際は、様々なケースを想定して作成しましょう。
また、少し背伸びをして応募してくるモニターさんもいますので、こうした人をはじくための調査項目が考えつくようであれば付け加えると良いでしょう。


また、募集条件や前提と違うモニターさんが来た場合は、入れ替えが可能な場合もありますのでモニターの手配を依頼した会社に相談してみましょう。