ユーザーテストやアンケートなどの調査を実施する際は、実際の調査までの設計が調査成功のカギを握っていますが、中でも「誰に聞くか、誰の行動を調査するか」の差がが調査結果の質にも関わってきますので非常に重要です。
こちらの記事では「誰に聞くか」ということについて、これまでの調査で感じたことを雑多な感じではありますが書かせていただきたいと思います。

調査手法にひもづく登録モニターの収集条件や質について

誰に聞くか、という事を考える際に、まず思い浮かぶものとしてはアンケートやユーザーテストがありますが、これらの調査ではモニター登録会社やそのサービスのモニターとして登録している方に回答してもらうかたちが一般的です。
そして、その登録モニターの中から、性別や年齢、職業など、希望の条件で抽出した方に回答していただきます。
もう少し細かな条件、例えば、特定商品やサービスの利用者といった条件で抽出することも可能なサービスもあります。
アンケートもユーザーテストも登録モニターに回答いただくという点では同様です。差がつく部分としては収集時の条件設定の方法や、モニターの質という点かと思います。

モニターの質については、あくまでも回答の動機はポイントや対価の獲得目的ではありますが、調査手法やサービスによっても若干の違いがあるように感じます。
経験上、感じていることについて以下に整理してみます。

モニターアンケート

細かな収集条件が設定でき、かなり細かい条件でもサンプル数の確保が可能な場合が多い。
回答の質については判断しにくく、調査結果にどういった影響を及ぼしているかは分からない。

対面ユーザーテスト(モニター登録会社から募集)

細かな収集条件が設定でき、かなり細かい条件でもサンプル数の確保が可能な場合が多い。
募集条件にあったモニターの中から最終的に回答してもらう方を選択するかたち。
調査直前に、本当に条件にあったモニターかどうかを確認してくれるサービスもあるが、こういったサービスは非常に安心感がある。
応募者のモニターの質については、対面調査ということで、ある程度の責任も伴うため比較的高いことが多い。

オンラインユーザーテスト

そこまで細かな条件で収集する前提のサービスではないようだが、オプションできめ細かな収集条件が設定できるサービスもある。
モニターの質としては、サービスによっても違うが、いわゆるお小遣い稼ぎ的な印象の方にあたってしまうケースがあることは否めない。
モニターの質にこだわっていると感じられるサービスもあるので、そういったサービスを選ぶ方が良い。
また、募集条件にあったモニターの中から最終的に回答してもらうユーザーを選択できるサービスがあり、モニターの質を判断するうえではこちらは有用。

募集条件はできるだけ具体的に

調査内容やモニターの募集属性も決まり、いざ募集という局面において注意しなければならないことがあります。
募集条件の設定をできるだけ具体的に検討しておくことです。具体的に定義できていない場合、ミスマッチが起こってしまう可能性が高くなります。

ユーザーテストを実施した際にあった例としては、とあるサービスの利用者を募りサービス導入時の事を調査する目的でユーザーテストを開始したところ、そのサービスを利用はしているものの、導入を決めたのは配偶者でありモニターさん自体はそのサービス導入には関わっていなかった、などという事もありました。こうした事が起こらないように、設問と回答者を細かく考えましょう。

以下のような事に注意が必要と考えられますが、「誰が」「いつ」「何を使って」などひとつひとつ具体的に考えていくと良いと思います。

  • 回答者とブランド/製品の関係性(本人がユーザーか、家族がユーザーか)
  • 調査対象サイトのサービス提供エリアと、モニターのお住まいの地域(回答に地域性が含まれるケースがあるため)
  • ユーザーテストの場合、過去にテスト対象サイトを利用したことがあるのか、初めて利用するのか
  • サイトを利用したことがあるモニターであれば、利用頻度、利用時期、利用デバイスの詳細


アンケートやユーザーテストなどの調査を成功させるには、適切なモニターの選定が不可欠となりますので、以上のような事を意識して選定を行いましょう。

自社サイトユーザーに回答いただく事が有効なケースもある

この他には自社サイトのユーザーや顧客に聞くという手法もあります。
自発的にサイトを利用しているユーザーが対象ということで、回答意向が高く、コアユーザーや好意的に思っているユーザーの意見が収集しやすいのが特徴です。
自社サイトのファンとなった要因をつきとめる場合などには向いていると言えます。

自社サイトユーザーのうち、特に利用頻度の高いユーザーや売り上げの中心となっているユーザーは、具体的な改善要望やニーズを持っているケースもあり、有効な意見が得られる可能性もありますので、こうしたユーザーに対し調査を行い、施策を検討していくことは非常に重要です。

自社サイトのユーザーに聞く場合の手法としては、アンケートであればアンケートフォームを自社サイトに掲出したりというかたちが一般的ですが、特定のターゲットのユーザーにメールでアンケートのご依頼をするといった方法もあるでしょう。セルフ型のアンケートツールも多くありますので、こういったツールを使えば気軽に行う事ができます。
また、オンラインユーザーテストを実施する際にも、オプションサービスで自社の特定のユーザーに回答いただく事が可能なサービスもあります。
もし、そういったサービスが無い場合でも、モニター登録者の中から自社サイト利用者が見つかれば自社ユーザーに対して調査を行う事が可能となります。
調査目的によっては、自社のユーザーに聞く事が有効な場合もありますので、選択肢として意識しておきましょう。

競合サイトユーザーから意見を募るといった考え方も

もうひとつ、これも一般的なのかもしれませんが、弊社でも調査対象サイトの競合サイトユーザーに対し調査をすることもよくあります。
調査の目的にもよりますが、例えば、以下のような属性の回答者となります。

  • 調査対象サイトから競合A社への乗り換えユーザー
  • 競合A社から調査対象サイトへの乗り換えユーザー
  • 調査対象サイト、競合A社併用ユーザー
  • 競合A社のみ利用ユーザー(調査対象サイトは未利用)


上記のような属性の回答者に対し、ユーザーがサービスを選択する際にどういった基準で選択するか、といった事を調査しますが、多くのことが見えてくるケースがあります。

まとめ

以上のように、調査を実施する場所(自社メディア/リクルーティング)、利用するサービス(モニターの回答動機)、募集条件によって調査対象となる回答者の質が異なり、最終的な調査結果の質も変わってきます。
他にも、同じユーザーに継続的に聞くやり方や、特定のコミュニティで聞くやり方などいろいろとありますが、誰に聞くのがベストなのか、ということについては今後さらにつきつめて考えるべき部分でしょう。