粉时代

问卷设计的魔鬼细节

粉时代

调研问卷设计的魔鬼细节

自1838年问卷被发明以来,无数营销调研专业人士为设计一份好问卷竭尽心血,并总结出一系列问卷设计流程、方法、技巧和经验法则(rules of thumb), 关于问卷设计的学术文献也不尽其数, 使得问卷成为一项专业调研工具。 所谓专业,就是其具有一套完整的基本原理、概念、逻辑、严谨的作业流程和法则, 每一个问题都经得起质问,每一步都可以后向复盘,说得清来龙去脉。

得益于人工智能和移动互联技术,智能调研平台日益兴起,为更多的人士自助调研提供了便利,但随之问卷设计和逻辑设计中暴露出的入门级问题层出不穷,以至于“像葫芦串串一串问题”往平台上一推送就认为是问卷了。作为15年来专注问卷设计主题培训的从业者,有话要说!

问卷有多重要?

如果把一个调研项目比作一个人的话,项目计划书是人头,身体四肢是报告,那么问卷就是脖子,起承上启下的作用。 对上要充分理解计划书中客户需要解决的营销问题和决策需要,对下要考虑如何构建报告、storyline的构思、数据整合和深度分析维度,从而设计出充分又是必须(mandatory)的问题,而不包括一些可有可无(nice to have)的问题或一些仅仅作为纯信息收集(backup)的问题。一份好问卷的题目数量如同一道几何题中的已知条件,每个已知条件在解题的过程中都是应该被用到的,不会出现已知条件没有用到或想用却没有提供的情况。

可以说,问卷出来了,报告就出来了,因为好的问卷设计一定是“以终为始(to start with end)“ 设计而出的。甚至结论也出来了,因为好的问卷设计本身就是带着假设去设计的。

问卷设计不好,数据自然出问题。有问题的数据比没数据更可怕。

问卷设计有多难?

业内有一句话:问卷是难的。 事实上,设计一份完美的问卷几乎是mission impossible, 尤其是在客户对项目周期要求越来越紧的当今。 专业研究人员常常会说,要是再做一次,问卷会设计得更好,因为总有遗憾。

这里不探究整体问卷设计之难。仅举一个封闭题设计说明,以解刨麻雀的方式展示问卷设计有多难,有多少细节要考虑。

这是一个访问对象为16岁到59岁,覆盖一、二城市的访问项目,其中的一个问题:

请问您的个人月可支配收入平均是多少?【单选】

没有收入

1

500元以下

2

501-1000元

3

1001-2000元

4

2001-3000元

5

3000-5000元

6

5001-8000元

7

8001-10000元

8

10001-12000元

9

12001-14000元

10

14001-16000元

11

16001-20000元

12

20001-25000元

13

25001-30000元

14

30001元及以上

15

法则1: 一个完整的问题包括5个不可或缺的组成要素

1、 问谁? 2、问什么问题? 3、选什么? 4、如何选? 5、如何跳转?

以上例题显然缺少2个要素, 不是一个完整的问题: 1、针对问谁的说明, 2、跳转说明。有人说,这个题目针对All respondents,不写也是可以的吧? 不可以,因为不是所有的问题都是针对All respondents,容易被认为是顺着上一个题目针对的人群。

法则2: 一个好的问题应该根据受访对象的教育水平、语言习惯和理解能(Understanding)

专业人士通常教育水平较高,语言能力较强,会下意识根据自己的语言习惯撰写问题,偏好使用专业术语或高大上词汇彰显专业。其实,问卷是读给普通消费者听的,给普通老百姓看的,听得懂、看得明是第一标准。 “个人可支配收入”是一个宏观经济学概念,你以为受访者都是经济学、社会学、统计学、财政学、金融学专业毕业的? 更何况,受访对象里还包括16-18岁的高中生。

法则3: 一个好的问题必须千人同解,不能1000个观众,1000个哈姆雷特(non-ambiguity)

还是关于“个人可支配收入”。即使听说过这个词,不同的人也有不同的理解,一些人理解为“个人可以用于开销的钱”,一些人理解为“除去供房、供车之后剩下的收入”,只有很少的人正确理解为“刨去各种税金真正到手的收入”。

理解各个不同,出来的结果自然存疑。 尺子的刻度不准,衡量的结果当然也就不准,信度和效度。

法则4: 问题设计需要尊重受访者,留有余地,考虑不能回答或不愿回答的情形(Willingness)

从常识上说,问及个人的收入等隐私性问题,一定有人不愿透露,也会有人不清楚, 而本题没有提供“拒绝回答”或“不清楚“选项,会造成不选或随意选择的现象。

法则5: 选项设计应该不重复不遗漏(MECE原则)

MECE原则也适用封闭题选项设计。没有提供“拒绝回答”或“不清楚“选项,其实也是遗漏的表现。

还有一个隐性的问题。 之所以设计收入问题,目的是为了了解不同收入水平的行为、态度活需求有什么不同, 帮助客户发现可能的细分市场和机会。 但数据分析阶段, 不可能比较所有收入段(income break), 对客户也没有实际营销意义,实务中通常合并为低收入、中等收入或高收入三个段,或按照国家统计局的标准合并为低、中低、中等、中高、高五个。 无论三个短或五个段,重要的是在设计收入段的划分时要考虑不同级别城市低、中、高收入的差异,而不能想当然的按500元,1000元或2000元一档设计。 最起码,要考虑到不同级别城市的中、低、高上限和下限在选项中有所体现,否则在后期合并时会常常面临客户的challenge。 说这么多的意思是,在设计收入段选项的时候,不是简单地按等距划段就成了,而是要从充分了解要覆盖的城市收入水平出发,合理界定组距和上线限的划分。

另外一个细节问题。 收入是连续性数据, 连续性变量进行分组时,上一组的上限同时也是下一组的下限, 就是说一组的上限和下一组的下限是重合的。因此,严格意义上说,本题目的划分方式应该是“500元以下, 500-1000元,1000-元-2000元,2000-3000元……”。 有人问了,那1000到底应该圈哪一档呢? 事实上,对于连续性变量有一个”上限不包括原则“, 即如果受访者答的数正好是相邻两组的上下限数值时,通常圈到下一组,所以,1000元应该圈到1000-2000元这档。 有人问,必须要这么严格吗? 考虑到访问人员或受访者不会这么专业,所以在实践中设计成不重叠的方式,为的是方便理解和操作。 但的确是有小残次的,比如,举个极端的例子,如果受访者回答“1000.5”元,就没地方可圈了。

那么,问题来了,该怎样设计这个题目呢?

斜体下横线部分是修改部分

方案1: 普适版

[针对所有受访者]

请问您个人月平均收入是以下哪个范围呢?包括工资、奖金、补贴在内的总收入。[单选]

方案2: 如果非用可支配收入术语不可,增加解释

[针对所有受访者]

请问您的个人月平均可支配收入是以下哪个范围呢? 这里的可支配收入是指你拿到手的工资和其他收入除去供房、供车剩下的部分【单选】

跳转

没有收入

1

500元以下

2

501-1000元

3

1001-2000元

4

2001-3000元

5

3000-5000元

6

5001-8000元

7

8001-10000元

8

10001-12000元

9

12001-14000元

10

14001-16000元

11

16001-20000元

12

20001-25000元

13

25001-30000元

14

30001元及以上

15

不知道/不清楚

98

拒绝回答

99

问卷设计固然不易,但一个重要的经验法则会使我们的设计不至离谱。这就是在设计好每一个问题后,问自己四个问题:

1、 这个题目有用吗?

2、 受访者能够理解吗?

3、 受访者能够回答吗?

4、 受访者愿意回答吗?

如果都是YES,恭喜你,过关了。