让数据站住脚-浅谈用户研究中的信度与效度(3)
作者:Little S 来源:CDC 发布时间:2010-09-10 13:14:00
4. 数据质量是根源
要使模型结构稳定有效,首先要保证数据质量,反复检验问卷的信度。
a. 不同时间的一致性。
在设计问卷时,可以将同样的问题对同一个人重复测试,如果这两道题得到的答案是不一致的,相关系数(Pearson r)小于0.7,那么这份问卷的稳定信度就值得考量。
假如问卷样本足够大,可以一分为二(每一个样本也要保证足够样本量),分别建立两个模型;通过对比两个模型中参数的差异,便可以检验该模型的稳定性和适用性。如果两者差异太大,就说明模型本身是有问题的。
b. 不同形式的一致性
用内容等效但表达方式不同的两份问卷调查,检测两者的等效信度,比如Gamma系数。
c. 内在一致性
问卷中相关的问题为同样的目标服务,他们在逻辑一致,也就是同质的。首先要测量每个测度项与总体的相关性(item-total correlation),然后再测量同一变量下相关问题间的同质性,而对于不同的提问方式选择对应的方法:比如,对于李克特量表方法,就用Chronbach系数检验;在基础研究中,信度至少应达到 0.80 才可接受,在探索性研究中,0.70 可接受,0.70-0.98 为高信度,小于0.35 为低信度。对于是非题则采用kuder-Richardson系数检验。在进行内在一致性检验时,要看题目选项是否反序,如果两道题都是问“对该产品是否满意”,一道7代表满意,1代表不满意;另一道1代表满意,7代表不满意,这样就会影响信度。遇到这种情况要提前人为调整过来。
5. 看得更远一点
问卷结论不仅要解决当前的问题和需求,还有具有一定的预测作用,市场是变化的,当前的目标用户不一定就是未来的(或者下一个版本的)目标用户,比如目标用户的收入可能有增加的趋势,某一平台的使用率在快速提高,当前的满意度模型可能在一个月之后就不适用了(比如新功能点的出现)。
假设我们要对QQ影音进行满意度调查,现在建立了一个满意度模型,但若下个月QQ影音中多了一个重要的功能,对整个满意度的提升产生了很大作用,那么,模型中各项的路径系数会不会产生变化?该模型在下个月可能就不适用了,造成的后果就是当前的满意度值与下个月的满意度值没有可比性了,很多工作也就白费了。所以,诸如满意度模型这样的研究,是需要反复调查,长期对该满意度模型进行监控和修正,以求得到最稳定的模型,就可以让模型会具有很预测和比对作用啦。
6.关注细节
a. 问卷设计中题项表述不能出现歧义、避免太专业词汇以及诱导词汇
b. 选项间要有明确的区分(互斥)
c. 避免遗漏,“其他”选项是必须的,而且最好配有输入框,记忆中,每次问卷调查中都能从“其他”选项中获取大量信息。
d. 一般题项不能太多,设置问题选项的时候,尽可能的让选项随机显示,特别是在选项较多的情况下。
e. 数据处理过程中删除重复项矛盾项之外,最好能统计到用户填写问卷的时间差。如果整个填写的时间极短,完全可以判定用户没有认真填写。
f. 极端的、离群的选项可以考虑将其删除。
猜你喜欢
- 本文实例讲述了Python基于dom操作xml数据的方法。分享给大家供大家参考,具体如下:1、xml的内容为del.xml,如下<?x
- 1.使用open()函数打开文件夹在读取一个文件的内容之前,需要先打开这个文件。在Python程序中可以通过内置函数open()来打开一个文
- 一. 网页挂马的概念: 网页挂马是指:在获取网站或者网站服务器的部分或者全部权限后,在网
- CSS网页布局开发中,会有很多小技巧,这里再扩展一下您所想要得到的知识,相信您会有很多收获!一、ul标签在Mozilla中默认是有paddi
- WIN10系统MYSQL的下载与安装详细教程,记录如下前两天ubuntu下安装mysql遇到了一些依赖问题,结果解决了半天,没解决好,还把我
- MySQL分页分析原理及提高效率PERCONA PERFORMANCE CONFERENCE 2009上,来自雅虎的几位工程师带来了一篇”E
- 之前的博客里使用tf读取数据都是每次fetch一条记录,实际上大部分时候需要fetch到一个batch的小批量数据,在tf中这一操作的明显变
- MySQL的ODBC接口实现是通过安装MyODBC驱动,这个驱动程序是跨平台的。如果在Linux等Unix体系操作系统下使用,需要先安装Io
- 今天有碰到这种情况,数据库中有张表没办法通过migration来更改, migrate时报 django.db.utils.Operatio
- 脚本架构:domain_test.py:批量解析运行主程序DomainResult.txt:域名解析结果文件domains.txt:解析的域
- 首先,为什么选择Tornado:1.高性能的网络库,这可以和gevent,twisted,libevent等做对。提供了异步io支持,超时事
- 学一些比较知名的模型对身体有好处噢!什么是VGG16模型VGG是由Simonyan 和Zisserman在文献《Very Deep Conv
- 下载paramiko首先,我的windows系统上有python2和python3。使用下面命令切换到python3:activate py
- 如果存储姓名的字段采用的是GBK字符集,那就好办了,因为GBK内码编码时本身就采用了拼音排序的方法(常用一级汉字3755个采用拼音排序,二级
- 本文实例分析了LINUX下Oracle数据库用户创建方法。分享给大家供大家参考,具体如下:1)登录linux,以oracle用户登录(如果是
- 通过Python中的matplotlib绘制百分比堆叠柱状图,并为每一个类别设置不同的填充图案。主要原因是有些论文打印出是黑白色的,不同类别
- 错误代码如下:NotFoundError (see above for traceback): Unsuccessful TensorSli
- 前面我通过一篇文章讲述了如何爬取CSDN的博客摘要等信息。通常,在使用Selenium爬虫爬取数据后,需要存储在TXT文本中,但是这是很难进
- 最近写了一个网络验证登录的爬虫,需要发布为Rest服务,然后发现Flask是一个很好的Web框架,使用Python语言实现。1. 安装fla
- 当 Yii框架仍处于 RC(候选版)阶段时,我们 对它进行过报道,那时它刚刚全面达到候选版本阶段,(现在它已经发布了正式版本)我们感觉是时候