课题问卷回收之后先做什么?有效性筛查四道关
四百二十份问卷发出去,收回来四百零一份,回收率超过九成五,一位老师跟我报这个数的时候挺得意。我问她:筛过了吗?她愣了一下。再问统计出的平均分,她答得很快,我心里反倒沉了半截——没筛过有效性的问卷,统计得再快,数字也是虚的。问卷回收之后的第一件事,不是打开表格算平均分,是把无效卷挑出来。
为什么先筛再统计
问卷这种数据,质量全靠填的人自觉。学生替同学勾、家长顺手乱点、答到一半烦了乱选,这些卷子混进样本,前后测一对比,变化可能是假的。直接拿没筛过的数据写结论,中期检查或者结题答辩时被评审追问两轮就露馅。所以回收当周就筛,趁印象还在,发现样本有缺口还能补收一轮,拖到要写报告才动手,补都来不及。还有一层:筛查本身就是研究规范的一部分,结题材料里能拿出一页筛查记录,和拿不出来,在评审眼里是两种研究态度。
四道关,一卷一过
- 第一关,作答时长:线上卷平台自带计时,三十道题两分钟交卷的基本是乱点,线下卷看填涂是否潦草到没法辨认;
- 第二关,规律性作答:全卷勾同一个选项、按对角线走、前半卷一个答案后半卷换一个,都算;
- 第三关,反向题校验:设计问卷时埋一两道意思相反的题,两题回答明显矛盾的记为可疑;
- 第四关,缺答率:漏答超过三分之一的作废,漏答集中在某几题的要单独记录,那可能是题目本身出了问题。
判定标准最好在发放前就写进研究方案,比如写明作答时长明显异常且反向题矛盾的按无效处理。事先立了规矩,事后就没有这张看着不像认真填的、到底删不删的扯皮,台账也经得起查。顺带说反向题怎么埋:挑一两道量表题把说法反过来,比如正面题是我愿意每天抽时间读书,反向题是读书对我来说是负担,两题隔着七八道放,填的人不容易察觉。没有反向题的旧卷也能补救,用两道内容相近的题互相印证,答得天差地远的记为可疑。
线下卷没有平台计时,四道关里第一关只能靠间接痕迹:整卷填涂是否潦草、笔迹前后是否一致、有没有明显的一手包办。这也提醒我们发放时就要做编号管理,按班级发放、按名单回收,每份卷子对应一个编号。回收当天先对编号,缺谁的卷子一目了然,补收也有名单可循,这套动作十分钟的事,比事后追着问省力得多。
无效卷怎么处理
原则就三条。一是不销毁:挑出来的无效卷单独装袋或者单独建表,注明剔除理由,结题答辩被问到时你要拿得出实物。二是留痕:做一个简单的剔除台账,卷号、剔除原因、经手人、日期,四栏就够,别只在心里记一笔。三是不硬凑:无效卷超过两成,先回头查问卷,是不是题目太长、表述太难、发放场合不对,而不是把可疑的悄悄放回去凑数。数据不干净宁可补测一轮,也比结题时被戳穿强。
筛完再统计,还有两个习惯值得保持。每张统计表边上留一列备注,把样本量、剔除多少、剩余多少写清楚;报告里照实交代发放多少、回收多少、有效多少、有效率多少。这几个数评审一定会看,写得越坦然越加分,遮遮掩掩反而招追问。什么时候补收也要定一条线:有效卷达不到方案里定的样本下限,就安排一轮补测,补测的对象、时间、方式照旧记进台账,别让两轮数据混在一起说不清。
另外提醒一句,筛查筛掉的是无效作答,不是不理想的数据。真实的低分、负面的评价都要留着,课题里最有用的发现往往就藏在这些不好看的数字里。有位老师做阅读习惯调查,筛卷时发现一个班三分之一的卷子选了从不课外阅读,追下去才知道那个班当天在赶考试,这批数据后来成了她改进调查时机的重要依据。筛查这一步做细了,捡到的常常不止干净,还有线索。
照例说明:有效性筛查没有统一的文件标准,各市规划部门对调查类数据的规范性要求不尽相同,操作前以当地规划部门的课题管理办法为准。问卷数据拿不准怎么处理的,把你的样本情况和筛查标准发我,我帮你看一眼再定。