跳转到内容

项目分析

来自VeritasWiki 真理百科

项目分析(item analysis)是测验编制与修订中的一个关键环节,指对测验中每一道题目(项目)的统计特性进行定量考察,据以筛选、修改或淘汰题目,从而提高整个测验的质量。它把“这道题出得好不好”这一原本依赖经验的编辑判断,转化为可以计算的数量指标。项目分析通常安排在预试之后、正式定稿之前,是连接题目编写与测验定型的中间工序。

目的与基本流程

测验编制者先按测验蓝图编写一批题目,数量往往多于最终需要,然后在有代表性的样本上施测,收集每道题的作答数据。项目分析要回答两个核心问题:这道题难不难,以及这道题能不能把人区分开。围绕这两点,分析者计算每道题的难度指标与区分度指标,再结合选项分布、题目与总分的相关等信息,决定哪些题保留、哪些题修改、哪些题淘汰。经过一轮筛选,题目数量精简,质量提升,测验的信度与效度也随之改善。

项目分析的意义在于,它使题目的取舍有了客观依据。凭直觉或仅凭内容判断保留的题目,可能在统计上表现很差,例如几乎人人都答对而毫无区分作用,或区分度为负、答得好的学生反而做错。这类题目若不剔除,会稀释测验的测量效力。项目分析正是要把这些隐藏在数据里的问题揭示出来,它也提醒命题者,题目在自己看来再合理,也要经过被试的实际作答来检验。[1]

难度分析

难度是项目分析最先考察的指标。对于答对记一分、答错记零分的二分题,难度通常用通过率表示,即答对人数除以总人数,取值在零到一之间;数值越大表示题目越容易。对于评分不止两档的题目,则用被试在该题上的平均得分除以该题满分来估计难度。难度并不等同于题目“客观上”的难易,它还受被试团体水平的影响,同一道题在不同样本上会得到不同的通过率。

难度分布是否合理,直接关系到测验的功能。若绝大多数题目都很容易,分数会挤在高分段,无法区分中上水平的被试;若题目普遍过难,分数又会堆在低分段,同样失去分辨力。一般而言,为使测验在中等能力区间具有最大区分力,题目的通过率宜分布在中等附近并向两端适度铺开,形成较宽的难度梯度。此外,选择题还要考虑猜测因素,纯凭随机作答也能得到一定的通过率,这使得极容易或极难的题目的真实难度被掩盖,分析时需要加以校正,校正后的真实难度才是命题者应当依据的数值。

区分度分析

区分度衡量的是题目能否把水平高与水平低的被试区分开来,是项目分析中更重要的指标。最常用的计算方式是比较高分组与低分组的通过率之差,即鉴别指数:先按总分把被试排序,取分数最高的约百分之二十七与最低的约百分之二十七分别组成高分组与低分组,用高分组在该题上的通过率减去低分组的通过率。差值越大,说明题目越能区分水平差异;差值为零意味着两组表现相同,题目无效;差值若为负,则说明高水平者反而更容易答错,题目可能存在误导或答案有误。

区分度也有多种刻画方法,例如计算题目得分与测验总分的相关,二分题常用点二列相关,多级评分题则用其他相关系数。鉴别指数直观易算,相关系数则更充分地利用了全部被试的信息,两者常结合使用。值得注意的是,区分度与难度并非彼此独立:当通过率接近零或一时,无论题目质量多高,区分度都会趋近于零,因为几乎没有变异可供区分。这也解释了为何中等难度的题目往往区分度最高。[2]

项目反应理论

经典的项目分析建立在样本统计之上,其指标依赖所施测的样本,换一批被试,难度与区分度就可能改变。项目反应理论提供了另一种思路:它假设被试具有某种潜在特质,每道题由一条项目特征曲线描述,曲线由难度、区分度和猜测等参数决定,而这些参数在理论上不随样本变化。依据这一模型,同一批题目可以在不同人群中被校准到同一把尺子上。

项目反应理论把项目分析从“事后筛选”推进到“模型拟合”,不仅能给出更稳定的项目参数,还能针对每一名被试估计其特质水平,并据此组装出难度匹配的测验。它也对题目质量提出了更细的要求,例如项目特征曲线的形状是否合理、是否存在区分度异常。不过,这一方法依赖较强的模型假设和较大的样本,实施成本高于经典分析,因而在中小规模测验中,传统的难度与区分度分析仍是最常用的手段。

选项与干扰项分析

对于选择题,项目分析还要深入到每一个选项。一道设计良好的选择题,正确选项应被高水平被试较多地选中,而每个错误选项都应吸引一部分低水平被试,起到“干扰”作用。若某个错误选项几乎无人选择,说明它形同虚设,应加以修改,否则等于减少了题目的有效选项数;若某个错误选项被大量高水平被试选中,则提示该选项可能存在歧义,或正确答案本身有争议。

选项分析还能揭示反应定势。例如某题所有选项的分布都很平均,可能说明被试在猜答;某题低分组反而更多选中正确项,则要警惕题目表述存在陷阱。这些信息仅靠难度与区分度两个数字是看不出来的,必须回到选项层面逐一检视。正因如此,完整的项目分析报告往往同时给出各选项的选择比例,供命题者判断题目缺陷究竟出在哪里。[3]

局限与应用

项目分析并非万能。它的各项指标都建立在特定样本之上,样本的代表性、能力分布乃至作答动机都会影响结果,小样本尤其容易产生不稳定估计。更根本的是,统计上“好”的题目未必内容上合适:一道区分度很高的题,可能只是因为涉及某种特定背景知识,对不同群体并不公平,这类题目偏差需要借助差异项目功能分析才能识别。若一味依据统计指标删题,还可能损害测验的内容效度,使某些重要内容领域因题目难以区分而被清空。

因此,成熟的做法是把项目分析与内容判断结合起来。统计指标负责发现异常,命题者则要追问异常背后的原因:是题目太难,还是表述不清;是知识点超纲,还是存在文化偏向。找到原因后再决定修改还是淘汰,而不是简单按数字排序一刀切。在标准化测验的编制中,项目分析通常是多轮迭代的过程,每一轮修订后重新预试、重新分析,直到题目的难度、区分度与内容覆盖都达到要求。它体现的正是测量学的一条基本信念:好的测验不是写出来的,而是被数据反复打磨出来的。[4]

参考资料

  1. ↑ Psychological Testing,Encyclopaedia Britannica,2024年访问
  2. ↑ APA Dictionary of Psychology,American Psychological Association,2024年访问
  3. ↑ PubMed Central,National Center for Biotechnology Information,2024年访问
  4. ↑ 中国心理学会官网,中国心理学会,2024年访问