兼顾两种匹配的考试抄袭统计量研究评述

　　摘 要：考试抄袭统计量是专门用于识别抄袭的统计指标。它们是以被怀疑抄袭者和抄袭来源匹配反应的数目为基础建立的，按其考虑的匹配反应信息可分为两类：一类只考虑被怀疑抄袭者和抄袭来源间的错误答案匹配；另一类同时考虑两者错误答案匹配和正确答案匹配。由于第一类抄袭统计量对那些只从抄袭来源处抄袭正确答案的抄袭者检测不敏感，所以存在缺陷；第二类抄袭统计量兼顾两种匹配，考虑的信息更全面。s2、g2、ω是具有代表性的第二类抄袭统计量，它们在测量理论基础、被怀疑抄袭者和抄袭来源的异常相似反应模式确定方法及考试抄袭检测效能等方面存在差异，在抄袭识别应用中应合理选择。
　　
　　关键词：抄袭统计量；k指数；s2指数；g2指数；ω指数
　　
　　中图分类号：B841.2
　　文献标识码：A文章编号：1003-5184(2012)01-0086-05
　　
　　
　　从古至今，考试和作弊就像一对孪生兄弟一样形影不离，在古代的科考最为常见的作弊手段是夹带、贿赂主考官及请人代考，随着社会的不断进步，各种高科技作弊工具不断涌现，作弊现象就更加泛滥，它挑战了考试的公正性，严重威胁着教育质量。因此，作弊现象引起了考生、家长、教育机构、考试中心、政府部门的关注。在众多的作弊方式中，抄袭是最难以识别的一种作弊方式，因为被试没有夹带，即使监考老师看到被试的偷看行为，但在无物证的条件下，仅凭此视觉证据不能将被试确定为抄袭者(Cizk，1999)。实际上，抄袭不仅可以发生在座位相邻的考生之间，被试间还可以通过笔敲桌子、脚轻叩地面、手指比划等多种方式传递信息。当然，通过对学生诚信考试态度的培养、监考人员的严格培训及考试座位的合理布局可以在一定程度上减少抄袭的发生，但在监考人员发现抄袭现象却缺乏物证的情况下，采用抄袭统计量可以给抄袭识别提供更多的证据。
　　有关考试抄袭统计量的研究是从20世纪20年代开始的，随着教育统计与测量学的发展，研究者们开发的考试抄袭统计量越来越多，如：ESA、Bm、g2、k、s2、ω、kappa等(Bay，1995；Belov，2010；Sotaridona，2006)，部分统计量还在实际考试情景中得以应用，如：k指数在SAT中的应用(Lewis，1998)、ω指数在MPRE中的应用等(Wollack，2003)。这些统计量都是以被怀疑抄袭者和抄袭来源匹配反应的数目为基础而建立的，但它们之间也存在差异：一类是只考虑被怀疑抄袭者和抄袭来源的错误答案匹配数目，如，ESA、k、s1、kappa等(Sotaridona，2002，2003，2006；Wollack，2004)；另一类是同时考虑两者的错误答案匹配数目和正确答案匹配数目，如，g2、s2、ω等(Frary，1997；Sotaridona，2003；Wollack，1997)。由于第一类抄袭统计量对那些只从抄袭来源处抄袭正确答案的抄袭者检测效果迟钝，在应用上存在缺陷。第二类抄袭统计量兼顾两种匹配，考虑的信息更全面，因此，本文将在简要分析只考虑错误答案匹配数目的代表性指标——k指数的特点基础上，重点探讨既考虑错误答案匹配又考虑正确答案匹配的第二类抄袭统计量的统计特性及抄袭检测性能，并通过与k指数的比较提出此类统计量的优势。
　　1 以匹配错误回答数目为基础的抄袭统计量——k指数
　　1.1 抄袭统计量的统计原理
　　第32卷第1期
　　甘媛源等 兼顾两种匹配的考试抄袭统计量研究评述
　　
　　心理学探新2012年
　　
　　抄袭统计量的基本原理是在没有抄袭的假设条件下建立被试反应概率的模型，在此基础上可以得到被试间存在相似反应模式的概率，通过比较可以发现被试间存在的异常的相似反应模式，存在这一异常模式的一组被试就可被认为是可能的抄袭者和抄袭来源(韩丹，郭庆科，王昭，陈雪霞，2008)。
　　在考试中，任意两个独立的被试都存在一些相同的项目反应模式，例如，被试选择了相同的正确答案，相应地，任何两个被试也有可能选择相同的错误答案，因为那些具有良好区分度的多项选择题一般都会设置一些诱惑性强的错误选项来吸引能力较低的被试，让他们趋于选择这一错误选项，因此，两个独立的被试选择了相同的错误选项是正常的。但是，某些类型的一致回答却是异常的，例如，能力很低的被试不可能连续正确回答出非常难的项目，这就是所谓的异常相似反应模式。当然，这种匹配反应模式较少时可能是偶然因素造成的，但当这样的匹配反应模式很多时，就具有了统计学意义，并为识别被试的作弊行为提供了参考资料。
　　1.2 k指数
　　仅考虑被试间匹配错误答案数目的代表性抄袭统计量是由Holland提出的k指数(Holland，1996)。下面以k指数为例对第一类抄袭统计量作简要介绍。
　　在k指数的计算中，首先将具有相同错误答案数目的被试分成一组，所有被试就被分为R组，第r 组(r=1，2，…R)中的被试记为j(j=1，2，…Jr)，也就是说，在第r组中的Jr个被试有相同的错误项目数，将含有被怀疑抄袭者c的被试组定义为第c′组，用Jc′表示第c′组中所包含的被试人数，因此，rj表示在r组中的被试j，Uirj为在r组中的被试j对项目i的反应，设 ws为抄袭来源的错误项目数，对于每一个被试rj就有一个指示变量Airj，当第r组中的被试j对项目i的反应与抄袭来源s对项目i的反应相同时，Airj=1，否则，Airj =0，设Mrj为被试rj与抄袭来源s错误答案匹配的数目，因此，Mrj=ΣAirj，因为在计算k指数时指出是哪一个被试所对应的与抄袭来源的错误答案匹配数目是不必要的，以下将Mrj简记为M，用二项分布近似的估计M的分布，数学表达式如(1)式，
　　K=P(M≥mc′c)=∑wsg=mc′cwsgPc′g1－Pc′ws－g(1)
　　其中，ws为被怀疑的被抄者错误回答的数目，m c′c为被怀疑的抄袭者c′c与抄袭来源s匹配的错误选项数目，所以，k即是在偶然因素条件下的错误答案匹配比m c′c大的概率。当k值较小时，被怀疑抄袭者和抄袭对象间存在抄袭的可能性较大。在求k的过程中，Holland建议用Qc′的分段线性回归来近似估计Pc′，但由于Pc′的估计值受到样本量的影响，在样本量小的情况下k的可靠性降低。 
　　1.3 k指数的扩展
　　Sotaridina、Meijer在k的基础上提出了新的抄袭统计量——k[KG*9]1、k[KG*9]2、s1。实际上，k[KG*9]1、k[KG*9]2在Pc′估计方法方面进行了改进，它们分别用一次函数和二次函数来估计Pc′；而s1对k系列指数的改进在于用泊松分布取代二项分布来估计M，并用对数线性函数估计泊松分布的参数。模拟实验研究表明，s1、k[KG*9]2较k、k[KG*9]1的 I型错误率较低，抄袭识别率较高，s1比k[KG*9]2的抄袭识别率更高，因此，采用泊松分布能更好地估计M分布。 
　　2 同时以匹配正确回答数目和错误回答数目为基础的抄袭统计量