测量效度

Question 1

效度概述

Answer 1

含义（概念）

特征（两个层面的相对性、随机误差系统误差的反应、多方面考察）

效度与信度的关系（信度是效度的必要不充分条件、效度受信度制约）

1.含义

效度是指一个测验或量表实际能测出其所要测的心理特质的程度。在测量理论中，效度被定义为，在一列测量中，与测量目的有关的真实变异数与总变异数的比率,表示为：

r_xy²=S_v²/ S_x²

式中,r_xy²代表效度系数，S_v²代表有效变异数，S_x²代表总变异数。

2.特征

(1) 效度是一个相对的概念。这种相对性表现在两个方面：其一,效度是相对于一定的测量目的而言的;其二,心理测量只能达到某种程度上的准确性。
(2) 效度是测量的随机误差和系统误差的综合反映。
(3) 判断一个测量是否有效要从多方面搜集证据。

3.效度与信度的关系

根据公式S_x²=S_v²+S_I²+S_E²,可以得到信度与效度的关系,具体如下。

(1)信度高是效度高的必要而非充分条件

当随机误差的变异数S_E²减小时,真分数的变异数S_T²增加,测验信度S_T²/S_x²随之提高。信度的提高只给有效变异数S_v²的增加提供了可能。至于是否能提高效度,还要看系统误差变异数S_I²的大小。

可见,信度高不一定效度就高。但一个测验要想效度高,真分数的变异数必须占较大的比重,即测验的信度必须高。

(2)测验的效度受它的信度制约

根据效度和信度的定义: r_xy²=S_v²/S_x²，r_xx=S_T²/S_x²以及公式S_T²=S_v²+S_I²，可得到：

r_xy²=(S_T²-S_I²)/S_x² = r_xx - S_I²/S_x²

因为S_I²>0,所以r_xy²< r_xx，这就是说，一个测验的效度总是受他的信度所制约。

Question 2

效度的评估

（一）内容效度

Answer 2

内容效度是指一个测验实际测到的内容与所要测量的内容之间的吻合程度。估计一个测验的内容效度就是确定该测验在多大程度上代表了所要测量的行为领域，这里所测量的内容或行为领域包括①欲测的知识范围和②该范围内各知识点所要求掌握的程度。

1.应用范围

内容效度主要应用于成就测验,也适合于某些用于选拔和分类的职业测验,不适用于能力倾向测验和人格测验。

2.确定方法

(1)逻辑分析法

逻辑分析法又称专家评定法,其工作思路是请有关专家对测验题目与原定内容范围的吻合程度做出判断,具体步骤如下:

①明确欲测内容的范围,包括知识的范围和能力要求两方面;

②确定每个题目所要测的内容,并与测验编制者所列的双向细目表对照,逐题比较自己的分类与制卷者的分类,并做好记录

③制定评定量表。

(2)克隆巴赫的统计分析方法

(3)再测法

Question 3

效度的评估

（二）结构效度

Answer 3

结构效度是指一个测验实际测到所要测量的理论结构和特质的程度,或者说测验分数能够说明心理学理论的某种结构或特质的程度。

1.应用范围

结构效度主要用于智力测验、人格测验等一些心理测验。

2.特点

(1) 结构效度的大小首先取决于事先假定的心理特质理论;
(2) 当实际测量的资料无法证实我们的理论假设时，并不一定就表明该测验结构效度不高，因为还有可能出现理论假设不成立，或者该实验设计不能对该假设适当的检验等情况，这就使结构效度的获取更为困难;
(3) 结构效度是通过测量什么、不测量什么的证据累积起来加以确定的,因而不可能有单一的数量指标来描述结构效度。

3.确定方法

(1)结构效度的确立步骤

①提出理论假设,并把这一假设分解成一些细小的纲目,以解释被试在测验上的表现。

②依据理论框架,推演出有关测验成绩的假设。

③用逻辑的和实证的方法来验证假设。

(2)结构效度的估计方法

①测验内部寻找证据法

1) 考查测验的内容效度,内容效度高则结构效度高；
2) 分析被试答题过程;
3) 计算测验的同质性信度来检测结构效度。

②测验之间寻找证据法

1)相容效度法,即考查新编测验与某个已知的能有效测量相同特质的旧测验之间的相关。

2)区分效度法,即考查新编测验与某个已知的能有效测量不同特质的旧测验之间的相关,这种方法叫区分效度法。

3)因素分析法。

③考察测验的实证效度法

1) 根据效标把人分成两类,考查其得分的差异；
2) 根据测验得分把人分成高分组和低分组,考察这两组人在所测特质方面是否有差异；

④多种特质一多种方法矩阵法(相容效度法和区分效度法的综合运用)

1) 若用多种极不相同的方法测量同一特质所得的相关系数很高,则说明该测量的相容效度较高
2) 若用多种极为相似的方法测量不同特质所得的相关系数很低,则说明该测量的区分效度较高;
3) 若用多种极为相似的方法测量极为相似(或同一种)特质所得的相关系数很高,则说明该测量的信度较高。

⑤因素分析法

在测验实测之后,可以分别采用探索性因素分析和验证性因素分析的方法研究测验的结构效度

Question 4

效度的评估

（三）实证效度

Answer 4

实证效度又叫效标关联效度,是指一个测验对处于特定情境中的个体的行为进行估计的有效性。也就是说,一个测验是否有效,应该以实践的效果作为检验标准。

【效标】是衡量一个测验是否有效的外在标准,它独立于测验并可以从实践中直接获得我们所感兴趣的行为。

1.种类

根据效标资料搜集的时间差异,实证效度可以分为:(1)同时效度:主要用于诊断现状。(2)预测效度:主要用于预测某个个体将来的行为。

2.确定方法

(1)步骤

①明确观念效标;

②确定效标测量;

③考查测验分数与效标测量的关系。

(2)效度估计方法

①相关法

相关法即计算测验分数与效标测量的相关系数(积差相关法、等级相关法等)

②区分法

区分法的思路是,被试接受测验后,让他们工作一段时间,再根据工作成绩(效标测量)的坏分成两组。再回头来分析这两组被试原先的测验分数差异,若测验分数差异明显,则说明该测有比较高的效度。

③命中率

命中率包括正命中率、负命中率和总命中率。其中,正命中率是指测验选出来的人中真正被选对了的人数的比率;负命中率是指被测验所淘汰的人中真正应该被淘汰的人数的比率;总命中率是指被测验选对了的人数和淘汰对了的人数之和与总人数之比。

1) 若测验的使用者同时在意被选对了和被淘汰对了的人数的比率,则应当以测量的总命中率作为效度指标。总命中率高,测量的效度就高。
2) 若测验使用者只关心被选者是否全部符合要求,而不关心被淘汰者中是否有符合要求的人,则应

选用正命中率高的测量工具。正命中率越高,测量的效度就越高。

④基础率、灵敏度和确认度

基础率是指符合筛选要求的群体在整个人群总体中所占的比率;灵敏度是指所有真正符合要求的人能被测验鉴别出来的人数的比率;确认度是指所有不合要求的人中能被测验正确淘汰的人数的比率。当基础率较低时,选用灵敏度高的测验才能比较有效。当基础率很高时,则选用确认度高的测量工具才能比较有效。

Question 5

提高测量效度的方法

Answer 5

1.影响测量效度的因素

(1)测验的构成

当组成测验的试题样本没有较好地代表欲测内容或结构时,测量的内容效度或结构效度必然会不高。若题目语义不清、指导语不明、题目太难或太易、题目太少或安排不当,都会降低测量效度。

(2)测验的实施过程

测验实施过程中,如不遵从指导语的要求,或出现意外干扰,或评分计分出错等,都会降低测量效度

(3)接受测验的被试

被试的应试动机、情绪、态度、身体状态等都会影响测量的信度,造成较大的随机误差,进而影响测量的效度。被试团体不同质,也会得到不恰当的效度资料。

(4)所选效标的性质

由于同一个测验可以有不同的效标,同一个观念效标也可以有不同的效标测量,因此在评价测量效度时,所选效标的性质是很重要的考虑因素。

(5)测量的信度

信度不高的测验不可能具有很高的测量效度。

2.提高测量效度的方法

(1) 精心编制测验量表,避免出现较大的系统误差。
(2) 妥善组织测验,控制随机误差。
(3) 创设标准的应试情境,让每个被试都能发挥正常的水平。
(4) 选好正确的效标,定好恰当的效标测量,正确地使用有关公式。