绩效评价问卷调查效度分析.docx

绩效评价问卷调查效度分析效度是一种概念，其是指研究项（通常比如为问卷量表题目）的设计是否具有科学合理性。通常情况下效度可分为内容效度和结构效度。内容效度是指研究项的设计具有专业性，结合研究目的进行，专家认可等，即使用文字直接描述研究项为什么要这样设计，有什么参考依据，或者有什么专业上的意义，内容效度直接用文字详细描述即可。除开内容效度，还可以使用研究方法进行效度验证，此类效度称做结构效度。一般情况下，结构效度是使用因子分析方法进行研究。使用研究方法去探索研究项的内在逻辑结构，通常逻辑结构的判断，最终验证效度水平情况。比如本案例中共有14个量表题项，4个维度，而且14个题项与4个维度之间均有着专业意义上的对应关系情况。那么如果使用研究方法即因子分析进行效度分析时，因子分析结果也显示4个维度分别与14个量表题项的对应关系，与专业上基本吻合，此时此说明研究方法识别出的逻辑内在结构，与专业意义上的内在逻辑结构有着一致性，此时则说明数据具有有效性。如果14个量表题项与4个维度之间的对应关系情况，与专业知识情况不符合，比如A1.这个题目被划分到了C维度下面，此时则说明可能A1.这个题项应该被删除处理，其出现了张冠李戴'现象。因而在进行分析时很可能会对部分不合理的题项进行删除处理。效度不达标？针对问卷量表数据（重要提示：效度分析仅仅是针对量表数据），可以进行效度分析。如果是非量表，则不能进行效度分析（可以使用文字详细描述问卷如何设计，问卷设计是否合理性等等以证明问卷设计有效度，文字描述的过程叫做内容效度）。效度分析需要注意以下几点：1、效度分析时，是综合各项指标进行综合判断，包括KMO值，巴特球形检验，方差解释率，累积方差解释率值，因子载荷系数值，维度和题项对应关系等。2、效度分析时，很可能需要删除题目，以便于维度和题项对应关系符合预期。3、效度分析时，最关键的地方在于：维度和题项对应关系，是否与专业预期符合；其余指标相应比较容易达标，最核心的是让维度和题项对应关系保持基本一致性。4、效度分析时，是个多次来回重复对比的过程，很可能重复进行很多次，对比删除题目后找出最优结果。5、如果分析题目专业预期应该对应5个维度，则应该先设置成数字5,如下图。6、如果无论如何效度分析均不达标，可考虑以单个维度为准，如果有3个维度，则进行3次效度分析，然后将3次分析结果合并规范。如下图所示：非量表如何进行效度分析？量表是指类似于“非常不满意，不满意，非常满意”这样的题项，第1个选项用1分表示，第2个选项用2分表示，依次下去，分值越大代表越满意，或者越不满意。只有量表题才能进行效度分析（以及信度分析）。效度分析用于研究问卷设计是否有效合理，如果是非量表题，则没有办法使用研究方法进行分析，只能使用文字形式进行描述（这种叫内容效度），以证明问卷设计的合理性，建议按以下几点分别说明，从各个角度论证问卷设计的合理性。第一：用文字描述问卷的设计过程，包括问题设计与思路如何保持一致性；第二：用文字描述问卷设计的参考依据，比如参考某某文献设计问卷等；第三：用文字描述问卷设计的过程，比如是否进行过预测试，对问卷进行过哪些修改处理等，修正的原因等；第四：用文字描述专家或同行的认可性，比如问卷设计经过某指导教授或老师的认可，也或者相关专业人士（比如学长同学等）进行过沟通修改等。第五：其它可用于论证问卷设计合理的说明等。