2020年学生体验调查:方法论

我们如何评价学生体验

新2高等教育的 学生体验调查(SES)的排名现在已排在第10年。与调查的所有其他年份一样,今年由青少年t进行了研究。

在这里,我们揭示了一些关键方法论问题的答案。

SES背后的问题是什么?

SES问题基于1000名本科生的回答,这些学生被要求描述他们的大学如何为学生带来积极或消极的学习经历。回答被用来制定八个领域的21个学生体验测度,现在在SES中要求如下:

根据您的经验,您是否坚决同意您的大学提供以下内容……(从“完全同意”到“完全不同意”从7分制)
学术经验高素质的员工/讲座
有帮助/有兴趣的员工
结构合理的课程
与教学人员的良好人际关系
小团体学费
公平的工作量
大学设施高品质的设施
集中/便利的设施
便宜的商店/酒吧/设施
良好的图书馆和图书馆开放时间
良好的体育设施
社会经验良好的社交生活
良好的社区氛围
良好的课外活动/社团
校园/大学周围的良好环境
学生福利满足个人需求
良好的支持/福利
住所住所
行业联系行业联系
安全安全
学生会好学生会

此外,还要求受访者对第22项指标进行评分,我会以相同的规模将我的大学推荐给朋友

自从2005年设计问题以来,这些问题就一直保持不变,以使多年来的分析具有稳定性和可比性。

SES何时以及如何进行?

SES的回答是每年10月至6月之间在英国学习的全日制本科生收集的。数据收集与发布之间存在一年的时间间隔,即SES 2017中显示的数据是在2015年10月至2016年6月之间收集的。

该调查被附加到YouthSight的学生综合调查中。每个受访者每年只能参加一次。调查的目的和时间都没有透露给受访者。HEI不知道选择哪个本科生参加。 

谁参加了SES?

只有青少年的面板社区(OPC)的成员才能参与调查。OPC是英国最大的青年(16-30)研究小组,包括80,000名在英国大学学习的全日制本科学生。通过合作伙伴计划和广告,大多数本科生都有机会加入OPC。作为加入的回报,会员每次完成在线调查或参加定性研究时,都会获得奖励。

每年有多少受访者参加SES?

在过去的四年中,每年有大约15,000名全日制本科生参加SES。SES 2017的确切数字是15,876。

SES排名如何确定?

对于22个调查指标中的每一个,每个机构都会创建一个平均“协议分数”。然后,根据该度量与第22个度量的相关程度,对21个已制定度量的平均得分进行加权。我会推荐我的大学给一个朋友

重量制定SES措施
2高素质的员工/讲座
有帮助/有兴趣的员工
结构合理的课程
良好的社交生活
良好的社区氛围
良好的课外活动/社团
校园/大学周围的良好环境
高品质的设施
满足个人需求
1.5好学生会
良好的支持/福利
与教学人员的良好人际关系
集中/便利的设施
良好的行业联系
好的住宿
安全性好
1个便宜的商店/酒吧/设施
小团体学费
良好的图书馆和图书馆开放时间
公平的工作量
良好的体育设施

对于每个机构,将加权平均分数之和除以权重之和(33.5),以计算加权平均数。然后将其编入索引以提供机构排名的总分(满分100分)。

为什么在SES排名中缺少某些高等教育机构?

调查团队承认,SES机构数量的最大化反过来使排名更加有用。但是,由于每个机构可实现的响应数量广泛地反映了机构规模,因此,并非总是能够获得足够大的样本以在每个HEI上提供统计上可靠的数据(从逻辑上讲,它往往是较小的HEI并未出现)。 

为了平衡列表的大小和统计有效性,折中方案是在纳入之前将每个HEI的最小阈值设置为50。但是尽管有这个固定的门槛,调查团队的目标还是更高。每年,达到100个或以上响应的机构数量都会最大化。

今年,我们首次达到了100家机构,得到了100次以上的回复(去年为94家)。SES 2017总共包括122个机构,每个机构的平均样本量为130。

基本规模是否足够大,可以在机构之间进行比较?

与任何受访者调查一样,每个机构的结果都有一个“错误条”。这与每个机构的样本量和方差(给定机构的受访者之间的分数一致性)相关。

应当指出的是,对于SES年度排名,平均而言,要求总体得分相差3.7分,才能使机构之间的显着性差异达到95%的显着水平。这意味着,在排名的顶部和底部,HEI只需要向上或向下移动几位即可看到明显的差异。但是,在排名中间的得分之间,HEI的排名需要转移更多的位置才能看到显着的差异-对于中等排名的机构通常为30-40。这解释了为什么顶部和底部的机构每年都保持一致的排名,而中间的机构的排名却可能波动。

将学生的经历分解成一个单一的排名是否公平?

SES被设计为多维的,即涵盖了学生体验的所有重要要素,无论是学术,社会还是田园。

如上所述,对计入总分的21项制定指标中的每一项进行加权,以反映其在行业一级的相对重要性。但是,调查团队赞赏整个本科生群体中有一些学生群体,与整个行业相比,每种措施的重要性都不同。例如,某些大学生可能更重视学术措施,而另一些则更重视社会措施。这可能会影响某些机构的总体得分。因此,今年首次创建了七个综合评分,以使各机构能够查看其在学生体验的不同领域的表现。