评估的主要目的之一是确定编程是否真的促进了学生的学习. 然而，这可能很棘手. 大多数教员都是各自领域的专家，擅长处理数据, 但是，如果收集的数据不能准确地告诉我们一个学生是否学到了或者学到了什么呢? 事实上，这可能是非常普遍的，这是项目不根据评估结果改变课程的主要原因之一(班塔 & Blaich 2011).
对教育计划的有效性作出评估性陈述, 我们必须评估学生是否达到了预期的学习和发展成果. 将结果评估结果用于项目改进的一个障碍(i.e., 关闭评估循环)是因为我们并不总是知道如何进行更改，因为我们并不总是知道问题存在于何处.
这个障碍是可以解决的, 在某种程度上, 通过实现保真度数据, 哪些与结果评估数据相结合，以提供关于项目有效性的更有效的推论. 促进对项目质量的准确沟通，并指导项目和学习的改进.
Dr. 莎拉J芬尼, 詹姆斯·麦迪逊大学研究生心理学系教授, 在她的网络研讨会中深入探讨了这个问题, “使用实现保真度数据进行评估 & 提高程序的有效性”，这是本文的基础.
评估目的:改进
教师和工作人员在几个方面努力追求教育的卓越. 编程的目的是支持和提高学生的表现. 然而, 确定性能是否提高是非常具有挑战性的, 如果是这样，又该归咎于何种干预. 这是学生学习成果评估的首要任务, 但是，这些干预措施是根据它们的有效性和正确的数据进行评估的吗?
首先，让我们看看典型的评估周期:
- 识别结果
- 将编程与结果联系起来
- 选择测量仪器
- 收集数据
- 分析和解释数据
- 使用结果来做决定(关闭循环).
最后一步的发生并不像每个人希望的那样频繁, 这是整个过程中最关键的部分.
为什么我们不“结束循环”?
你可能对Trudy 班塔和Charles Blaich的那篇著名文章很熟悉, 首先是一个简单的研究问题:学生学习成果评估结果如何用于改善教学, 学习, 以及学生服务项目. 令人惊讶的是，他们只找到了为数不多的切实改善的例子. 尽管大多数校园都有一些结果评估的程序, 很少有人将结果用于编程中的实际更改.
为什么?
- 对结果评估的目的和过程的混淆
- 没有足够的时间或资源分配给工作
- 评估没有制度价值或奖励
- 缺乏对学习和发展理论的理解，不能有目的的建立, 评估, 并改进编程(Bresciani 2011)
芬尼给出了另外一个原因:学生们缺乏编程方面的实际知识. 在不知道程序中实际(或不实际)发生什么情况下，我们怎么能期望教员和工作人员去改进程序呢?
一个例子:
基线: 2017年平均道德推理= 30
编程: 课程/项目实施
结果: 2018年平均道德推理= 80
反应: 在提高学生进行道德推理的能力方面，该项目可能是有效的.
基线: 2017年平均道德推理= 30
编程: 课程/项目实施
结果: 2018年平均道德推理= 30
反应: 课程 & 编程不工作!
基线: 2017年平均道德推理= 30
编程: 虽然创建了“道德推理”课程/项目，但没有实施
结果: 2018年平均道德推理= 30
反应: 我们可以在实际实施无干预时观察到这个结果.
基线: 2017年平均道德推理= 30
编程: “道德推理”课程/项目执行不力
结果: 2018年平均道德推理= 30
反应: 我们可以在不协调的情况下观察到这个结果, “马虎”, 实施不完整的课程/方案
所以…这是它?
- 程序没有“工作”
- 计划没有实现
- 计划执行得很差
正如我们在这个例子中看到的, 在使用典型的评估周期时，您不能在这三种可能性之间进行选择, 哪些限制了评估结果用于程序改进.
即使程序试图基于已有的结果关闭循环，并实施更改或高影响的实践来提高学习, 我们做不到. 最近一项对“高影响实践”价值提出质疑的研究错误地假设，只要提供它们就足够了. 如何实现是至关重要的，George Kuh和Jillian Kinzie写道. “简单地提供一项HIP活动并为其贴上标签，并不一定能保证参与该活动的学生会像许多现存文献所宣称的那样受益.“实施质量至关重要.
输入:实现保真度.
将实现忠实度纳入评估周期
实现忠诚不是一个新概念，但在K - 12教育中有其他名字(学习机会(OTL)), 设计与. 提供高等教育课程, 操作逼真度/检查实验研究, 行为咨询中的治疗完整性.
对cq9电子游戏爆分技巧, 它位于评估周期的第三和第四步骤之间:
- 识别结果
- 将编程与结果联系起来
- 选择测量仪器
- 实现保真度
- 收集数据
- 分析和解释数据
- 使用结果来做决定(关闭循环)
为了将评估证据转化为项目改进，我们需要知道 当 收集更多的数据将有助于集中和澄清潜在的行动，而我们需要知道 什么 数据是必要的. 具体来说，就是学生实际收到的程序.
当开发一个程序时, 课程设计和教师培训是课程设计的重点, 但很少(有时根本没有)致力于评估计划与计划之间的一致性. 实际实现的编程.
在解释前提时，“黑盒”的类比很有帮助. 我们将程序概念化为
计划干预→结果→结果测量
事实上，我们需要知道实际的干预，这通常是未知的(在一个黑盒中). 为了打开盒子并看到实际的干预，我们使用实现保真度.
一个例子:
计划干预: 药物干预:每天4片，持续2个月
结果: 消除疾病的存在
结果测量: 血液测试
反应: 如果病人事后的疾病检测呈阳性, 这是否意味着计划的干预(药物治疗)是无效的?
实际干预/保真度测量: 记录准确的药片服用天数
计划干预: 身体健康计划:饮食和锻炼制度
结果: 身体更健康
结果测量: 体重，尺寸，耐力，照片
反应: 如果一个人没有减肥，没有改变体重，没有改变耐力， & 图片看起来和程序之前一样, 这是否意味着有计划的健身计划是无效的?
实际干预/保真度测量: 准确记录食物摄入量和运动
计划干预: 公民参与项目:演讲、辩论、录像
结果: 增加公民参与的价值
结果测量: Essay detailing the importance of civic engagement; self reported valuation measure
反应: 如果学生不能清楚地表达公民参与的价值，或者他们自我报告的价值不会增加, 这是否意味着计划课程是无效的?
实际干预/保真度测量: 记录实际完成的课程和活动
将实现保真度步骤添加到过程中，并评估实际干预是否被测量，从而获得更可靠的数据，这些数据随后可用于告知项目决策.
在下面的表格中, 考虑一下，如果不进行保真度评估，我们就会对课程做出无知的假设, 干预, 和项目质量. 这可能导致不采取任何行动(即使他们可能是需要的)或试图修复一些可能不会影响学生学习的东西. 实现保真度帮助我们更好地解释结果, 有利的或不, 然后做出明智的决定.
现实: 1
富达评估结果: 高(+)
结果评估结果: 好(+)
没有保真度数据的常见结论: “程序”看起来很好!
通过保真度数据得出更准确的推论: 计划可能有效.
现实: 2
富达评估结果: 低(量)
结果评估结果: 可怜的(量)
没有保真度数据的常见结论: "程序"不工作.
通过保真度数据得出更准确的推论: 对计划中的项目还不能得出结论.
现实: 3
富达评估结果: 高(+)
结果评估结果: 可怜的(量)
没有保真度数据的常见结论: "程序"不工作.
通过保真度数据得出更准确的推论: 项目在实现目标方面是无效的.
现实: 4
富达评估结果: 低(量)
结果评估结果: 好(+)
没有保真度数据的常见结论: “程序”看起来很好!
通过保真度数据得出更准确的推论: 对计划中的项目还不能得出结论.
简单的实现忠诚l
这些组件可以用来创建一个评分标准来评估实现的保真度. 参见博士的例子. 芬尼博士. 而且.
- 程序分化
- 定义:详细描述一门课程的具体特点，在理论上使学生达到预期的结果. 评估其他保真度组件的必要条件.
- 评估: not “assessed”; involves describing specific activities & 课程. 作为评估周期的第2步完成(将规划映射到结果).
- 依从性
- 定义:方案的具体特征是否按计划实施.
- 评估:记录是否(i.e.，“是”或“否”)实现了每个特定的程序特性.
- 质量
- 定义:程序执行的好坏或交付的程序功能的质量.
- 评估:对实施质量进行评级(e.g.， 1 =低到5 =高).
- 曝光
- 定义:所有参与该项目的学生获得全部治疗的程度.
- 评估:记录项目组成部分的持续时间和/或接收该组成部分的项目参与者的比例
- 响应性
- 定义:患者接受治疗的能力.
- 评估:评估参与程度(e.g.， 1 =未订婚到5 =非常订婚).
一旦制定了规则, 使用有效的例子是至关重要的(实时程序), 视频的程序, 项目材料)，并有多个来源的评价者(独立审计员), 项目主持人, 计划参与者).
实现保真度的其他优点
“一个有效的评估程序应该花更多的时间和金钱在使用数据上，而不是在收集数据上”(班塔) & Blaich 2011). 优先收集信息是有意义的.
通过将实现忠实度纳入评估周期, 我们有更多关于实际编程学生接收到的信息，可以对我们编程的影响做出更有效的推断.
最后, 包括教师和工作人员，让他们参与到仔细检查实际项目的过程中, 哪些因素能激发他们审视学生学习和发展成果的欲望, 以及促进他们对项目改进评估结果的解释和使用.
其他资源:
- 织知识中心
- 使用执行保真度数据来评估和提高程序的有效性 作者莎拉·J. 芬尼
- “好吧，我知道什么需要改进了……现在呢??帮助教师和同事改进评估信息课程的工具和框架 斯蒂芬·Biscotte
- 关闭评估循环 通过特鲁迪W. 班塔和查尔斯·布莱奇
- 在实施基于结果的评估项目评审中识别障碍:一个扎根的理论分析 由玛丽莉·J. Bresciani
- 是什么让一个“高影响力”的练习产生高影响力? 作者:George Kuh和Jillian Kinzie
- 衡量学生事务计划的执行忠实度:结果评估周期的一个关键组成部分 由洁茹J. Gerstner和Sara J. 芬尼
没有回复