微软研究在10月12日发布的文章中介绍了StudentSim:一个模拟学生如何答题、以及接受指导后如何改变答案的研究系统。它用于在真实学习者测试之前评估和改进AI导师,目前不是产品,也未部署到课堂。
这项研究关注的不只是AI导师的答案质量,而是指导到达学生之后发生了什么:学生是否纠正原来的错误,提示是否帮助其推理,或是否透露了过多答案。微软研究指出,获取这类反馈通常需要真实学习者参与研究,但此类研究耗时、成本高,也难以扩大规模。
StudentSim利用公开、去标识化的学习者记录训练个性化AI学生模拟器,为每名学生分别适配一个模拟器。研究只使用公开发布、供研究使用的数据集,任何阶段都不使用个人身份识别信息。
研究同时提出StudentSimEval基准及评估协议,覆盖国际象棋、第二语言英语写作和数学。评估围绕两个维度展开:模拟器的回答是否像特定学生,以及它在接受导师指导后是否会相应更新回答。
据微软研究介绍,StudentSim在这三个领域的评估中优于领先基线,并为训练AI导师提供了有用的反馈信号。其适用范围仍是研发阶段:模拟器可以近似提供部分学生反馈,但不能替代真实学习者测试,也不以取代教师或课堂学习为目标。
