一款结合了机器学习,能够将静态教科书中的图示转化为互动物理模拟的创作工具。这款工具借助最新的计算机视觉技术,比如 Segment Anything 和多模态大语言模型,通过网络系统帮助用户提取物理教科书中的图示,并基于这些内容生成互动模拟。这些互动图示可以无缝嵌入到扫描的教科书页面中,从而帮助学生提供更生动、个性化的学习体验。帮助学生理解光学、电路和运动学等各种物理概念。

开发者通过与七位物理教师的访谈,探讨了四种主要的增强策略:1)增强实验,2)动画图示,3)双向互动,4)参数可视化。研究结果显示,这个系统能够为物理教育带来更有趣、更个性化的学习体验。

项目论文 arXiv