本发明公开了一种基于计算机视觉的多维度课堂量化系统及方法，该系统包括：数据采集模块，用于实时采集课堂上课的学生正面视频，以及教师授课的视频；数据实时处理模块，用于实现教师授课行为检测与识别、学生上课学习行为的检测与识别；数据可视化展示模块，用于从四个角度量化课堂并可视化展示，从而构建教师和学生双向维度的新型评价系统来量化课堂；数据存储模块，包括整堂课的原始视频数据保留、学生异常行为截帧保留、课堂评价报告生成，从原始视频到处理过程到处理结果三个部分存储数据。本发明能自动、智能地评价课堂，方便教师课后参考课堂教学过程，根据量化的学生行为结果反馈教学质量从而针对性地改善教学效果，促进学生学习进步。