一种基于在线互动培训课堂培训的方法及装置

摘要

本发明涉及一种基于在线互动培训课堂培训的方法及装置。根据预设的判断策略可以获得学生整个学习过程所处状态，并根据判断结果输出一视频影像，上述视频影像可以被老师和管理者访问，教师可以根据输出的视频影像了解自己的教学过程，得到学生的反馈信息，从而可以改进自己的教学方式和或备课方式。另外，管理者也可以通过获取的视频影像实时了解学生角色在学习过程中所处状态，方便课后辅导教育等。同时，还可以根据判断结果为学生匹配最佳的老师，提高学生的学习激情和学习效率。另外，还可以确定老师的最佳授课内容，方便老师间的相互学习和交流。同时，还可将上述最佳授课内容以视频的形式输出，方便管理者查看，了解教学质量。

说明书

技术领域

本发明涉及互动教学领域，具体地，涉及一种基于在线互动培训课堂培训的方法及装置。

背景技术

在线培训是一种网络化学习方式，即学生通过计算机或者手机等上网设备，登陆在线学习装置或平台，通过网络进行选课、听课等实现学习过程的一种全新的学习方式。特别由于今年新冠疫情的影响，导致不能进行集中培训学习，凸出显示了在线培训学习的优势。

然而由于现有的在线培训装置是通过网络进行学习，因此老师和或企业培训管理人员并不能随时了解学生的具体学习状态。或者虽然能够通过在线培训装置监控学生的整个学习状态，然而并不能切实有效地提高学生的学习效率和学习激情。同时，也无法帮助教师进行自查，提高教学质量。

发明内容

本发明的目的在于解决现有技术中存在的问题，通过本发明提供的在线互动培训课堂培训的装置和或方法，可以有效地提高学生的学习效率和学习激情。同时帮助教师进行自查，提高教学质量，并且企业培训管理者可以随时了解学生学习状态，方便课后跟踪和辅导等。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于在线互动培训课堂培训的装置，其中，该装置包括：

用户单元，用于用户输入注册信息、身份验证以及权限管理；其中，注册信息具体包括但不限于：用户的姓名、年龄、联系方式；权限管理用于学生、企业培训管理者和老师中各个角色对本装置中不同单元的使用和访问权限进行管理；

采样单元，用于对学生的学习过程和老师的授课过程进行数据采集；包括但不限于影像采集单元和声音采集单元，其中，通过影像采集单元以视频的方式全程采集学生的学习过程以及老师的授课过程；声音采集单元可全程采集学生的声音和老师的声音；

数据分析单元，用于根据预设的判断策略对采样单元采集的数据进行分析，并输出判断结果。

另外，本发明还提出一种基于在线互动培训课堂培训装置的培训方法，包括如下步骤：

用户通过在线互动培训装置输入注册信息、身份验证，所述在线互动培训装置根据用户输入的注册信息进行权限管理；其中，所述用户具体包括学生、老师和企业培训管理者。

对学生和/或老师进行数据采集；其中，以视频的形式全程采集学生的学习过程和/或老师的授课过程；以音频的形式全程采集学生的声音和/或老师的声音；

根据预设的判断策略对采集的学生的所述数据进行分析并输出判断结果；其中，在输出所述判断结果时，还记录所述判断结果当前的时间序列信息；根据所述判断结果和/或所述时间序列信息和/或所述授课过程输出所述学生与所述老师的最佳匹配结果和/或所述老师最佳授课内容结果。

与现有技术相比，本发明提出的判断策略具有如下优势：判断方法简单，根据采集到的数据经简单的计算即可得到对学生所处的状态，避免了现有算法中复杂的判断过程，节约了算力。判断结果明确，通过本发明提出的判断方法能得出明确的判断结果，避免了似是而非的结果对后续的分析造成干扰。

本发明根据不同实际情况采用不同的方式确定了学生与老师之间的最佳匹配结果，由此可以个性化地为学生分配老师，由此可以显著提高学生的学习激情和学习效率。同时，本发明还可根据不同情况确定老师的最佳授课内容，方便老师间的相互学习和交流。同时，还可将上述最佳授课内容以视频的形式输出至数据存储单元中，方便企业培训管理者查看，了解教学质量。

其次，本发明的方案对于现有技术而言：首先发现了直接统计专注时长不够准确这一技术问题，并进一步的提出了相应的技术方案，解决避免了因同一教学内容授课先后顺序对匹配结果造成的不利影响，使得匹配结果更加精准。对于课外培训机构而言，采用本发明提出的技术方案，能通过对不同授课老师的试听课快速确定最匹配的授课老师，提高了授课的质量。

另外，本发明的技术方案还具有以下优势：(1)采用抽样学生提前学习的方式，获取该水平学生最为匹配的任课老师，为特定群体适配其合适的资源，保证了学习效果；(2)针对不同老师擅长的教学内容不同，为学生配置最优的教学内容，保证了教学资源的最优配置。

附图说明：

图1为本发明基于在线互动培训课堂培训的装置；

图2为本发明时间序列信息示意图；

图3为本发明合成的视频影像效果图

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。

因此，以下对本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的部分实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征和技术方案可以相互组合。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，这类术语仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

现结合附图，对本发明的较佳实施例作详细说明。

参见图1，图1示出本发明的一种基于在线互动培训课堂培训的装置。其中，该装置主要包括：

优选地，用户单元1，用于用户输入注册信息、身份验证以及权限管理。

其中，注册信息具体包括但不限于：用户的姓名、年龄、联系方式等；权限管理用于学生、企业培训管理者和老师中各个角色对本装置中不同单元的使用权限进行管理，例如老师可以访问数据存储单元中的视频以便了解自己的教学过程，得到学生的反馈信息等，企业培训管理者则可以访问数据存储单元中的视频以便了解老师培训质量等，方便企业培训的实时调整，具体将在后续说明。

优选地，采样单元2，用于对学生的学习过程和老师的授课过程进行数据采集。包括但不限于影像采集单元21和声音采集单元22，其中，通过影像采集单元21以视频的方式全程采集学生的学习过程以及老师的授课过程；声音采集单元22可全程采集学生的声音和老师的声音。其中，所述采样单元2还将采集的样本数据传输至数据分析单元3和/或数据存储单元5。

优选地，数据分析单元3，数据分析单元3用于根据预设的判断策略对采样单元2采集的样本数据进行分析，并输出判断结果。其中，在本发明中的一个实施例中，采用以下判断方法构建所述判断策略，输入的状态参数包括眼部状态、嘴部状态以及声音状态。具体地，本发明中构建的判断方法如下表所示：

如上表所示的，以眼部状态为例，根据眨眼状态判断人员所处状态。具体地，人在处于正常状态时会以一定的频率眨眼，一般而言在每分钟10-15次左右；然而当人在瞌睡时眼睛处于闭眼状态，困倦状态时眼睛处于缓慢眨眼状态，而当眼睛处于不眨眼状态时，此处有可能处于卡顿状态或者此时可能出现以图片代替学生的特殊情况，因此此时输出结果为失效。综上，以眨眼频率作为眼部状态的判断阈值，以10-15次/分作为正常值，超过正常值范围可认为处于缓慢眨眼状态。当然，此处只是示例性地示出上述判断阈值，本领域技术人员还可根据实际情况进行适当的调整。其同样地，当人处于正常学习状态或者困倦等状态时，一般嘴部处于闭合状态，当处于启闭交替状态时说明此时交谈或者说话状态，并且还可根据声音信息进行判断，例如当存在呼噜声或者环境音时说明此时可能处于瞌睡等困倦状态或者专注学习等状态，当出现人声时说明处于交谈或者说话状态，具体如上表所示。上表只是本实施例中判断方法的示意性参考，本领域技术人员还可根据实际需要进行调整，例如可将困倦和瞌睡归为一种疲劳状态等，在此不做赘述。

本发明中提出的判断方法具有如下优势：判断方法简单，根据采集到的数据经简单的计算即可得到对学生所处的状态，避免了现有算法中复杂的判断过程，节约了算力。判断结果明确，通过本发明提出的判断方法能得出明确的判断结果，避免了似是而非的结果对后续的分析造成干扰。

优选地，数据分析单元3包括特征信息提取单元31和判断单元32，其中，特征信息提取单元31用于提取所述判断策略所需的特征信息，判断单元32用于根据所述特征信息提取单元31提取的特征信息根据预设判断策略输出判断结果。具体地，特征信息提取单元31用于提取眼部状态、嘴部状态和声音状态。

优选地，通过抽取视频中关键帧的方式完成提取。具体地，以一段记录了150帧的图像为例，每5帧进行一次抽取，一共抽取30帧图像，并将这30帧图像作为样本数据，确定每一帧图像中人员的眼部状态、嘴部状态，同时通过声音采集单元22实时采集的声音信息判断声音状态，最后确定30帧图像里每一帧中人员的眼部状态、嘴部状态和声音状态，将上述结果输入至判断单元32并根据预设的判断方法确定此时人员所处的状态(例如瞌睡、困倦、专注、分神等状态)，即确定了30帧里每一帧中人员的状态。当然，上述参数设置仅仅示例，在实际应用过程中可根据具体的视频信息进行相应的调整，以确保判断结果的准确性。

优选地，所述判断单元32根据预设判断策略输出所述判断结果，同时还记录所述判断结果当前的时间序列信息，并且上述时间序列信息还被传输至数据转换单元33。所述判断单元32还用于将所述时间序列信息以不同的颜色进行标记，所述数据转换单元33将上述以不同颜色标记的时间序列信息以时间序列合成至采集的所述老师的授课过程的视频影像中。具体地，如附图2中示出了本发明的时间序列信息，其中，所述时间序列信息包括按照时间顺序输出的所述判断结果的持续时间，以及所述判断结果的代表颜色，例如红色代表瞌睡或者困倦；黄色代表分神；绿色代表专注等。所述判断单元32将以不同颜色标记的所述时间序列信息传输至数据转换单元33中，所述数据转换单元33将所述以不同颜色标记的所述时间序列信息合成至影像采集单元21采集的老师教学视频中，并将上述合成的视频影像输出至数据存储单元5中，合成的视频影像效果图如附图3所示。上述输出的视频影像可以被老师和企业培训管理者访问，教师可以根据输出的视频影像了解自己的教学过程，得到学生的反馈信息，从而可以改进自己的教学方式和或备课方式，同时还可根据上述时间序列信息或者视频影像为学生匹配最佳老师。另外，企业培训管理者也可以通过获取的视频影像实时了解学生角色在学习过程中所处状态，方便课后跟踪和辅导教育等。

优选地，所述装置还具备评估单元4，所述评估单元4用于获取所述判断单元32输出的多个所述时间序列信息和/或所述采样单元2采集的多个所述授课过程。需要说明的是，上述多个所述授课过程包括多个不同老师的授课过程，其中，所述授课过程可以是相同的教学内容或不相同的教学内容。与之相对的是，上述多个所述时间序列信息包括多个学生对上述授课过程输出的时间序列信息，具体可参见下表所示：以学生A为例，评估单元4可以获取学生A对老师A的教学内容a、b、c、d……对应的时间序列信息或者老师B的教学内容a、b、c、d……对应的时间序列信息，其余老师和学生依次类推。可以知晓的是，可以根据具体需要，获取不同学生与不同老师的各个教学内容对应的时间序列信息，具体将在后续实施例中说明。

优选地，所述评估单元4用于根据所述时间序列信息确定所述学生与所述老师的最佳匹配结果和/或老师最佳授课内容结果。

优选地，确定同一学生对不同老师同一和/或不同教学内容的授课过程输出的时间序列信息中专注状态持续时间T的长短，并将所述专注状态持续时间T按照大小进行排序，将T值最大的老师与所述学生进行匹配，从而确定所述学生与所述老师的最佳匹配结果。

具体地，确定同一学生对不同老师同一教学内容的授课过程输出的时间序列信息中专注状态持续时间T的长短。例如，确定学生A对授课老师A的教学内容a的专注状态持续时间T

比较T

优选地，确定同一学生对不同老师不同教学内容的授课过程输出的时间序列信息中专注状态持续时间T的长短。例如，确定学生A对授课老师A的教学内容a、b、c、d……专注状态持续时间之和t

其中，t

优选地，在按照上述方式确定学生与老师的最佳匹配时，存在一定的误差。具体的，在统计学生对于不同授课老师同一授课内容的专注状态持续时间时，对于同一授课内容，学生随着听课次数增加使得专注程度下降，这将导致所得的匹配结果不够准确。为此，本发明进一步提出了一种按照老师授课的先后顺序对T值进行修正的技术方案。具体的，按照授课的先后顺序，对上述专注状态持续时间T乘以平衡系数p

上述方案相较现有技术而言：首先发现了直接统计专注时长不够准确这一技术问题，并进一步的提出了相应的技术方案，解决避免了因同一教学内容授课先后顺序对匹配结果造成的不利影响，使得匹配结果更加精准。对于课外培训机构而言，采用本发明提出的技术方案，能通过对不同授课老师的试听课快速确定最匹配的授课老师，提高了授课的针对性，进而提高授课质量。

优选地，由于不同基础的学生适合的老师不同。此外，不同老师擅长的教学内容也不同。因此，为充分发挥现有教育资源的优势，为提升整体匹配效果，本发明提出采用以下方法安排授课：

步骤1：每季度进行摸底考试，确定全体学生的成绩排名；

步骤2：通过对学生群体按照成绩顺序进行排序，并对上述排序进行分段，在每一分段中随机抽取n名样本学生，样本学生数量n与授课老师数量m相等，样本学生的学习进度领先该分段中其他学生一天；

步骤3：每一分段中的n名样本学生学习第Q天的学习内容，n名样本学生分别学习m名授课老师的相同教学内容，确定每一分段n名样本学生分别对应的专注状态持续时间的结果，从而确定该分段学生与m名授课老师对于第Q天学习内容的匹配结果，其中Q初始化为1；

步骤4：根据步骤3中确定的匹配老师，安排下一天该分段中其他学生的授课老师，具体的，步骤3中确定的匹配老师即为下一天该分段中其他学生的授课老师，该分段中其他学生学习所述授课老师的第Q天的学习内容；

步骤5：如果未完成一季度的学习，则返回步骤3，且令Q＝Q+1；如完成一季度的学习，则返回步骤1。

优选的，步骤3中的判断方法如下：对于每一个分段而言，将该分段n名学生随机分配m名老师中一名老师并对该老师第Q天的课程进行学习(由于m与n的数量相等，因此，保证每名学生仅对应其中一名老师的课程)，并获得n名学生的专注状态持续时间。对该分段下n名学生的专注状态持续时间进行排序，以专注状态持续时间最长的老师作为该分段的匹配老师。结合下表以分段1为例说明上述技术方案：在第1天的学习中，将该分段n名学生随机分配m名老师中一名老师并对该老师第1天的课程进行学习，并得到n名学生的专注状态持续时间：T

为清楚地说明上述技术方案，举例如下：设全体学生为300名，授课老师为4名，每季度进行摸底考试，确定300学生的成绩排名(步骤1)；通过对学生群体按照成绩顺序进行排序，并对上述排序分为3个分段，即分段1-分段3，每个分段100人，在每一分段中随机抽取4名样本学生，样本学生的学习进度领先该分段中其他学生一天(步骤2)；每一分段的中的4名样本学生分别学习4名授课老师的相同学习内容，确定每一分段4名样本学生分别对应的专注状态持续时间的结果，从而确定该分段学生与4名授课老师的最佳匹配结果(步骤3)；根据步骤3中确定的匹配老师，安排下一天该分段中其他学生的授课老师；如果未完成一季度的学习，则返回步骤3；如完成一季度的学习，则返回步骤1。

相较现有技术而言，本发明的技术方案具有以下优势：(1)采用抽样学生提前学习的方式，获取该水平学生最为匹配的任课老师，为特定群体适配其合适的资源，保证了学习效果；(2)针对不同老师擅长的教学内容不同，为学生配置最优的教学内容，保证了教学资源的最优配置。

优选地，通过确定不同学生对同一和/或不同老师同一和/或不同教学内容的授课过程输出的时间序列信息中专注状态持续时间的大小，并将所述专注状态持续时间按照大小进行排序，将处于所述专注状态持续时间最大的授课内容作为所述老师的最佳授课内容，并输出所述老师最佳授课内容结果。

具体地，确定不同学生对同一老师不同教学内容的授课过程输出的时间序列信息中专注状态持续时间T。例如，分别确定学习老师A的教学内容a的学生A、学生B、学生C……的专注状态持续时间T

分别计算不同学生对同一老师相同教学内容的授课过程输出的专注状态持续时间之和t，其中t

相较现有技术而言，本发明的技术方案具有以下优势：充分利用获取的学生专注状态持续时间，确定某一老师擅长和不太擅长的教学内容，为老师提高教学水平提供明确指引。

进一步地，还可确定不同学生对不同老师同一教学内容的授课过程输出的时间序列信息中专注状态持续时间的大小，用于输出所述老师最佳授课内容结果。示例性地，确定不同学生对不同老师同一教学内容的授课过程输出的时间序列信息中专注状态持续时间的大小，更具体地，确定上述不同学生对同一老师同一教学内容的授课过程输出的时间序列信息中专注状态持续时间之和t，例如，分别确定老师A的教学内容a中学生A、学生B、学生C……输出的时间序列信息中专注状态持续时间的大小T

t

比较t

相较现有技术而言，本发明的技术方案具有以下优势：充分利用获取的学生专注状态持续时间，确定对某一教学内容的最佳授课老师，为学生选课提供明确指引。

优选地，由于实际教学过程中还存在并不是所有的学生均会对不同老师的同一教学内容进行学习，因此将不同老师的同一教学内容所对应的学生进行分组，分别统计不同组别下的学生与其对应的老师的同一教学内容的专注状态持续时间之和，根据上述结果输出所述老师最佳授课内容结果。例如，确定老师A的教学内容a下的分组1(该分组中包括学生A、学生B)下的专注状态持续时间之和t

t

比较t

上述方案相较现有技术而言，采用分组的方式用于确定不同老师最佳授课内容的方式，使得输出结果更加精准。对于课外培训机构而言，利用上述方式可以快速方便地确定不同老师的最佳授课内容，方便对其进行成果展示或宣传等。

如上所述的，本发明根据不同实际情况采用不同的方式确定了学生与老师之间的最佳匹配结果，由此可以个性化地为学生分配老师，由此可以显著提高学生的学习激情和学习效率。同时，本发明还可根据不同情况确定老师的最佳授课内容，方便老师间的相互学习和交流。同时，还可将上述最佳授课内容以视频的形式输出至数据存储单元中，方便企业培训管理者查看，了解教学质量。

数据存储单元5，其对所述装置采集和/或输出的各种数据进行存储。具体地，所述数据存储单元5可以存储用户单元1输入的各种信息；采样单元2采集的所述视频和或声音信息；数据分析单元3分析处理后的所述特征信息、所述视频影像、所述时间序列信息；所述评估单元4输出的所述专注状态持续时间和或所述学生与所述老师的最佳匹配结果和/或所述老师最佳授课内容结果等。

另外，对于本发明而言，还可以基于神经网络模型构建所述判断策略，具体过程如下：

采集样本数据，其中所述样本数据包括具有人脸区域的视频数据；

对所述视频数据中的眼部区域和嘴部区域的关键点进行标注，确定训练的目标区域；

基于所述视频数据中的不同眼部区域和嘴部区域的特征及上述特征分别对应人员所处状态类别生成训练样本集；

基于所述训练样本集对构造的神经网络模型进行训练，得到所述判断策略，所述判断策略使得所述训练样本集中每个眼部特征、嘴部特征与对应人员所处状态类别相关联。

随后，将上述构建的神经网络模型用于对采样单元2采集的样本数据进行分析，并输出所述判断结果。

另外，在通过上述判断策略获得判断结果时，还可将采集的音频数据对所述判断结果进行进一步验证。通过判断结果与所述音频数据所显示的学生状态是否匹配，对上述判断结果进行进一步地修正。

如上所述地，本发明提供了一种基于在线互动培训课堂培训装置。另外，本发明还提出一种基于在线互动培训课堂培训方法。具体方式如下：

用户通过在线互动培训装置中输入注册信息、身份验证，所述在线互动培训装置根据用户输入的注册信息进行权限管理；其中，所述用户具体包括学生、老师和企业培训管理者。

对学生和或老师进行数据采集；其中，以视频的形式全程采集学生的学习过程和/或老师的授课过程；以音频的形式全程采集学生的声音和/或老师的声音。

根据预设的判断策略对采集的学生的所述数据进行分析并输出判断结果；其中，所述判断策略的输入的状态参数包括眼部状态、嘴部状态以及声音状态，输出的所述判断结果为当时学生所处状态，包括但不限于瞌睡、困倦、分神、专注状态。其中，在输出所述判断结果的同时，还输出所述判断结果所处的时间序列信息。

如上所述的，本发明根据不同实际情况采用不同的方式确定了学生与老师之间的最佳匹配结果，可以个性化地为学生分配老师，由此可以显著提高学生的学习激情和学习效率。同时，本发明还可根据不同情况确定老师的最佳授课内容，方便老师间的相互学习和交流。同时，还可将上述最佳授课内容以视频的形式输出至数据存储单元中，方便企业培训管理者查看，了解教学质量。

以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但本发明不局限于上述具体实施方式，因此任何对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均涵盖在本发明的权利要求范围当中。