模仿学习

摘要： 新入园的小班幼儿,与中大班哥哥姐姐进行“一对一”“二对一”的结对交往,在多种形式的“大带小”活动中体会兄弟姐妹之情,既能使小班幼儿感受到被关爱,并通过模仿学习获得生活自理能力,快速融入幼儿园的集体生活,有效缓解入园焦虑,又能使中大班幼儿增强责任心和榜样意识,主动帮助弟弟妹妹,在提高其同伴交往能力的同时,学会站在他人的立场上去想问题,懂得分享、谦让和关爱.

摘要： 作为机器人技能学习中的一个重要分支,模仿学习近年来在机器人系统中得到了广泛的应用.模仿学习能够将人类的技能以一种相对直接的方式迁移到机器人系统中,其思路是先从少量示教样本中提取相应的运动特征,然后将该特征泛化到新的情形.本文针对机器人运动轨迹的模仿学习进行综述.首先详细解释模仿学习中的技能泛化、收敛性和外插等基本问题;其次从原理上对动态运动基元、概率运动基元和核化运动基元等主要的模仿学习算法进行介绍;然后深入地讨论模仿学习中姿态和刚度矩阵的学习问题、协同和不确定性预测的问题以及人机交互中的模仿学习等若干关键问题;最后本文探讨了结合因果推理的模仿学习等几个未来的发展方向.

摘要： 这部电影与《智能大反攻》有着类似的主题,但与之不同的是,这部电影的切入点是"青少年虚拟交友",讲述的正是中学生的社交困惑。对白内容贴近当下的网络生活,适合沉浸式模仿学习。《天赐灵机》是一部由萨沙·史密斯、怀·菲利普·维恩执导,扎克·加利费安纳基斯、杰克·迪伦·格雷泽、奥利维亚·科尔曼、艾德·赫尔姆斯担任配音的动画电影。2021年10月22日在美国上映。

摘要： 优良的可靠性、学习效率和模型泛化能力是车辆自动驾驶系统研究的基本要求.基于深度强化学习理论框架提出了一种用于车辆自动驾驶决策的WGAIL-DDPG(λ)(Wasserstein generative adversarial nets-deep deterministic policy gradient(λ))模型.其中,基于驾驶安全性、稳定性的车辆行驶性能要求,对强化学习模型中的奖励函数进行了针对性设计;通过引入模仿学习有效提升了强化学习过程中的学习效率;通过合理的增益调度器设计,保证了从模仿学习到强化学习的平稳过渡.实验结果表明,在稳定性上,智能体偏离道路中线的程度一直在30%内波动;在安全性上,智能体与周边其他车辆的安全距离基本保持在10 m以上;在模型泛化性方面,智能体在许多未训练过的复杂弯道也能很好地完成安全、平稳的驾驶任务;与原始DDPG(deep deterministic policy gradient)算法相比,该模型在学习速度上提升了约3.4倍,说明所提出的模型在保证自动驾驶系统可靠决策的同时有效提升了强化学习的效率,进一步实验证明其适用于不同的驾驶条件.

摘要： 针对受限通信条件下机器人群集协同控制问题,提出基于图卷积模仿学习的分布式群集控制策略.该策略旨在实现群集内避障、速度一致性的基础上,提高群集鲁棒性,提升避免群集分裂的成功率.提出基于熵评价的群集鲁棒性量化评价指标,建立节点和链路重要性的均衡分布与群集鲁棒性的联系.提出重要度相关图卷积网络,用于实现受限通信条件下非欧氏数据的特征提取和加权聚合.采用图卷积模仿学习方法,根据提升群集鲁棒性的要求设计集中式专家策略,通过对集中式专家策略的模仿,得到分布式群集协同控制策略.设计仿真实验,证明所得的分布式策略基于受限通信条件实现了接近集中式的专家策略的控制效果.

摘要： 上呼吸道口喉内腔曲折狭窄,机器人插管作业环境具有非结构特征,示教编程方法难以满足患者上呼吸道内腔形状特征的个性化,设计了一种7R双臂机器人,提出了一种基于模仿学习的气管插管机器人作业策略。首先,采用拟人插管技法,设计了一款用于插管作业的双臂协作机器人,用于模仿医务人员的双臂;建立了双臂协作插管机器人运动学模型,分析了运动学正解;运用蒙特卡洛法,分析了其协同工作空间。利用Qualisys高速相机运动捕捉系统,获取医务人员插管期间手臂末端的位姿变化;选用数值迭代逆运动学分析方法,求解获取关节角变化。利用运动捕捉系统获得样本数据,借助仿真软件分析,验证了非结构环境下插管作业策略规划的可行性。

摘要： 模仿学习是智能体从专家轨迹数据中学习获得尽可能靠近专家策略决策的智能学习方法。近年来,模仿学习已从早期的行为克隆发展到了逆强化学习、生成对抗模仿学习,以及多智能体模仿学习。而目前自动驾驶技术中传感器获取外界信息的能力与深度学习实现的感知环境能力都日趋完善,在决策部分,依靠基于规则的模型可应对大部分常见驾驶场景,但针对规则模型中不适用的极端场景,如何智能化实现安全决策,仍是当前研究的热点问题。本文综述了模仿学习在自动驾驶领域的代表性工作,详细讨论了它们的优势与不足并指出了它们未来的发展趋势。

摘要： 针对机位再分配算法结果难以满足不同操作人员操作习惯的问题,提出一种符合实际业务人员操作习惯的机位再分配推荐算法。首先以航班特征属性和停机位的资源占用状态构建决策环境空间模型,将人工操作数据转换为多通道时空矩阵,再以卷积神经网络构建的生成对抗网络(generative adversarial network,GAN)拟合其序贯决策操作策略。仿真结果表明,可靠度在90%以上的调整动作占比最高达到84.4%。经过在三个数据集上的测试,模型对不同来源的操作数据具有较好的区分能力。对比不同扰动下的动态调整结果,算法能够得到航班—机位属性特征与原有人工操作属性特征接近的调整方案。

摘要： 对话策略是面向任务的对话系统中的关键组件,给定当前对话状态输出下一个系统动作.近年来,对话策略学习已被广泛地描述为强化学习问题.一种常见的方法是让对话智能体与用户模拟器互动学习.然而,构建一个可靠的用户模拟器并不是一件容易的事,通常与构建一个好的对话代理一样困难.为了避免显式地构建一个用户模拟器,提出了一种PPO强化学习的多智能体对话策略学习方法,将系统端和用户端都构建为智能体.该方法主要通过两个阶段进行策略学习:1)阶段1是模仿学习,采用模仿学习中的行为克隆的方式,对系统策略和用户策略进行预训练;2)阶段2是多智能体强化学习,采用一种数据样本利用率更高以及鲁棒性更好的近端策略优化(PPO)算法,对系统端和用户端的对话策略进行学习.最后,在公开的多域多意图的面向任务的对话语料MultiWOZ上进行了实验,验证了方法的有效性,还分析了在复杂任务中的可伸缩性.此外,将学到的对话策略集成到ConvLab-2平台上进行整体效果评估.

摘要： 仿人机器人的模仿学习是指通过对人体行为动作序列的持续学习,识别人类动作特征,并据此生成仿人机器人自身运动序列,并执行相应的动作。文章针对仿人机器人模仿学习提出一种基于隐马尔可夫模型(HMM)的仿人机器人动作建模和生成的方法,实现对人体动作的持续学习。文章首先对人体动作数据通过向量的方法的进行匹配计算,转换成便于仿人机器人学习的关节角度,再用关节角度计算得到角速度与角加速度,从而得到完整动作数据。再利用隐马尔可夫模型对动作数据建模,完成新动作的动作识别,通过新动作与与原有动作对比相似性,证明向量方法的人体数据匹配计算的正确性,和基于隐马尔可夫模型建模及识别的有效性。

摘要： 分析了机器人学习当中需要解决的问题,提出了机器人模仿学习的方法.对5自由度机械手臂进行了运动学分析,并利用所建模型结合机器人模仿学习方法的思想,利用视觉系统控制机器手模仿示教者手臂的运动行为,对机器人模仿学习方法进行了试验研究.

摘要： 分析了机器人学习当中需要解决的问题,提出了机器人模仿学习的方法.对5自由度机械手臂进行了运动学分析,并利用所建模型结合机器人模仿学习方法的思想,利用视觉系统控制机器手模仿示教者手臂的运动行为,对机器人模仿学习方法进行了试验研究.

摘要： 针对水而无人艇(USV)在复杂海洋环境下执行任务时需要用户进行干预的问题,本文提出了基于逆向强化学习的行为模仿学习方法.该方法将专家的示教作为学习目标,使得USV能够从专家示教中学习导航行为.首先根据导航任务的应用背景,建立了向专家行为模仿学习的Markov决策模型,然后给出了适用于USV导航行为学习的行为模仿学习算法,该方法基于逆向强化学习根据专家的示教行为计算出具体的回报函数,并得到接近专家策略的最优导航策略.最后经过仿真实验验证,本文所提出的方法能够使USV从专家示教中学习到恰当的导航行为,并从专家示教中获得用户偏好,验证了本方法的有效性.

摘要： 动态运动基元系统是用于机器人在轨迹规划中进行模仿学习的模型.在此模型中,针对其原有的局部加权算法做出改进,提出了局部加权改进算法.具体来说,在利用Logistic函数保证系统全局稳定的前提下,改变相空间表达式使其在时间上是均匀分布,解决了系统对时间过于敏感的问题,同时还进一步完善其局部加权算法中拟合等式不合理的问题.实验结果表明局部加权改进算法大大改进了模仿学习的效果.

摘要： 本发明属于机器人和人工智能技术领域，具体涉及一种面向机器人技能学习的快速模仿学习方法、系统、设备，旨在解决现有机器人的示教数据采集耗时、复杂以及当示教者提供了次优示教时，机器人无法优化执行过程，导致机器人操作效率降低、作业时间变长的问题。本系统方法包括获取原始示教数据；结合预训练的评测器，通过预设的关键帧提取方法从原始示教数据集中提取关键帧示教数据；基于关键帧示教数据，通过训练好的控制策略模型控制机器人复现示教。本发明能够简化机器人模仿学习时的数据采集流程，并基于机器人控制策略模型的性能优化示教轨迹，缩短数据采集时间与机器人操作时间，有效地提高机器人模仿学习的效率、缩短作业时间。

摘要： 本发明公开一种基于第三人称模仿学习的机械臂动作学习方法及系统，用于机械臂自动控制，使得机械臂可以通过观看第三方示范来自动学习如何完成相应的操控任务。本发明中样本均以视频形式存在，而无需使用大量传感器来获取状态信息；在判别器模块中使用了图像差分方法，可以使判别器模块忽略学习对象的外观与环境背景，从而可以使用第三方示范数据进行模仿学习；大大降低了样本的获取成本；通过在判别器模块中使用了变分判别器瓶颈来约束判别器对由机械臂产生的示范的判别准确率，更好地平衡判别器模块与控制策略模块的训练过程；本发明能够快速模仿用户示范的动作，操作简单灵活，对环境及示范者要求低。

摘要： 公开了能够使用模仿学习以及强化学习来训练元学习模型以用在使机器人执行任务中的技术。一些实施方式涉及使用基于任务的一个或多个人工引导的演示的模仿学习来训练元学习模型。附加的或替代的实施方式涉及使用基于尝试执行任务的机器人的试验的强化学习来训练元学习模型。进一步的实施方式涉及使用经过训练的元学习模型来基于新任务的人工引导的演示来小样本(或单样本)学习新任务。

摘要： 本发明涉及模型学习领域，具体涉及一种基于模仿学习与强化学习结合的自动驾驶训练方法及系统。该方法及系统将采集到的训练数据输入至模仿学习网络进行预训练，将预训练后模仿学习网络的卷积层拷贝给强化学习网络，强化学习网络与环境继续互动学习，获得环境中新的训练数据加入经验回放池，强化学习网络从经验回放池中随机采样数据进行训练，对强化学习网络进行更新。本发明的结合训练方法针对自动驾驶的特点进行了优化，使得它在自动驾驶的仿真环境中性能良好。

摘要： 本发明提供了一种基于条件模仿学习和强化学习的自动驾驶方法，包括：步骤S1：收集行车数据，并标注出对应的决策动作作为专家决策；步骤S2：根据所述行车数据，计算得到航向角，并得到特征向量和特征图；步骤S3：基于所述特征向量、特征图、航向角和专家决策，构建训练数据集，并用所述训练数据集来训练模型；步骤S4：将训练好的模型应用到车辆中，实现车辆的自动驾驶决策。本发明通过结合条件模仿学习和强化学习的方式，减轻模型对训练数据集的依赖，同时解决了由于随机初始化导致的强化学习探索效率低下的问题；通过收集实车数据并将其应用在模型的训练中，使训练得到的模型更加贴近真实的驾驶场景。

摘要： 本发明提出了一种基于模仿学习初始化的强化学习换道行为规划方法及系统，通过将周围车辆的变形位姿和模糊速度通过渐变色映射到栅格图上，并将具有清晰信息的交通规则和道路状况使用向量表示，将两者连接输入模仿学习DAgger网络，使自动驾驶车辆学会遵守交通规则和基本的换道决策；再利用强化学习优化模仿学习换道机制，使其适应模仿学习数据集中没有的极端和未知交通场景；可以从车辆相互作用的驱动机制和环境中学习潜在的换道驾驶机制，简化人工驾驶建模，对变道场景的动态变化具有良好的适应性，对变道任务采用动态混合奖励机制；引入一种基于模仿学习的强化学习初始化方法，解决稀疏奖励下强化学习学习效率低的问题，只需要少量的场景数据。

摘要： 本发明为基于强化学习和模仿学习的智能补货决策方法及存储介质，包括MDP设计模块，模仿学习建模模块以及智能决策模块；模仿学习建模模块包括行为克隆模块以及对抗式模仿学习模块；智能决策模块包括基础策略以及探索策略。本发明结合行为克隆和对抗式模仿学习两种方式，通过行为克隆应对简单业务场景，使智能体的补货决策能力达到专家平均水平，通过对抗式模仿学习构建对抗奖励函数应对复杂业务场景，超越专家决策水平。本发明有效解决现有补货系统对输入数据依赖度较高，模型稳定性低、泛化能力弱的问题，并避免了黑盒预测，拥有更好的商业落地能力以及业务拓展能力。

摘要： 本发明公开了一种基于数据模仿和课程学习的离线强化学习方法，涉及离线强化学习领域。该方法使用当前的学习到的策略，对数据集中的每条轨迹的每个数据点进行标记，标记为当前策略采样出该数据点的概率；对每条轨迹中的数据点排序；以beta分位点的数据作为该条轨迹的标记；无放回选择N条标记最大的轨迹；对选择的轨迹数据进行模仿学习；以先前选择的轨迹的奖励水平以滑动平均的方式更新奖励水平过滤器；过滤数据集中奖励水平低于过滤器值的轨迹。本发明基于模仿学习，通过课程学习的方式，逐步从数据集中选择合适的数据进行学习，从而可以稳定学习到数据集中的最好表现的策略，且可以避免现有技术中存在的误差累积的问题。

摘要： 本发明结合生成式对抗模仿学习的方法提出一种基于RLKGR‑GAIL的知识图谱推理算法用于改进现有的基于强化学习的知识图谱路径推理模型。内容主要包括：提出了RLKGR‑GAIL算法，并给出了相应的总体框架图，然后在根据已有的维修文本构建的飞机维修领域知识图谱数据集，并和已有的知识图谱推理算法设置了对照实验，实验结果表明RLKGR‑GAIL模型关系链路预测任务上相较于其他模型都具有一定优势，证明了本文的RLKGR‑GAIL模型的优越性。

摘要： 本发明公开了一种基于模仿学习的深度强化学习智能渗透测试方法及装置，该方法包括：(1)获取专家样本数据，其中专家样本数据为后渗透成功时的状态动作对；(2)利用A3C算法对智能体进行训练，其中所述智能体作为渗透测试中的模拟攻击者；(3)将智能体训练过程中由A3C算法中actor网络生成的第一状态动作对与专家样本数据中的第二状态动作对放入GAIL的discriminator网络中，进行discriminator网络的训练；(4)根据discriminator网络训练后自身输出的折扣奖励与critic网络输出的value，构造优势函数并利用所述优势函数更新A3C算法中的actor网络；(5)重复步骤(2)‑(4)，直至训练回合结束；(6)将训练后的智能体设置在需要进行渗透测试的网络环境中，以进行渗透测试。