持续控制项目 在Udacity深度强化学习纳米学位计划中,持续控制是学生自己建立的第二个主要项目。 该项目将使用任何基于策略的技术来构建和训练代理,以控制Unity ML代理环境中的Reacher两关节机器人手臂。 目的是以这样一种方式移动手臂,使其终点始终位于环境移动目标的附近。 目标是在平行于基台的平面中以圆形图案随机移动的球体。 它可以顺时针或逆时针移动,并改变其速度。 有时它基本上是静止的。 这不是一个偶然的任务,因此我们将轨迹长度任意限制为一定数量的时间步长,并将其称为情节。 主体的可能动作包括[-1,1]中的4个实数的向量,它们表示两个手臂关节中每个关节的旋转。 该环境提供了3