知识卡片：物理感知端到端深度强化学习四旋翼控制（含执行器动力学）

一句话结论
本文表明，在四旋翼无人机低层控制中，采用物理感知的端到端深度强化学习方法，并显式建模执行器动力学（时间常数 0.076 秒）与转子陀螺耦合，能够实现稳定的悬停与平移控制；SAC 和 TD3 算法在稳定性与探索效率上显著优于 PPO。

事件概述或研究问题
四旋翼无人机属于欠驱动系统（4 个控制输入对应 6 个自由度），传统控制方法依赖精确建模，且低层控制中执行器滞后与气动力矩常被忽略。本文旨在探索一种物理感知的端到端深度强化学习（DRL）方法，直接输出总推力与体坐标系扭矩（T，τ_x, τ_y, τ_z），并通过高保真 Simulink 环境闭环训练，以评估不同 DRL 算法在考虑执行器动态后的控制效果。

方法/产品要点

• 仿真环境：基于 MATLAB Level-2 S-Function 构建 12 状态刚体模型，集成：(i) 基于 Moore-Penrose 伪逆的 Action2RPM 分配（系数矩阵由推力和阻力项导出），(ii) 一阶执行器动力学（每电机时间常数 Tm = 0.076 s），包含转子陀螺耦合。
• 奖励设计：采用形状化奖励，兼顾目标到达与稳定性，包含指数位置阱、姿态惩罚和二次速度代价。
• 评估算法：DDPG、TD3、PPO、SAC，分为两阶段：(S1) 仅推力悬停，(S2) 含俯仰扭矩与平移目标的悬停。
• 核心差异：直接将强化学习作用于低层物理量（推力、扭矩），而非高层位置或速度指令；执行器动态建模被强调为稳定性的关键。

主要结果或产业意义

• SAC 和 TD3 在稳定性与探索效率上表现优越，PPO 样本效率较低（待核实具体量化指标，原文未提供详细数值）。
• 研究证明了建模执行器滞后与气动力矩对低层控制稳定性的重要性，并为四旋翼 DRL 提供了一个可复现的基准（仿真环境与配置公开，待核实是否完全开源）。
• 产业意义：该方法可直接用于无人机自主控制中的低层环路，减少对专家设计的控制器依赖，提高系统对执行器不确定性的鲁棒性。

为什么重要

• 端到端 DRL 通常忽略执行器动态，导致仿真与实物迁移的差距；本文首次在四旋翼低层控制中系统纳入一阶执行器模型与转子耦合，并对比多种算法。
• 提供了可复现的基准（Simulink + DRL 框架），便于后续研究在相同条件下比较。
• 与已有相关卡片无直接关联，本卡片增量在于将 DRL 应用于含执行器动力学的四旋翼控制，并给出了算法性能对比。

局限与不确定性

• 所有结果基于高保真仿真环境，未在真实四旋翼平台上验证，实物迁移效果待核实。
• 文中未给出精确的收敛曲线或成功率数值，仅定性描述“SAC 和 TD3 更优”，定量结果需参考原文。
• 执行器模型参数（Tm = 0.076 s）针对特定电机设置，普适性待核实。

可用于图书/PPT/简报的角度

• 四旋翼自主控制中物理建模与强化学习的结合案例
• 端到端 DRL 在欠驱动系统中的低层控制设计范例
• 对比多种 DRL 算法（DDPG, TD3, PPO, SAC）在相同物理仿真环境下的表现差异
• 强调执行器动力学对控制稳定性的重要性，可作为“仿真-实物迁移”教学示例

原始材料

• 英文标题：Physics-Aware End-to-End Deep Reinforcement Learning for Quadcopter Control with Actuator Dynamics
• 英文关键词：quadcopter control, deep reinforcement learning, actuator dynamics, underactuated systems, simulation benchmark
• 原始来源：arXiv:2607.25985v1, https://arxiv.org/abs/2607.25985v1
• 作者：Ya-Chia Shen, Woei-Leong Chan
• 发布日期：2026-07-28