DP 问题 -- LQR中的DP问题

深入地介绍线性二次调节问题（Linear Quadratic Regulator, LQR），并详细说明它作为动态规划（DP）的一个经典应用问题的求解过程。

---

📌 一、LQR问题定义（最优控制视角）

LQR 问题是一种特殊的最优控制问题，系统动力学为线性、代价函数为二次型的优化问题：

离散时间线性系统：

$$x_{t+1}=A{x}_t+B{u}_t$$

• $x_t\in {\mathbb{R}}^n$ 为系统状态
• $u_t\in {\mathbb{R}}^m$ 为控制输入
• $A,B$ 为系统动力学矩阵

目标是找到控制策略 $u_t=-K{x}_t$，最小化如下二次型代价函数：

$$J=\sum _{t=0}^{\infty }(x_t^{T}Q{x}_t+u_t^{T}R{u}_t)$$

其中：

• $Q\ge 0$（半正定矩阵），衡量状态代价
• $R>0$ 为控制成本矩阵，通常正定

---

📌 二、LQR的DP形式——贝尔曼方程

LQR 问题的值函数 $V(x)$ 是一个关于状态的二次型函数：

假设值函数具有如下形式：

$$V(x)=x^{T}Px$$

其中，$P$ 为待求的对称正定矩阵。

根据DP的贝尔曼方程：

$$V(x)=\underset{u}{\min }\left[x^{\top }Qx+u^{\top }Ru+\gamma V(x^{\prime })\right]$$

带入系统动力学 $x^{\prime }=Ax+Bu$ 和上述二次型值函数假设，有：

$$V(x)=\underset{u}{\min }\left[x^{T}Qx+u^{T}Ru+(Ax+Bu{)}^{T}P(Ax+Bu)\right]$$

展开后：

$$V(x)=\underset{u}{\min }\left[x^{T}Qx+u^{T}Ru+x^T{A}^{T}PAx+u^T{B}^{T}PBu+2x^T{A}^{T}PBu\right]$$

其中，$P$ 为待确定的对称正定矩阵，$Q,R$ 分别为状态与控制的成本矩阵。

---

📌 三、LQR 的 DP 求解步骤（里卡提方程求解）

为了得到最优控制律 $u^{\ast }=-Kx$，关键在于确定矩阵 $P$。
其求解通过动态规划（Bellman方程）导出离散里卡提方程（Discrete Algebraic Riccati Equation）：

👉 离散时间里卡提方程（DRE）

$$P=Q+A^{T}PA-A^{T}PB(R+B^{T}PB{)}^{-1}{B}^{T}PA$$

DP求解步骤：

1. 初始化矩阵 $P$ 为某一正定矩阵（通常是$Q$）。

2. 迭代求解里卡提方程直到收敛。

   • 每次迭代计算：
     $$P_{k+1}=Q+A^T{P}_{k}A-A^T{P}_{k}B(R+B^T{P}_{k}B{)}^{-1}{B}^T{P}_{k}A$$

3. 收敛判断：
   若 $\Vert P_{k+1}-P_k\Vert <ϵ$ 时结束迭代，获得稳态解 $P^{\ast }$。

4. 得到最优反馈控制律：
   $$u_t^{\ast }=-K{x}_t,K=(R+B^{T}PB{)}^{-1}{B}^{T}PA$$

---

📌 四、LQR的一个简单示例（二维状态、一维控制输入）

假设无人机高度控制问题：

• 状态：高度 $h$ 和速度 $v$
  你给出的方程似乎格式有点小问题，这里帮你重新规范一下，并做详细解释：

---

🚩 正确的状态空间模型表示：

假设系统是一个二维状态系统（如无人机高度控制问题）：

状态定义：

状态向量：
$$x=\left[\begin{array}{c}h\\ v\end{array}\right]$$

其中：

• $h$：高度
• $v$：速度

状态方程（离散时间系统）：

给定状态空间模型为：
$$x_{k+1}=A{x}_k+B{u}_k$$

具体的系统矩阵 $A,B$为：
$$A=\left[\begin{array}{cc}1& dt\\ 0& 1\end{array}\right],B=\left[\begin{array}{c}0\\ dt\end{array}\right]$$

• 这里 $dt$ 表示采样时间间隔。
• $u_k$ 为在时刻 $k$ 时作用于系统的控制输入（加速度输入）。

系统模型的物理含义：

• 位置更新方式为：$h_{k+1}=h_k+v_k\cdot dt$；
• 速度更新方式为：$v_{k+1}=v_k+u_k\cdot dt$。

显然：

• 状态转移矩阵 $A$ 描述了状态的惯性关系；
• 控制矩阵 $B$ 表示控制输入$u_k$ 如何影响状态（仅作用于速度方向）。

---

📌 完整的状态空间表达式

更清晰的矩阵形式写为：

$$x_{k+1}=\left[\begin{array}{c}{h}_{k+1}\\ v_{k+1}\end{array}\right]=\left[\begin{array}{cc}1& dt\\ 0& 1\end{array}\right]\left[\begin{array}{c}{h}_k\\ v_k\end{array}\right]+\left[\begin{array}{c}0\\ dt\end{array}\right]u_k$$

其中：

• 状态向量：$x_k=[h_k,v_k{]}^T$
• 控制输入：$u_k$（加速度输入）
• 状态转移矩阵 $A$ 表示位置由速度积分更新
• 输入矩阵$B$ 描述输入作用于速度

---

📌 基于DP的LQR问题求解步骤

以此为基础的LQR控制问题（LQR框架）：

🚩 步骤① 设定代价函数

假设代价函数为二次型：
$$J=\sum _{k=0}^{\infty }(x_k^{T}Q{x}_k+u_k^{T}R{u}_k)$$
例如设定：

• 状态成本矩阵$Q=\left[\begin{array}{cc}{q}_h& 0\\ 0& q_v\end{array}\right]$，用于惩罚高度和速度偏差。
• 控制成本 $R=r$（标量，一维控制输入）。

---

🚩 步骤② 求解里卡提方程 (DP方法)

DP方程推导得到的离散里卡提方程：
$$P=Q+A^{T}PA-A^{T}PB(R+B^{T}PB{)}^{-1}{B}^{T}PA$$

具体执行：

• 初始化 $P=Q$
• 反复执行上述迭代，直至 $P$ 收敛。

---

📌 步骤③ 求取最优反馈控制律

稳定后得到的最优反馈增益 $K$：
$$K=(R+B^{T}PB{)}^{-1}{B}^{T}PA$$

• 此时最优控制输入：
  $$u_k=-K{x}_k$$

• 即反馈控制为：
  $$u_k=-[K_h,K_v]\left[\begin{array}{c}{h}_k\\ v_k\end{array}\right]$$

---

🚩 LQR最优控制具体执行步骤（总结）

1. 给定 $A,B,Q,R$
2. 通过 DP 求解里卡提方程，获得矩阵 $P$
3. 根据矩阵 $P$ 求出反馈增益矩阵 $K$
4. 实施反馈控制 $u=-Kx$

---

📌 实际应用与扩展

这个示例清晰展示了如何从状态空间模型出发，使用动态规划（DP）思想求解最优控制问题（LQR）。

• 在无人机实际应用中，$A,B,Q,R$的选择决定了无人机轨迹跟踪的性能与响应特性。
• 可以结合强化学习算法进一步优化控制器参数，以应对动态环境变化（风速扰动、载荷变化等）。

---

🚩 总结与回顾

以上详细阐述了：

• LQR问题的状态空间定义；
• DP求解LQR的核心过程（里卡提方程）；
• 从值函数提取反馈控制策略的明确过程。

这种结合 DP 与控制理论的理解，为进一步理解强化学习和最优控制算法奠定了坚实基础。

---

📌 四、DP 求解 LQR 问题的意义与应用场景

DP 求解 LQR 的优势：

• 提供全局最优控制解；
• 提供了闭环控制律 $u=-Kx$，实现实时控制；
• 计算高效（提前算出增益 $K$，实时仅需简单计算）。

典型应用：

• 无人机飞行稳定与轨迹跟踪控制；
• 自动驾驶汽车轨迹跟踪；
• 机器人姿态稳定控制（机械臂、机器人平衡）。

---

📌 四、LQR与强化学习的关系

• LQR 是一个确定的、线性、二次型最优控制问题，是 DP 的特例。
• 强化学习可看作非线性、随机系统中的广义 LQR 问题：
  • 状态空间更复杂、可能未知；
  • 使用函数逼近（如神经网络）替代里卡提方程求解；
  • 如 Deep RL 中的 DDPG 算法，可看作非线性随机环境中的广义LQR解法。

---

🚩 总结（LQR-DP求解过程关键点）：

• LQR问题的最优控制求解可用 DP 思想，推导得到里卡提方程；
• 通过值函数迭代方式求解里卡提方程，获得最优反馈控制增益；
• 可将 LQR 问题理解为 DP 和强化学习的特例，便于推广到更复杂的问题。