PID相关笔记
PID相关参考
- 一个简短的PID描述：PID控制原理，看了开头，你就会看到结尾！
- 包含修改参数带来的系统输出变化可视化示例
- 非常详细的讲解：从不懂到会用！PID从理论到实践~
位置式PID
- 位置式PID在 \(k\) 时刻的直接输出为控制量 \( u(k) \)，其离散形式为：
$$
u(k) = K_p \color{blue}{e(k)} + K_i \color{blue}{\sum_{j=0}^{k} e(j)} + K_d \color{blue}{\left[ e(k) - e(k-1) \right]}
$$ - 其中：
- \( K_p, K_i, K_d \) 分别为比例、积分、微分系数；
- \( e(k) \) 为当前时刻误差；
- \( \sum_{j=0}^{k} e(j) \) 为历史误差累加（积分项）
- 进阶：
- \( K_i = K_p \frac{T}{T_i} \)：积分系数（\( T_i \)为积分时间常数，\( T \)为采样时间）
- \( K_d = K_p \frac{T_d}{T} \)：微分系数（\( T_d \)为微分时间常数）
增量式PID
- 增量式PID的输出是控制量的增量
$$ \Delta u(k) = u(k) - u(k-1) $$ - 类似位置式PID ，增量式PID在 \(k\) 时刻的 \(u(k)\) 可定义为如下：
$$
\begin{align}
u(k) &= u(k-1) + \color{red}{\Delta u(k)} \\
u(k) &= u(k-1) + (K_p + K_i + K_d) \color{red}{e(k)} - (K_p + 2K_d) \color{red}{e(k-1)} + K_d \color{red}{e(k-2)} \\
u(k) &= u(k-1) + A \color{red}{e(k)} + B \color{red}{e(k-1)} + C \color{red}{e(k-2)}
\end{align}
$$ - 注：一般提到增量式PID ，我们一般认为输出是 控制量的增量 \(\Delta u(k)\)
位置式PID到增量式PID的推导
- 位置式PID和增量式PID完全等价，只是形式不同，通过对位置式PID做一阶差分 ，即可得到增量式PID
- 位置式在 \( k-1 \) 时刻的输出 \( u(k-1) \) 为：
$$
u(k-1) = K_p e(k-1) + K_i \sum_{j=0}^{k-1} e(j) + K_d \left[ e(k-1) - e(k-2) \right]
$$ - 将 \( u(k) \) 和 \( u(k-1) \) 相减等到增量 \( \Delta u(k) = u(k) - u(k-1) \)：
$$
\Delta u(k) = K_p \left[ e(k) - e(k-1) \right] + K_i e(k) + K_d \left[ e(k) - 2e(k-1) + e(k-2) \right]
$$ - 整理后得到增量式PID公式：
$$
\Delta u(k) = (K_p + K_i + K_d) e(k) - (K_p + 2K_d) e(k-1) + K_d e(k-2)
$$
增量式PID到位置式PID的推导
- 已知增量式PID的参数为A、B、C，其增量输出公式为：
$$\Delta u(k) = A \color{red}{e(k)} + B \color{red}{e(k-1)} + C \color{red}{e(k-2)}$$ - 通过对比位置式PID的差分形式，可以推导出位置式PID参数（Kp、Ki、Kd）与增量式参数的关系如下：
- 位置式PID的输出为：
$$u(k) = K_p \color{blue}{e(k)} + K_i \color{blue}{\sum_{j=0}^{k} e(j)} + K_d \color{blue}{\left[ e(k) - e(k-1) \right]}$$ - 增量式PID的输出是位置式的差分：
$$\Delta u(k) = u(k) - u(k-1).$$- 将位置式公式代入差分表达式并整理，得到：
$$\Delta u(k) = \left(K_p + K_i + K_d\right)e(k) + \left(-K_p - 2K_d\right)e(k-1) + K_d e(k-2).$$
- 将位置式公式代入差分表达式并整理，得到：
- 对比系数 ，得到方程组：
$$
\begin{align}
A &= K_p + K_i + K_d,\\
B &= -K_p - 2K_d,\\
C &= K_d
\end{align}
$$ - 解方程组得位置式PID的参数为：
$$
\begin{align}
\color{red}{K_p} &= -B - 2C,\\
\color{red}{K_i} &= A + B + C,\\
\color{red}{K_d} &= C
\end{align}
$$
增量式PID和位置式PID简单对比
| 特性 | 位置式PID | 增量式PID |
|---|---|---|
| 输出形式 | 绝对控制量（如阀门开度） | 控制增量（如步进脉冲） |
| 积分处理 | 显式累加误差，易饱和 | 隐式累加，天然抗饱和 |
| 计算复杂度 | 需存储所有误差，计算量大 | 仅需最近几次误差，计算量小 |
| 等效性 | 通过差分可转化为增量式 | 通过累加可转化为位置式 |
附录：现实场景中的一些trick
常用形式一：使用了 \( \lambda(k-1) \)的位置式PID
- 适用场景：在一些场景中，控制变量 \( \lambda \) 需要平滑调整 ，而非完全重新计算（比如oCPX出价中）
- 常用位置式PID来输出某个变量的增量（直接计算全量 \( \lambda(k) \) 可能导致相邻时间片的出价跳跃，而基于前一时刻的 \( \lambda(k-1) \) 进行增量调整，可以保证控制量的连续性），工程师可能会将位置式PID改写为以下形式：
$$
\begin{align}
\lambda(k) &= \lambda(k-1) + \color{red}{\Delta \lambda(k)} \\
\lambda(k) &= \lambda(k-1) + \color{red}{u(k)} \\
\lambda(k) &= \lambda(k-1) + \color{red}{\left[ K_p e(k) + K_i \sum e(k) + K_d (e(k)-e(k-1)) \right]} \\
\end{align}
$$- 理解：这是一个位置式PID ，其中 \(\lambda\) 与PID无关，属于被控对象的一部分，其中PID输出为该变量的增量：
$$ u(k) = \color{red}{\Delta \lambda(k)} = \color{red}{\left[ K_p e(k) + K_i \sum e(k) + K_d (e(k)-e(k-1)) \right]} $$ - 问题：当 \(e(t)\) 为0时，由于积分项的存在，\(\color{red}{\Delta \lambda(k)}\) 可能不为0，\(u(k)\) 还会持续变化，这个是否符合预期？这个问题的简单理解如下：
- 对于系统需要 \(u(k)\) 持续增加的场景，比如系统是一个压力越来越大的弹簧，\(u(k)\) 是施加的反向力，需要逐步增大，则这种情况天然适配这种设计，持续增加的 \(u(k)\) 能与系统逐步增加的压力抵消，保持稳态
- 对于系统不需要 \(u(k)\) 持续增加的场景，假设 \(\color{red}{\Delta \lambda(k)} > 0\)，则 \(u(k)\) 会继续增大，超调以后，积分项会逐步减少，同时 \(e(t) \neq 0\)，也会开始减小 \(\color{red}{\Delta \lambda(k)} \)，逐步地，\(\color{red}{\Delta \lambda(k)} = 0\)，然后逐步变成负值，直到 \(e(t)\) 再次为0时，此时的积分项比上一轮更小了，\(\color{red}{\Delta \lambda(k)}\) 也更小了，甚至为负，也就是说，对于积分项逐步地应该也会收敛到0
- 理解：这是一个位置式PID ，其中 \(\lambda\) 与PID无关，属于被控对象的一部分，其中PID输出为该变量的增量：
- 注：由于\(\lambda(k-1)\)中其实包含了累计误差的信息，可以进一步不考虑积分项（微分项一般不用考虑，这里顺便消除了），甚至可以简化为下面的公式形式：
$$\lambda(k) = \lambda(k-1) + \color{blue}{K_p} \color{red}{e(k)}$$- 这种形式的优点：一定程度上，\(\lambda(k-1)\)中其实包含了累计误差的信息，可以在不包含 \(K_i\)的情况下实现类似积分项效果，存储和更新 \( \lambda(k-1) \) 比维护全局积分项 \( \sum e(k) \) 更简单（后者需持久化历史状态）
- 此时也可以用增量式PID来理解这种公式，本文下面会聊到增量式PID下这种形式的含义
附录：增量式PID的实际使用简化
- 增量式PID可能简化为只保留 \(e_t\) 相关的项，即：
$$u(k) = u(k-1) + \color{blue}{A} \color{red}{e(k)}$$ - 对照增量式PID的公式：
$$
\begin{align}
u(k) &= u(k-1) + \color{red}{\Delta u(k)} \\
u(k) &= u(k-1) + (K_p + K_i + K_d) \color{red}{e(k)} - (K_p + 2K_d) \color{red}{e(k-1)} + K_d \color{red}{e(k-2)} \\
u(k) &= u(k-1) + A \color{red}{e(k)} + B \color{red}{e(k-1)} + C \color{red}{e(k-2)}
\end{align}
$$ - 可以看出此时相当于没有 \(C = K_d = 0\)，结合 \(B = - (K_p + 2K_d) = 0\)，进一步有 \(K_p = 0\)，最终可得：
$$ \color{blue}{A} = K_i $$ - 也就是说，此时相当于只包含 \(K_i\) 项的位置式PID
- 进一步理解：其实只包含 \(K_i\) 项的位置式PID ，本质上可以等价于包含 \(K_i,K_p\) 项的位置式PID（但需要 \(K_i,K_p\) 系数服从某种关系）
附录：oCPX下PID的理想设计方式
- oCPX的真正目标 ：oCPX的最终目标是保整个投放周期内的ROI满足约束
- 应该如何设计误差项 \(e(t)\)？
- 如果 \(e(t)\) 表示时间片 \(t\) 的达成情况 ，则其值是根据时间片 \(t\) 内的消耗和收入计算出来的，则难以真正满足全天的ROI达成；此外，实际场景中，单个时间片的数据可能会非常稀疏 ，特别是oCPX的场景计算ROI需要用到订单数据，中小广告主的订单数据往往是非常稀疏的
- 存在稀疏的情况。解决思路：一个思路改进是可以考虑用预估值去代替真实值，从而缓解稀疏问题
- 难以达成全站ROI目标。解决思路：在原有PID基础上，引入累计偏差补偿项 \(\gamma \cdot \text{Global}_\text{Error}\)，确保全天ROI收敛
- 如果 \(e(t)\) 表示截止到时间片 \(t\) 的达成情况 ，值是根据投放周期开始到 \(t\) 时间片的消耗和收入计算出来的，则 \(e(t)\) 直接表达了截止到时间片 \(t\) 的ROI达成情况，这种设计下 \(e(t)=0\) 时说明全天刚好达成
- 可以缓解稀疏问题
- 更贴近oCPX产品的目标
- 结论：
- 订单稠密的场景可以考虑使用时间片 \(t\) 的达成情况 ，再增加引入累计偏差补偿项 \(\gamma \cdot \text{Global}_\text{Error}\)，确保全天ROI收敛
- 订单稀疏的场景使用截止到时间片 \(t\) 的达成情况 ，可以缓解稀疏问题
- 如果 \(e(t)\) 表示时间片 \(t\) 的达成情况 ，则其值是根据时间片 \(t\) 内的消耗和收入计算出来的，则难以真正满足全天的ROI达成；此外，实际场景中，单个时间片的数据可能会非常稀疏 ，特别是oCPX的场景计算ROI需要用到订单数据，中小广告主的订单数据往往是非常稀疏的
- 对于无法获取分时间特征（无法计算位置式PID的积分项），且无法存储上一时间片的PID输出（无法用增量式PID）的情况，如何设计PID？
- 一个思路是使用截止到时间片 \(t\) 的达成情况 ，且仅使用 \(K_p\) 参数，这样至少目标是达成全天的ROI目标，这种方法可能导致商家存在稳态误差（因为没有积分项）
- 其他优化点：
- 可以对 \(e(t)\) 做一个量纲映射，比如除以目标ROI以保证误差在指定范围内（特别是对于保CPS的场景，不同商家的CPS甚至不在统一量纲，想用相同的 \(K_p,K_i,K_d\) 参数来控制所有商家是困难的）：
$$ e(t) = \frac{真实ROI-目标ROI}{\color{red}{目标ROI}}$$ - 初期数据量较少时不要调控，因为数据还不够准确，初期就开始调控可能导致商家初期出价波动较大
- 可以统计过去一天或多天的PID输出作为下一天的初始出价 K 值，使得PID更容易达成，也让商家初期的消耗更符合ROI目标
- 可以对 \(e(t)\) 做一个量纲映射，比如除以目标ROI以保证误差在指定范围内（特别是对于保CPS的场景，不同商家的CPS甚至不在统一量纲，想用相同的 \(K_p,K_i,K_d\) 参数来控制所有商家是困难的）：
附录：PID的其他优化
积分限幅
- 现象：当因为不可抗力影响系统时，误差积分会一直增加，为了防止不可抗力消失的瞬间出现问题，可以给误差积分增加一个限制幅度（最大值）
- 举例：无人机中这个现象可以看做一段时间内是有人压着无人机不许升高；在智能算力场景可以看做是非高峰期间，无论PID如何调整，TP999都到不了目标值
- 解法：对误差积分项加一个上限，称为“积分限幅”
积分分离
- 现象：目标有修改时，误差会突然增加，短时间内误差非常大，容易出现超调
- 解法：对误差做一个条件判断，如果瞬间出现较大误差（比如超过一个阈值），可以让KI项的系数为0（注意不是清空KI项），只使用Kp项来调节；直到误差重新回到阈值以下，KI再生效
Kp上调下调差异化
- 在一些场景上，如果对超成本和欠成本有倾向，可以通过设置上调和下调不同Kp来实现，比如，对于厌恶超成本的场景，可以适当增大下调系数，提升上调系数
