二项分布（Binomial Distribution）
- 二项分布 ：是 \(p\) 次独立重复试验中成功的次数的离散概率分布，其中每次试验只有两种可能结果（成功或失败），成功概率为 \(p\) ，失败概率为 \(1-p\) ，其概率公式为：
$$P(X = k)=C_{n}^{k}p^{k}(1 - p)^{n - k}$$- 其中 \(X\) 表示成功的次数， \(k\) 是具体的成功次数， \(C_{n}^{k}\) 是组合数
- 举例 ：如抛硬币 \(n\) 次，正面朝上的次数；多次独立射击，命中目标的次数等
多项分布（Multinomial Distribution）
- 多项分布 ：是二项分布的推广，用于描述在 \(n\) 次独立试验中，每次试验有 \(k\) 种互斥且完备的结果，每种结果出现的概率分别为 \(p_{1},p_{2},\cdots,p_{k}\) ，且 \(\sum_{i = 1}^{k}p_{i}=1\) ，其概率公式为：
$$P(X_{1}=n_{1},X_{2}=n_{2},\cdots,X_{k}=n_{k})=\frac{n!}{n_{1}!n_{2}!\cdots n_{k}!}p_{1}^{n_{1}}p_{2}^{n_{2}}\cdots p_{k}^{n_{k}}$$- 其中 \(X_{i}\) 表示第 \(i\) 种结果出现的次数， \(n_{i}\) 是具体的次数， \(n=\sum_{i = 1}^{k}n_{i}\)
- 举例 ：如掷骰子多次，统计每个点数出现的次数；对人群进行分类调查，统计各类人群的数量等
- 多项分布与二项分布的区别 ：二项分布是针对只有两种结果的重复试验；多项分布是二项分布的推广，用于多种结果的重复试验
分类分布（Categorical Distribution）
- 分类分布 ：也叫范畴分布，是一种离散概率分布，用于描述一个随机变量在有限个类别中的取值概率。它是多项分布在 \(n = 1\) 时的特殊情况，其概率公式为：
$$P(X = i)=p_{i}$$- 其中 \(X\) 表示随机变量， \(i\) 表示类别， \(p_{i}\) 是类别 \(i\) 出现的概率， \(\sum_{i = 1}^{k}p_{i}=1\)
- 举例 ：如一次抽奖，有多种奖品，抽到每种奖品的概率；对一个物体进行分类，它属于不同类别的概率等
- 注：强化学习中，离散动作的分布常常使用分类分布来表示（部分文献也称RL中的离散动作分布为广义伯努利分布）
广义伯努利分布（Generalized Bernoulli Distribution）
- 广义伯努利分布 ：是伯努利分布的推广，允许试验结果有多种，且每种结果的概率可以不同。它将伯努利分布从两种结果扩展到了多种结果的情，其概率公式为：
$$P(X = x_{i})=p_{i}$$- \(X\) 是取值于 \({x_{1},x_{2},\cdots,x_{k}}\) 的随机变量，\(i = 1,2,\cdots,k\) ，且 \(\sum_{i = 1}^{k}p_{i}=1\)
- 举例 ：在一些多结果的单次试验场景中，如一次考试学生的成绩等级（优、良、中、差等）的概率分布
- 注：强化学习中，离散动作的分布常常使用分类分布来表示（部分文献也称RL中的离散动作分布为广义伯努利分布）
一些总结
- 二项分布是针对只有两种结果的重复试验（每次实验只有两种结果）；
- 多项分布是二项分布的推广，用于多种结果的重复试验（每次实验有多种结果）；
- 分类分布是多项分布在单次试验下的特殊情况；
- 广义伯努利分布也是对伯努利分布的推广，更侧重于单次试验有多种结果的情况，与分类分布类似，但表述上更强调对伯努利分布的扩展
- 分类分布和广义伯努利分布形式相同，代码实现上也完全相同