ML——MLE和MAP的区别举例说明

Posted on

本文用一个简单的例子在直观上说明极大似然估计与最大后验估计的区别

举例说明

  • 事件定义

    • A = 好好学习
    • B = 作弊
    • C = 班级第一

  • 条件概率

    • P(C|A) = 0.1
    • P(C|B) = 0.5

  • 已知某同学考了年级第一

    • 此时可得概率：
      • P(C) = 1
    • ML(极大似然估计，找一个使得结果发生可能性最大的条件
      计算条件概率P(结果|条件)
      • 参数为e
      • P(C|e = A) = 0.1
      • P(C|e = B) = 0.5
      • 该同学更可能是作弊了
    • 若此时添加先验：
      • P(A) = 0.99
      • P(B) = 0.01
    • MAP(计算后验概率,在结果发生时,最可能是什么产生的?
      计算后验概率:P(条件|结果),令P(C)=1
      • P(A|C) = P(C|A)P(A)/P(C) = 0.1*0.99/1 = 0.099
      • P(B|C) = P(C|B)P(B)/P(C) = 0.5*0.01/1 = 0.005
      • 此时可发现该同学更可能是好好学习了

深入分析：MLE与MAP的区别

  • MAP比MLE多考虑了一个先验概率，这个先验概率指明了条件概率的条件(例如 P(C|A)的先验是P(A))
  • MAP的是比较后验概率，ML的是比较条件概率，但是两者本质上都是找一个使得结果发生的最可能的原因
  • MLE可以认为是特殊的MAP
    • ML是先验概率为均匀分布时的MAP(上例中： 若P(A) = P(B), 则MLE等价于MAP)