m*****0
发帖数: 55 | 1 大家好，问个学术问题。
我在使用EM算法的时候，在30个iterations之后，我的log-likelihood就变成了-
infinity。不知道是什么原因造成的。我的EM就是MLE + logistic regression。感觉
没啥问题啊。
M step是为了maximize expection of log-likelihood, 我这里变成-inf，岂不是EM算
法在这个iteration完全没有用？
谢谢了。 |
d******e
发帖数: 7844 | 2 overfit数据了，加regularization就OK了。
【在 m*****0 的大作中提到】
: 大家好，问个学术问题。
: 我在使用EM算法的时候，在30个iterations之后，我的log-likelihood就变成了-
: infinity。不知道是什么原因造成的。我的EM就是MLE + logistic regression。感觉
: 没啥问题啊。
: M step是为了maximize expection of log-likelihood, 我这里变成-inf，岂不是EM算
: 法在这个iteration完全没有用？
: 谢谢了。
|
m*****0
发帖数: 55 | 3
请问这个的overfit是否就是overflow呢？
能不能elaborate为什么会overfit呢, 我不是特别明白？
谢谢。
【在 d******e 的大作中提到】
: overfit数据了，加regularization就OK了。
|
K****n
发帖数: 5970 | 4 先说说model细节吧，logistic regression怎么用的em? 是有prior还是有mixture? 只
要有一个data point的p是0, log likelihood就是-inf，就像debug一样，你可以研究
一下这30个interation是怎么让它变0的。原理上em的likelihood应该是单增的，如果
你没用package的话也说不定是哪儿写错了
【在 m*****0 的大作中提到】
:
: 请问这个的overfit是否就是overflow呢？
: 能不能elaborate为什么会overfit呢, 我不是特别明白？
: 谢谢。
|
m*****0
发帖数: 55 | 5 嗯，解决了。 是overflow了，加个penalty就可以了:) |
