j******4
发帖数: 6090 | 1 log-likelihood就是把likelihood function 用log转一下，方便计算。
至于likelihood么，是一种inference的方法。
大概可以认为likelihood越大越好，有一种著名的estimator就是基于maximum
likelihood来的，就是maximum likelihood estimator （MLE），这种estimator有非
常好的属性，比如asymptotically unbiased，invariance等等。 |
|
o******e
发帖数: 1001 | 2 如果假定一堆数据符合同一正态分布，那么它的MLE很简单，不需要计算maximum
likelihood, 我们就可以知道期望值是样本均值，方差是样本方差，而且如果把样本均
值和方差放到maximum likelihood的那个公式了，应该能够得到最大的likelihood。
问题是，如果这堆数据本身并不是特别符合正态分布,有没有这种可能，用R解出来的
maximum likelihood estimator和样本均值，样本方差很不一样？这时候把样本均值方
差替入maximum likelihood的式子得到的likehood并不是最大的？ |
|
o******e
发帖数: 1001 | 3 谢谢qqzj和littlebirds的回复。
我的问题是数据点不少，有两万多个。我假定他们都是正态分布，但是当我用R去求
maximum likelihood的时候，给的预测均值和方差都和样本均值和方差差很多，如果我
把样本均值和方差替到likelihood方程了，得到的likelihood的值也没有上面的
maximum likelihood大。我比较confuse的是，我们可以逻辑上从maximum likelihood
方程推出预测均值和方差就是样本均值和方差，但是为什么实际上计算时还有那么大的
区别？
result is only valid for a correctly specified distribution family;
otherwise, it is going to be garbage no matter how |
|
n**f
发帖数: 121 | 4 I am having great trouble with using Maximum Likelihood to estimate
distribution parameters. I will appreciate if anyone can help me find out
what went wrong.
Assume that I have M iid samples of random vector V, denoted by v_1,v_2,...v
_M. Define random variable X = f(V|theta) where f is function whose closed
form is known but parameter theta is unknown.
I assume X=f(V|theta) follows a lognormal distribution logN(mu,sigma) where
mu and sigma are unknown. My purpose is to JOINTLY estimate theta, ... 阅读全帖 |
|
j*******r
发帖数: 32 | 5 首先，MLE也不一定是相合估计，如果正则性条件不满足，MLE本来就可能和真值差别很
大，这是最郁闷的结果。
第二，有可能是样本容量不够大导致估计值偏离真实值。在计算量允许的情况下，增加
你的样本量。
第三，最有可能的是你likelihood写错了。
很简单的一个判断方法是算出最终的likelihood function的值。假设L是likelihood，
你的解是a,真实值是b，代入看L(a）是不是比L(b)大。
如果L(a)
个比a更大的极值点，你可以用grid或者是其他方法找到它。
如果L(a)>L(b)，特别是差得很多的话，说明a很有可能是全局最优点。要吗就是正则条
件不满足，要吗就是你的likelihood有问题。 |
|
s*****t
发帖数: 119 | 6 嗯 多谢 回来看看empirical likelihood ratio。empirical likelihood可以也可以加
prior和bayesian method结合起来吧
另外，如果有n个sample data点x_1,...,x_n,一般likelihood ratio是对这些data的
distribution做的
可以对这n个data点的sample mean x_bar用likelihood ratio test吗？相当于只有一
个data点，但是根据clt知道是normal的 |
|
S*********r
发帖数: 4729 | 7 【 以下文字转载自 EE 讨论区 】
发信人: SmartFarter (喷屁式直升飞猪), 信区: EE
标 题: 请教一个distribution之间的likelihood问题
发信站: BBS 未名空间站 (Tue Jun 28 22:30:35 2005)
我需要有一个公式衡量for a given distrition Q, the likelihood p(W|Q).
W is the observed distribution. W and Q could be approximated by histogram.
What is a good measurement for p(W|Q)?
我打算用KL divergence，D(W,Q)来定义，p(W|Q)=c*exp(-D(W,Q)). 对不对呢？
主要问题是我不知道如何保证，/integral_W' p(W'|Q)dW'=1.
这个问题应该很常见。就是当我的model不是一个值，而是一个distribution的时候，
如果建立正确的likelihood公式。大家有没有遇到过这个问题？请教一下。 |
|
l*******3
发帖数: 186 | 8 做maximum likelihood estimation，用optimization怎么都的不出正确的数值。现在
是做simulation阶段，总共10个parameters，如果固定其他parameters，只让一个
parameter变，那么likelihood function确实总在true parameter valuealuede地方是
最大的，但是所有parameters放在一起optiomize likelihood function，就怎么都的
不到真实parameter value。到底是怎么回事呢？大侠帮帮忙啊，谢谢！ |
|
m*****0
发帖数: 55 | 9 大家好，问个学术问题。
我在使用EM算法的时候，在30个iterations之后，我的log-likelihood就变成了-
infinity。不知道是什么原因造成的。我的EM就是MLE + logistic regression。感觉
没啥问题啊。
M step是为了maximize expection of log-likelihood, 我这里变成-inf，岂不是EM算
法在这个iteration完全没有用？
谢谢了。 |
|
K****n
发帖数: 5970 | 10 先说说model细节吧，logistic regression怎么用的em? 是有prior还是有mixture? 只
要有一个data point的p是0, log likelihood就是-inf，就像debug一样，你可以研究
一下这30个interation是怎么让它变0的。原理上em的likelihood应该是单增的，如果
你没用package的话也说不定是哪儿写错了 |
|
w******u
发帖数: 156 | 11 【 以下文字转载自 Mathematics 讨论区,原文如下 】
发信人: wangmumu (咕噜), 信区: Mathematics
标 题: Maximum Likelihood Optimization
发信站: Unknown Space - 未名空间 (Mon Oct 6 12:28:22 2003) WWW-POST
I need to estimate a time series model using maximum likelihood method. My
model is very similar to GARCH. Is there any package (MatLab) that will allow
me to modify the standard model and do estimation for me? Or I will have to
write my own program to do it? I found out usually people use BHHH method to
do it. Does anybody know |
|
x***2
发帖数: 946 | 12 -2log (likelihood ratio)是否受sample size影响？
增加减少样本对-2log (likelihood ratio)有什么影响？
包子代谢。 |
|
d******g
发帖数: 130 | 13 I think the large sample will make the test with -2log(likelihood ratio)
more valid. Since we take the log and double it to yield an approximate chi
-squared sampling distribution and we use LARGE sample to approximate this
chi-square distribution.
Also when H0 is false, the large the sample size, the larger the -2log(likelihood ratio). |
|
k*****u
发帖数: 1688 | 14 EM是先求missing data的条件期望
然后再max likelihood
你这么表示likelihood不对头 |
|
o******e
发帖数: 1001 | 15 用Maximum Likelihood estimation预测样本数据的时候（都是正态分布），如果有两
组不同的数据，怎么才能知道那组fit的比较好呢？Maximum Likelihood estimation有
没有比较常用的goodness of fitting的方法？是用deviance吗？谢谢！ |
|
h**********1
发帖数: 155 | 16 额。或者考虑composite likelihood? instead of original likelihood. |
|
n**m
发帖数: 156 | 17 这里我看着有点晕，是proc glimmix里的一个interaction history。这个objective
function的值应该是-2*res log pseudo_likelihood function。
objective function是应该是max log-likelihood function ->min -log-likelihood
function吧，为啥iteration里objective function越来越大了。
Iteration History
Objective
Max
Iteration Restarts Subiterations Function
Change Gradient
0 0 ... 阅读全帖 |
|
p********1
发帖数: 1011 | 18 log-likelihood怎么解释？ 用来做什么的？
是不是用来比较几个negative binomial regression models的结果的？ 是不是log-
likelihood的绝对值越大就说明model越好？ |
|
w*******9
发帖数: 1433 | 19 不知道data的分布你都不知道怎么算这个likelihood ratio。还有一个empirical
likelihood ratio的办法，不需要知道data的分布，但是应该没有现成的软件能用，得
自己写code. |
|
z*******h
发帖数: 346 | 20 把佛山小女孩事件作为一个random sample from binomial distribution B(19, p),
where drawing a 道德败坏 person means success, and drawing a 好人 means
failure. Since 18 out of 19 people are 道德败坏, maximum likelihood
estimation of p is then 18/19, which is far greater than 1/10000 as claimed
by some 50c ID here. |
|
m****d
发帖数: 331 | 21 【 以下文字转载自 Statistics 讨论区 】
发信人: madrid (马甲), 信区: Statistics
标 题: Can we calculate log likelihood ratio using SAS???
发信站: BBS 未名空间站 (Fri May 30 14:07:01 2008)
My model is a constrained regression ( a linear regression model with
inequality constraints)...Thank you. |
|
p*******s
发帖数: 7 | 22 一般来说这个log likelihood function 是几个loggamma函数的代数和。有没有一般方法
知道其convexity? |
|
b**********t
发帖数: 6 | 23 问题背景：
随机过程和系统的仿真，尤其碰到稀有事件时，常常采用一个新的概率测度替代原有的
自然概率测度仿真，以增大稀有事件的发生概率（change of measure,重要抽样）。比
如我们想通过仿真（Monte Carlo）估计样本空间中的某个集合A的概率（很小，比如10
的-8次方级），如果采用自然概率测度，则平均要仿真一亿次才能得到一个样本落在这
个集合里面。这样需要仿真多个亿次才能得到有效的估计。为克服这个问题，我们可以
采用一个新的概率测度，在这个新的测度下，让集合A出现的概率变大，甚至大到1，也
就是说仿真的每一个样本点都落在集合A里面。当然，在结果统计时，一个样本点不能
算1个，而必须乘以likelihood ratio来纠偏。进一步，假设集合A的一个划分：子集A1
, A2, A3. 其中A3的自然概率比A1, A2小很多（比如A1, A2在10的-8次方级，而A3在10
的-12次方级）. 这样估计集合A的概率时我们可以忽略A3。于是我们可以选择一个新的
概率测度，让全部样本点都落在A1,A2里面。
问题描述：
对于这样一种做法，有一些事件（A3）在原有的自然概率测 |
|
H*****1
发帖数: 4815 | 24 有一个比较复杂的maximum likelihood形式
L(x)
有x的初始估计
可以计算它的一阶偏导数和二阶海森矩阵
约束条件是 sum(x_i) = 1; x_i >= 0
向量x维度较高
matlab的optimization toolbox里哪个函数能解这个问题？
输入是什么？ 谢谢！ |
|
c*******h
发帖数: 1096 | 25 【 以下文字转载自 Statistics 讨论区 】
发信人: cockroach (冬冬), 信区: Statistics
标 题: maximum likelihood estimation
发信站: BBS 未名空间站 (Fri Jul 29 11:15:29 2011, 美东)
怎么知道MLE的结果是可信的呢？
我手上有一堆数，假设是iid正态分布出来的。那么我可以用MLE
估计出分布的均值和方差。好，结果我很满意。完事，收工。
但是我怎么确定我的假设是对的呢？万一我手上的那堆数不是正
态分布出来的呢？无论怎么样MLE都可以给我算出均值和方差。
怎么检验我的关于分布的假设是对的呢？ |
|
m****d
发帖数: 331 | 26 【 以下文字转载自 Statistics 讨论区 】
发信人: madrid (马甲), 信区: Statistics
标 题: Can we calculate log likelihood ratio using SAS???
发信站: BBS 未名空间站 (Fri May 30 14:07:01 2008)
My model is a constrained regression ( a linear regression model with
inequality constraints)...Thank you. |
|
s**z
发帖数: 610 | 27 Consider a jar containing N lottery tickets numbered from 1 through N. If
you pick a ticket randomly then you get positive integer n, with probability
1/N if n ≤ N and with probability zero if n > N.
The maximum likelihood estimate for N is n (by contrast, the unbiased
estimate is 2n − 1).
这个极大似然估计是n么问题。然而巴特好爱我，为什么无偏估计是2n-1呢？ |
|
p********a
发帖数: 5352 | 28 ☆─────────────────────────────────────☆
madrid (马甲) 于 (Fri May 30 14:07:01 2008) 提到:
My model is a constrained regression ( a linear regression model with
inequality constraints)...Thank you.
☆─────────────────────────────────────☆
tosi (我的名字叫/tu'zi:/) 于 (Fri May 30 14:10:22 2008) 提到:
Sure you can.
(1) Specify the two models correctly and fit seperately.
(2) Retrieve the log likelihood form FitStatistics ODS table and do the math
by yourself.
SAS does not compute LRT for you.
☆────── |
|
B****n
发帖数: 11290 | 29 empirical likelihood for high-dimensional data
hehe... |
|
h******2
发帖数: 5 | 30 最近在看 Statistic Inference 这本书
里面讲的likelihood function部分实在是理解不了。
包括Evidence function 以及 Formal Sufficiency principle, Conditionality
Principle 完全不能理解，请教下各位前辈们在直观上是如何理解的 |
|
h***i
发帖数: 3844 | 31 这？？？ 算一下 X1,... Xn的-2log likelihood 就知道了。 |
|
x***2
发帖数: 946 | 32 -2log(likelihood ratio) |
|
S******t
发帖数: 1437 | 33 想了很久，请高人指点。
log L(theta| y)= log L(theta|y,b)-log g(b|theta,y)
log L(theta|y,b) 是 complete data likelihood, 后面那个log g(b|theta,y) 咋求
呢 |
|
d******e
发帖数: 7844 | 34 就用likelihood的lower bound就行了 |
|
d******e
发帖数: 7844 | 35 ... ...怎么可能不用求呢，做BIC的Model Selection可是需要likelihood的 |
|
j*********1
发帖数: 15 | 36 Need help on this problem
Test
null: theta=theta.a
alternative theta=theta.b (b
theta is the parameter of exponential distribution
have X1,... Xk+1 (each follow the exponential distribution) at different
time interval t1,...tk (equal) and tk+1=infinite. so X1,... Xk+1 follow a
multinomial distribution with pi determined by pdf theta from ti-1 to ti.
Now consider use likelihood ratio test (used MLE before and want to compare)
Now we have lnLR=sum of [xi*ln(p(theta.a/theta.b)]
how to approxima... 阅读全帖 |
|
h******3
发帖数: 190 | 37 写得有些乱
Xi's ~ exponential distribution(lambda) iid, one sided test for lamda,
Why is the likelihood ratio MLR in Xbar?
LR=(lamda0*Xbar)*exp(-n*lamda0*Xbar+n)
看不出是monotonic。
谢谢。 |
|
|
o******e
发帖数: 1001 | 39 你这样说似乎也有道理。
可能直接比较它们的likelihood value 就可以了。 |
|
a******n
发帖数: 11246 | 40 你用R算的时候，是不是要说明sample来自什么distribution的？
如果是的话，应该MLE=sample mean才对呀。。。
likelihood |
|
l*********s
发帖数: 5409 | 41 You are not making senses here. Assuming normality,the sample mean and
sample variance are the MLE for mean and variance. Same formula, same
numeric results.
likelihood |
|
a***g
发帖数: 2761 | 42 composite likelihood不是说是算的快么
本身在处理复杂的似然的时候还不好说是不是更方便
不过我还只是道听途说而已啦 |
|
y***n
发帖数: 51 | 43 我遇到过这个情况，不过是三个参数。随机给定初始值给出的结果相差很大，某些参数
在10^5到10的范围变动。应该说在很大的一个区域里面，max likelihood function取
值相处不大，离最
大值很近，你可以把每个参数对应的function值求出来，他们相差不大。 后
来我用method of moment的结果做了初始值，结果会比较稳定一点。 |
|
l*******3
发帖数: 186 | 44 我用的是R软件的constrOptim
如果我总也得不到真实parameter value，是不是表示我的likelihood function错了呢
？谢谢 |
|
h**********1
发帖数: 155 | 45 what do you mean can't get true value? based on one simu? or 1000? usually
you run 1000 simu and check whether your estimators are unbiased. check
whether each run is converged. use function hist to see the distribution of
your estimators, they should approximately follow normal distribution if you
've large sample (n=1000).
also if you likelihood is very flat, it's hard to converge and sensitive to
the initial value.
try to supply a gradient function which could help a lot.
try different optimi... 阅读全帖 |
|
P****D
发帖数: 11146 | 46 这样会不会运算到死？
我看八成是他把likelihood function写错了。 |
|
s*****t
发帖数: 119 | 47 在test difference in two sample mean的时候，不管data是什么分布，只要数据够大
，t-test可以用CLT来估计t-statistic的分布
如果用likelihood ratio test，是不是必须知道data的分布，有没有办法用normal来
approximate?比如说sample data是non-negative count data
谢谢！ |
|
发帖数: 1 | 48 Peter Scholze, arithmetic algebraic geometry : likelihood 80%
Maryna Viazovska, analytic number theory and discrete geometry : likelihood
60%
Simon Brendle, differential geometry and geometric analysis: likelihood 40%
Alessio Figalli, partial differential equations and calculus of variations :
likelihood 40%
Gregory Miermont, probability and stochastic geometry : likelihood 40%
Akshay Venkatesh, number theory and automorphic forms : likelihood 40%
Ciprian Manolescu, low-dimensional topology and ... 阅读全帖 |
|
x********i
发帖数: 905 | 49 Peter Scholze, arithmetic algebraic geometry : likelihood 80%
Maryna Viazovska, analytic number theory and discrete geometry : likelihood
60%
Simon Brendle, differential geometry and geometric analysis: likelihood 40%
Alessio Figalli, partial differential equations and calculus of variations :
likelihood 40%
Gregory Miermont, probability and stochastic geometry : likelihood 40%
Akshay Venkatesh, number theory and automorphic forms : likelihood 40%
Ciprian Manolescu, low-dimensional topology and ... 阅读全帖 |
|
l**********2
发帖数: 450 | 50 每个人都在翘首企盼iPad 3的发布，流言也已甚嚣尘上。
我们希望新产品会有更好的屏幕，更快的处理器，还有更强劲的电池。
但流言远不止于此。
以下是对iPad 3功能外观的所有猜想。(非原创，期待再创）
1.Retina display
视网膜屏幕
The next iPad will reportedly have a much higher-quality display. We've even
read that it could be in full HD.
据称下一代iPad将实现更好的显示效果，甚至有消息称会达到全高清显示。
Likelihood: high. One could even argue that retina display is overdue.
可能性：高。视网膜屏早就该在iPad上应用了。
2.Quad-core processor
四核处理器
Apple gave us a nice improvement in processor speed from iPad 1 to iPad 2
and the rumors are that we can ... 阅读全帖 |
|
