r*******e
发帖数: 510 | 1 如果我有一个模型
y=b1+b2x+b3z
z不是服从正态分布， 而是服从GAMMA分母， 我怎么用OLS（不是MLE）估计出B3的估计
值？ |
|
D******n
发帖数: 2836 | 2 why ols ?
MLE is staightforward ah... |
|
r*******e
发帖数: 510 | 3 是的。 MLE是PREFER的。 但是因为在重现一篇PAPER。 所以需要算OLS。
指点下吧。 谢谢啦~ |
|
i********f
发帖数: 206 | 4 如果Z是residual不是predictor的话,怎么还有系数呢
而且error是normal分布,是几个假设里面要求最不严格的吧,只要数足够多,
都可以近似为normal
我不是很清楚OLS和MLE的关系,不是同时出现的么?
有大侠给讲讲么,谢谢 |
|
l*********g
发帖数: 922 | 5 multivariate 的：
Data 是25x2的matrix, 25 objects, 2 virables
under Ho: E(Data)=(0,0) 就是简单的mean=0
求underH0， MLE for the expectation? 这个我就糊涂了，这个design matrix 是啥
？ |
|
D******n
发帖数: 2836 | 6 嗯，其实measurement error 已经反映在平均值的不同上面了。除非他只给我一个平均
值，那我就有可能需要SE/STD 来估计。 当然，如果平均值不够多，error可能估计不准
，这时候就可以连同你的每个平均值的SE/STD来估计了。 这里又有一个问题就是，tra
nsformation，这个error的distribution 早就不知道变得怎么样了，估计MLE还比较难
写。 |
|
o****o
发帖数: 8077 | 7 in rare events classification, MLE of logistic model is biased
one quick remedy is biased sampling of events, and adjust the actual
probability using offset on the estimated intercept
if it is very rare event problem (say 0.01%), hot debate and no commonly-
agreed methods |
|
|
h*******g
发帖数: 508 | 9 １我第一次发贴的时候漏写了一个关键点 subgroup
２ 同一个subgroup里 数据确实是平移关系
３ 如何推导variance的MLE的公式？ 有相关的经典paper或者link或者关键词么？
谢谢指点！ |
|
D*******a
发帖数: 207 | 10 这个MLE的推导是简单的。我下面试试看，不一定对。用的latex语法，\approx是“正
比于”
Likelihood
\approx(\sigma^{-n})exp{-1/(2\sigma^2)\sum{(x_i-mean)^2}}
\approx(\sigma^{-n})exp{-1/(2\sigma^2)\sum{(x_i-\bar(x))^2+(\bar(x)-mean)^2}}
\aporox(\sigma^{-n})exp{-1/(2\sigma^2)\sum{(x_i-\bar(x))^2}}
令对\sigma的导数为0可以maximize likelihood。似乎答案和1)中的variance公式一致
。 |
|
D*******a
发帖数: 207 | 11 1。点估计。估计个mean，var这类的单个值。
2。可以用MLE（翻译：最大似然）估计。 |
|
n******0
发帖数: 298 | 12 麻烦那位大牛帮看一看，谢谢。
我想用PROC IML里的subroutine求exponential duration model 的MLE,这是我的CODE
，得到的error message是"ERROR: (execution) Matrix has not been set to a
value.",到底是哪儿的问题？exp是读入的data set，t是random numbers generated
from an exponential distribution.
%macro test(dsn=,x=);
proc iml;
reset noname;
use &dsn;
read all var {&x} into tt;
print tt;
start LL(beta);
f=sum(log(beta)-beta#tt);
return(f);
finish LL;
start grad(beta);
g=j(1,1,0);
g=sum(1/beta-tt);
return(g);
finish grad;
start hess(beta);
h=j(1,1,0); |
|
x*******i
发帖数: 1791 | 13 可以计算bias和mse。 你可以看看关于MLE和REML的讨论。
basic idea is：
E( e*Sigmahat*e' )是一个quadratic form,可以写成两部分，这两部分包含你的Sigma。
where:
e是model residual. Sigmahat是你的covariate matrix的估计值。Sigma是true
covariate matix。
顺这个思路搞搞试试。 |
|
c******r
发帖数: 300 | 14 R.A.Fisher
K.Pearson
J.Neyman
前三位贡献就不用列了，Fisher无疑是father of modern statistics，贡献比如
analysis of variance, MLE, idea of randomization ...... 另外，有一个笑话，一
个geneticist读了些统计的书居然发现Fisher还是个统计学家，他一直以为Fisher是著
名的geneticist ...
D.R.Cox
C.Stein
B.Efron
D.Rubin
这四位每个人都在统计里面开创了n>1的领域，Stein很特别，一个lemma搞了两个（虽
然有一个是最初的证明不是依赖于Stein's Lemma), 不过整体上D.R.Cox还是牛些，做
了很多经典统计的东西，Cox process, Cox model, 另外还有很多likelihood
inference的东西。不过这种list也就是闲来无聊仰望一下，就是这个list再长1000倍
也和欧们无缘啊。 |
|
A*******s
发帖数: 3942 | 15 i guess weighting is just for model fitting, like weighted LS or weighted
MLE. I don't know how to give a weight to a prediction... |
|
|
|
A*******s
发帖数: 3942 | 18 你都在美国混这么久时间了，
我怎么觉得你连cross validation是啥含义都不懂？
还有MLE这种最基本的统计名词，还得我给你解释？ |
|
b*****o
发帖数: 482 | 19 你没搞清楚p和p_hat的区别. 一个是真值, 一个是对真值的估计.
wiki例子里面是assume了fair coin, 所以p=0.5. 这个时候p是真值, 不是估计出来的.
p在一般的应用中, 是你要估计的一个值. 那么这个时候MLE of p (i.e. p_hat)=#
success/N
probability
yes/
three
number |
|
c*******n
发帖数: 300 | 20 If MAR is assumed, the MLE is valid when using mixed effects model.
You can see some missing value books for details. |
|
b*****n
发帖数: 685 | 21 SAS里面能做optimization么？比如numerically求MLE |
|
S******t
发帖数: 1437 | 22 想了很久，请高人指点。
log L(theta| y)= log L(theta|y,b)-log g(b|theta,y)
log L(theta|y,b) 是 complete data likelihood, 后面那个log g(b|theta,y) 咋求
呢 |
|
|
|
S******t
发帖数: 1437 | 25 b 是missing data, g 是个density function |
|
k*****u
发帖数: 1688 | 26 EM是先求missing data的条件期望
然后再max likelihood
你这么表示likelihood不对头 |
|
d******e
发帖数: 7844 | 27 就用likelihood的lower bound就行了 |
|
d******e
发帖数: 7844 | 28 ... ...怎么可能不用求呢，做BIC的Model Selection可是需要likelihood的 |
|
S******t
发帖数: 1437 | 29 嗯，是啊，就是因为要做model selection. |
|
|
a****m
发帖数: 693 | 31 you want get the density of f(b|y;theta')
depending on f(y,b|theta')/f(y;theta')， which the top part is the joint
distribution and bottom one is marginal distribution. the theta' is the
initiated value of parameter. |
|
p******r
发帖数: 1279 | 32 有点不明白哦， odinal regression不是基于MLE的吗？
还是说你觉得索性把response variable看出continuous的，然后用OLS regression来
做？
如果ppl不愿意接收他们 highly depressed，then用什么model来做比较好呢？ 谢谢啊！ |
|
G*****m
发帖数: 222 | 33 1。ols=mle?
Normality (?). It is sometimes additionally assumed that the errors have
normal distribution conditional on the regressors:[4]
see：
http://en.wikipedia.org/wiki/Ordinary_least_squares
2。如果ppl不愿意接收他们 highly depressed的solution:
OLS, 得到error term。plot error against score.regress error on score, 检测是
否相关。解决法子，我也不清楚...要看你的X， literature。不过好像bootstrapping
通吃？
啊！ |
|
q**j
发帖数: 10612 | 34 打算得到比较smooth (stable)的mean and covariance estimates。现在mean用了baye
sian model，已经相对比较smooth了。但是Bayesian的covariance也不smooth，而且牵
涉到wishart distribution，在mle的时候非常volatile。请问这方面的大侠有什么指教
么？
当然还是要efficient的estimator。多谢了。 |
|
F****n
发帖数: 3271 | 35 MLE needs a pdf. In your case, g(X) is pdf, but you are actually estimating
g(X(V)), which is a new function of V. Make sure it is also a pdf of V.
.v
where |
|
j*********1
发帖数: 15 | 36 Need help on this problem
Test
null: theta=theta.a
alternative theta=theta.b (b
theta is the parameter of exponential distribution
have X1,... Xk+1 (each follow the exponential distribution) at different
time interval t1,...tk (equal) and tk+1=infinite. so X1,... Xk+1 follow a
multinomial distribution with pi determined by pdf theta from ti-1 to ti.
Now consider use likelihood ratio test (used MLE before and want to compare)
Now we have lnLR=sum of [xi*ln(p(theta.a/theta.b)]
how to approxima... 阅读全帖 |
|
k*****u
发帖数: 1688 | 37 哈 真惭愧啊
我记错了。只记得以前学的时候logistic回归有三个办法，刚才翻书，发现是wald,
likelihood-ratio, scoreing method。我只记得用牛顿拉普森迭代，当时记不清那三
个东东，被我说成mle了，太惭愧了。
我同学告诉我说他去google面试都是问的概率统计的概念什么的，所以我准备的都是那
些东东。结果什么都没问。
ps，google的phone interview通用么？ 前面投了两个google的职位，这是面的一个。
还有一个让我给时间说要面试，会不会这个黄了，结果就会传到另一个哪儿去？
discussion with some friends interviewed by google statistical groups, they
want an open mind, quick response ppl with a solid stat background and good
skills in R(?)
further info), the interviewer already knew your background i... 阅读全帖 |
|
a******n
发帖数: 11246 | 38 非常感谢啊niu兄的分享。
关于logistic regression的参数估计，如果是我的话，
我估计会说，这个reg相当于把Y通过logit transform后
变成新的Y'，然后Y'关于Xb regress。就用普通的least square
method就行了。大牛们说说这样能行吗？
关于MLE怎么做，我觉得就是把likelihood function写出来，求
最大值。那个NR method是算法的问题了...但是理论上
无非就是求likelihood的最大值。
另外看到提到了dreamer同学，在本版搜索了一下，才
发现原来几个月前dreamer就发过面经了。看了一下，觉得
好难啊。有好多我都觉得我无法给出肯定的回答：（ |
|
k*****u
发帖数: 1688 | 39 Alan那本书CDA的143页写的很清楚了，是要找MLE
给的几个方法是:牛顿拉普森, fisher scoring, Iterative reweighted least
squares. 然后给了在经典link下牛顿和肥西的办法是一个结果。
大牛们能不能说说，如果logistic下面y和x不是线性的，怎么搞？ps，我记得以前说线
性回归，是指参数beta是线性的。是不是这样？如果照他们说的，y x不是线性的，实
际当中你们一般怎么做的？ |
|
B****n
发帖数: 11290 | 40
If you said wald, likelihood in this question, you will have big trobule.
These methods are for hypothesis testing; MLE or quasi likelihood estimator
are for estimation of parameters.
they
good |
|
Z******a
发帖数: 1178 | 41 装逼的人太多了，妈的逼。
logistic regression不是maximize likelihood解法是什么？麻痹的人家答MLE怎么就
weak了？
莫装逼，装逼被雷劈！日！ |
|
q**j
发帖数: 10612 | 42 多谢了。问题是这样的。比如：
y_t = F * theta_t + v_t
theta_t = G * theta_(t-1) + w_t
这里v_t，w_t都是normal with 0 mean and variance V and W. F,G知道的。
假设 theta_0 是normal(m0, C0)分布，m0, C0 known。用kalman filter那一套就可以
估计 V and W。而且hessian of log likelihood function就是这个mle estimator的
covariance matrix。这不是很容易就拿到了 f(参数 V, W|数据 y_t）了？我们可以sa
mple V, W，然后去forecast以后的theta或者y_t。这样不是很简单明白么？
可是好像大部分书上不这样搞。一般都是要把theta加进来sample。请问这个是为什么？
多谢了。 |
|
F******n
发帖数: 160 | 43 不是高手，只是对kalman filter熟悉，略微了解一些Bayesian DLM的基本概念，所以
也许可以讨论一下。我的讨论见下面。
对于正态的噪声，标准“卡尔曼滤波”和标准、简单的“贝叶斯线性动力模型”应该就
是一回事吧。而且对整个系统有封闭的解析结果。
：而且hessian of log likelihood function就是这个mle estimator的
sa
么？
不太确定我理解了你这个问题，就我所理解和知道的说说。
标准“卡尔曼滤波”针对的主要问题不是预测，而是实时滤波和估计。比如说，对于一
个线性动力系统，你观察到一系列数据，想估算某些动力状态量，最简单的像定位跟踪
系统，你知道动力模型，观测到目标在每一个时刻的位置坐标，想算出速度，加速度，
角速度等等。当然你不能用简单的两个时刻的位置一减除以时间间隔来做。这些速度，
加速度，角速度就是上面模型里的theta_t（不可直接观测的“隐含”动力态）。所以
“卡尔曼滤波”（或者正态噪声的“贝叶斯线性动力模型”）问题就是这样一个构造:
1. 估计问题：当观测到一个新数据y_t（位置），借助y_t = F * theta... 阅读全帖 |
|
q**j
发帖数: 10612 | 44 多谢你们讨论。可是还是没有人回答我的问题。简单说我的问题是：
在F,G已知，不在乎 state，只关心forecast的情况下，我可以用MLE的理论得到f(参数
|data）。这样就可以轻松forecast。基本上可以绕开MCMC。请问为什么大多数人还是
喜欢MCMC呢？ |
|
F******n
发帖数: 160 | 45 我真的不知道你想要问什么答案了。。。
这样吧，你把我上面给的West和Harrison的书里第四章看看吧，尤其你感兴趣的那个“
FORECAST DISTRIBUTIONS”（第4节）。全部结果解析可解的，哪有什么MCMC?
你的那个MLE的“简单”解法也贴出来吧，否则光说，谁也没法猜出是怎么回事。 |
|
s*****r
发帖数: 790 | 46 so (y-e^(a*t)X+e^(b*t))/e^(c*a) is standard normal. you can write the
likelihood easily. you can get the MLE for a,b,c using some numerical
methods. |
|
|
f***a
发帖数: 329 | 48 MLE估计帮不了你
你这个方程怎么来的？有些四不像。
我比较怀疑：你是不是在之前的过程中就应该用STOCHASTIC DIFFERENTIAL EQUATION的
方式去解决问题，而不是鼓捣成现在这种样子。 |
|
s*****r
发帖数: 790 | 49 同不同分布有什么不同么？你如果有likelihood.
不同分布也可以做呀。
OLS或MLE解决，我现在时 |
|
w******g
发帖数: 313 | 50 MLE是用于在假设服从某个分布的情形下估计该分布的参数的吧？ |
|
