T******r
发帖数: 265 | 1 At least you can calculate it by yourself. |
|
s****n
发帖数: 489 | 2 没接触过。现在要在10天内做出来一个project
做一个250+的data的analysis paper
要求能出来model.要有分析。比如acf and pacf分析
还要有residual analysis等等
我现在是盲人过河，想找个类似的paper用自己手头的数据
跟着做一下。
可我找了半天都没找到合适的paper. （需要牵涉到acf,pacf,aic,
forecast)
有大侠有类似的吗。推荐一个。大包子伺候 |
|
D******6
发帖数: 6211 | 3 AIC BIC？你去google一下看是否合适。 |
|
h***i
发帖数: 3844 | 4 这么一说，那aic，bic之类的都不考虑了。
那就考虑structure risk minimization 之类的了 |
|
S******y
发帖数: 1123 | 5 Thanks both of you for helping out!
Sir, can you give some examples on the recent development?
Thanks again! |
|
P****D
发帖数: 11146 | 6 Try each covariance structure and then compare the AIC, AICC, and BIC. |
|
y*****t
发帖数: 1367 | 7 误差的方差是用MSE值来估计的，所以如果能减小MSE就是减小variance，loosely spea
king，就是要estimator更smooth，所以不免增加bias，最后看你的objective是什么了
，如果是estimation，那么这样过于简单的estimator可能不如复杂些的estimator；但
如果你感兴趣的是prediction，那就可能简单的estimator反而更好，这就是为什么有些
人用AIC来比较model。希望没有越解释越复杂。
VARIABLE |
|
b*****n
发帖数: 685 | 8 没啥好解释的，就是选择一种model来fit data而已，除非你能理论上推出data的
distribution。保险的做法是用几个不同的distribution来fit，比如Gamma，normal，
然后估计参数，比较likelihood或者AIC等等，选择最优的model
行. |
|
i********w
发帖数: 2223 | 9 有data还说啥了，没有data啊
说了是20xx年（未来）电池大小
没啥好解释的，就是选择一种model来fit data而已，除非你能理论上推出data的
distribution。保险的做法是用几个不同的distribution来fit，比如Gamma，normal，
然后估计参数，比较likelihood或者AIC等等，选择最优的model
行. |
|
d******e
发帖数: 7844 | 10 你这是什么公司啊？居然考这些问题？
1. grouping是什么概念？第一题不就是说明X1不足以解释Y的么？
2. 赶时髦的话可以试试Lasso, Elastic net或者其他shrinkage methods?
3. BIC,AIC,Cross Validation,Generalized Degree of Freedom, Convariance
Penalty等等?
5. 这个老师上课说过，一般是把所有的marginal的variable都算进去，因为漏掉一个
variable比多一个冗余variable对model的影响要大得多。
important
no
the
should |
|
s*******e
发帖数: 226 | 11 Could you please tell more about your thoughts.
The -2RLL and AIC are about the same,but the covariates are only
significant in the model without intercept term.
Thank you. |
|
D*******a
发帖数: 207 | 12 能自学PCA,不错。PCA的用处是减小需要的自变量维数。说不定对你的问题还是有帮助
的。
如果能自学PCA，自然能自学AIC，BIC。这些就是用来去掉多余的自变量的。 |
|
D*******a
发帖数: 207 | 13 下面是我的想法，不一定对。我想主要是因为这个highly的门槛难选吧。多大算highly
？ 如果两个变量和结果的关系很紧，则这个门槛要高些才好。如果两个变量都不太重
要，则低点好。你自己凭感觉去去掉，不放心吧。而AIC，BIC什么的，他们的门限就有
理论基础，放心。 |
|
h*******d
发帖数: 272 | 14 好 我去找AIC BIC 去了 太谢谢了 :-)
highly |
|
h*******d
发帖数: 272 | 15 谢谢您的回复
我又迷糊了 那。。。。先用AIC,BIC减少参数， 再用PCA 分析？
：-（ 。。。 |
|
A*******s
发帖数: 3942 | 16 呵呵，说错的你就没必要知道了。
基本上，model越复杂，train error就越少，但是test error 会成U型，比对应最低点
更复杂的model就是overfit了。
对于logistic，有些goodness of fit statistics本来就有penalty to overfit, 比如
说AIC。 |
|
x*******i
发帖数: 1791 | 17 AIC =
-2loglikelihood+2k
model selection可以基于不同方法。如： -2loglikelihood，LS, 等等。 |
|
p**********l
发帖数: 1160 | 18 明天下午有一个电面 （刚被通知）， 他们会问什么问题呢?
保险公司需要什么样的modeling 的经验呢？
time series modeling？ model selection according to BIC, AIC? Model
diagnostics by checking residuals?
还是别的。
读了一个master， 似乎还是什么都不懂。 请大家指教。不胜感激。 |
|
A*******s
发帖数: 3942 | 19 一般来说他是想问你用什么model evaluation的方法吧，比如说sse, r-sqr, aic, bic
, ks, roc curve, misclassification rate...
如果是指定了两种不同的data mining方法要比较的话，那得说说各自的优缺点啥的，
比如说 scale sensitivity, robustness, nonlinearity, computation intensity,
interpretation之类的。
这类问题太广泛，我觉得这不是单纯的技术问题，面试官也会考察你如何通过交流得知
他想问的是啥。 |
|
w********o
发帖数: 1621 | 20 Use likelihood. Compared it to the likelihood of a null model. The bigger
the likelihood is, the better is the model fitting. From underlying
rationales of AIC, BIC for mixed models. |
|
f***a
发帖数: 329 | 21 p-value,deviance,AIC,2 x log-likelihood什么都给了啊。。。。。。
你对这些名词不熟悉的话，还是先google下他们的意思吧 |
|
T*******I
发帖数: 5138 | 22 可否请这位同学多用一点文字谈谈over fitting。我在学习AIC时略知一点这个概念，
但不是很透彻，也没有用过实际的例子体验过over fitting的结果。所以，很无知，也
很不感性。而没有感性的体验，就无法上升到理性的思考。
期待着你或者任何一个有兴趣的人在此就这个问题多多赐教。
关于你对分段回归的理解，应该是那样的。也就说，将一个复杂空间的关系通过找到有
意义的临界点对其进行分解，然后用比较简单的模型来分段描述。这应该是一个简单的
符合逻辑的考虑。就我个人的实例体验，分段后总和预测误差一定减小，预测精度则会
提高。由于对整个空间的预测将立足于分段模型及其临界空间的转换，怎么理解你的
“唯一的缺点就是这样的模型只能解释，不能用来预测，因为over-fitting会造成同时
的high variance and high bias. ”呢？
础上的 |
|
d*******o
发帖数: 493 | 23 您就一点幽默感都没有，看骂我骂的像孙子一样，这样大家就没人和您一起玩了。
上头的精算兄不是说了吗，您这模型没有validation和cross-validation. Too much
complexity causes over-fitting. 您的模型就算fits train dataset perfectly，但是
能用吗？像我们这些天天跑模型的马仔，拿着train过以后没有validate的模型跟老板
汇报，不是找
骂吗。
似乎您没有做过模型，只接触过一些AIC, BIC之类的。这样吧，我就跟您指条捷径吧。
SAS里面有个
procedure叫proc glmselect. SAS有个帮助文档，后面有两个例子，您要用sas的话就
跑一下，
您就知道什么叫做validation和cross-validation了。 |
|
|
g**r
发帖数: 425 | 25 我觉得你应该是看x2是不是比x1更能解释y的VARIANCE，或者说，你的MODEL2是不是比
MODEL1 更好。
如果只是看这个，问题就简单了。你看AJUSTED R2就是了。或者看AIC，BIC，一句话，
比较那个MODEL更FIT就行了。
而X1和X2的系数是否相同，我觉得应该是个不相干的问题:毕竟你重新SCALE一下 （比
如x3=x2/5)，系数就不一样了，但不影响MODEL FIT。
所以我觉得你的RESEARCH QUESTION应该是MODEL SELECTION，而不是系数比较。 |
|
a****m
发帖数: 693 | 26 stepwise can not detect the model complexity, here complexity means that the
amplitude or abundance of collinearity between variable. you may try some
information criteria, such as AIC or Bayesian IC. |
|
p******r
发帖数: 1279 | 27 well 我按照zero-inflated negative binomial 做了，
zero model那里 都significant，但是那个AIC和-2loglikelihood有2600多。。。。是
不是太太太太大了啊？？？？
接下来该怎么办呢？ |
|
D*********2
发帖数: 535 | 28 CA一家游戏公司，startup，发展很快，地理位置很好，director从google跳出来的，问题跟google很类似。
1. 介绍一做过的project
2. suppose we need to build a model to distinguish players who may pay more with players who may not want to pay
2.1 what kind of model would u use
> logistic regression / random forest
2.2 how would u justify ur model
> cross-validation
2.3 say you made one logistic regression model and one random forest
model, how would you compare them?
> using same training set and same test set, compare precision / recall
/ accu... 阅读全帖 |
|
S********a
发帖数: 359 | 29 下面output最后三行correlation,怎么解释啊，time是fixed effect, id 是random effect, 那么最后的correlation是time 和intercept的correlation?
> #compound symmetry
> fit.gls.cs <- gls(y~time, data=willett, corr=corCompSymm(, form=~time | id
))
> summary(fit.gls.cs)
Generalized least squares fit by REML
Model: y ~ time
Data: willett
AIC BIC logLik
1308.340 1320.049 -650.1698
Correlation Structure: Compound symmetry
Formula: ~time | id
Parameter estimate(s):
Rho
0.7061649
Coefficients:
... 阅读全帖 |
|
y******6
发帖数: 47 | 30 I have a question about mixed models too. For example, Var1 is location(
cities), Var2 is treatment, Var3 is Time (season) Var4 is Year(2008,2009,
2010). I want to make comparsions to see whether 2008,2009 and 2010 have the
same mean or not within each treatment.
proc mixed data= method=type3;
where treatment='Treatment1';
class Location Time Year;
Model counts=time year time*year;
random location;
run;
Type3 tests of fix effects: year, p-value<0.05
While if I change the random from location to ... 阅读全帖 |
|
n**m
发帖数: 156 | 31 Variable contribution in explaining variation is not a model selection
criteria. You should look at AIC, R-square kind of stuff. just my 2 cents. |
|
a******n
发帖数: 11246 | 32 先看各种指标比如R-squared, adj. R-squared, mellow's Cp, AIC, BIC,...
反正公说公有理，婆说婆有理。
然后要考虑p的范围，比如有些model p是集中在0或者1附近的，
这种情况下可以看ROC curve，比较sensitivity神马的。
希望大牛们指正+补充。 |
|
T*******I
发帖数: 5138 | 33 这个overfitting的问题确实纠缠我。让我问你一个问题：对任何一个连续型随机变量的期望估计，例如，对一个服从正态分布的连续型随机变量计算其算术平均数，那么，这个均数是overfitting的吗？我可能是孤陋寡闻，以前从未听说过。如果你回答说“是的”，那么，我的分段回归分析的方法论就存在这个问题。如果你的回答是“否“，那么，我的方法论就不存在这个问题。等你回答我的这个问题后我再详细解释给你听。
老实说，我第一次听说overfitting是在2006年重新开始三分法的算法构建时才读到有关文献的。AIC被认为是控制overfitting的一个手段。通过非仔细地阅读我所从事的领域的文献，发现很多overfitting是由于最优化导致。但我的方法论与最优完全无关，我估计的是样本的期望临界点，即是用全部样本估计的一个充分的期望估计，没有任何样本信息的损失，正如我们用一个正态随机变量的全部观察值计算其算术均数一样。 |
|
T*******I
发帖数: 5138 | 34 老实说，我第一次听说overfitting是在2006年重新开始三分法的算法构建时才读到有
关文献的。AIC被认为是控制overfitting的一个手段。通过非仔细地阅读我所从事的领
域的文献，发现很多overfitting是由于最优化导致。但我的方法论与最优完全无关，
我估计的是样本的期望临界点，即是用全部样本估计的一个充分的期望估计，没有任何
样本信息的损失，正如我们用一个正态随机变量的全部观察值计算其算术均数一样。
当一个outlier出现在样本中时，用我的方法，它的权重会接近于0。如果你真正看懂了
我所设计的三分迭代搜索方法以及权重的定义的话，你就会明白这一点。
我觉得我是在遵循概率论的基本概念系统（虽然我不是透彻地理解它）建立自己的算法
，这就是力图为每个随机临界点在全样本空间里（即使用全部实测样本点对每个临界点
进行搜索，亦即，每个实测样本点对期望临界点的贡献全部考虑进来了，没有任何损失
）构建一个可测空间、定义权重及其可测性、计算加权期望估计未知临界点。遗憾的是
，在其他人的方法里找不到这样的分析逻辑和算法。他们根本不考虑临界点的可测空间。
感。
给你
至少 |
|
A*******s
发帖数: 3942 | 35 cv is normally used for choosing the best tuning parameter. or AIC and BIC/
SBC if sample size is sufficient.
的t |
|
s*********e
发帖数: 944 | 36 multiple linear regression,模型里有些变量的VIF很大，correlation between two
variables are high,证明severe muliticollinearity presents。
第1问，如果想remove其中一个变量，怎么知道remove哪个？
第2问，如果决定保留这两个变量，这两个变量的t-test都significant，那么该怎么解
释这两个beta-hat呢？
我对第1问的回答是，可以分别remove这2个变量，得到2个新的模型。比较两个模型，
比如prediction error via MSE, 看每个参数和整个模型是否make sense, 是否还有大
于10的VIF，R^2, AIC之类的， 从而决定选取哪个模型。
第2问,我能想到的就只是X1，X2 jointly influence response variable?
非常感谢！ |
|
e*****u
发帖数: 337 | 37 看acf和pacf,或者用aic之类的criterion |
|
d******g
发帖数: 130 | 38 看acf和pacf,或者grid search,run 一个 loop看aic.看看那本Time series analysis
with example in R (Stoffer的书） |
|
l*********s
发帖数: 5409 | 39 fit your model, whichever yields big R2/smaller AIC is the data set to go
with. |
|
|
|
a***g
发帖数: 2761 | 42 应该aic用的k-l divergence, bic用的不是
不过我这里有几点不太明白的地方
这里拟合的地方是指把A怎么处理？A是给定的，那么X和Y是不是实现给定的值
我看的感觉是它们不是预先给定，可能是通过mle得到的一组参数的值。当然这个也不
是最重要的。
现在我主要有一个疑惑，通过看你的帖子不太明白。当然我的疑问也不一定合理，一起
探讨一下吧。
我就按我的理解来说，在最开始拟合的时候我们是不是可以把形式写成这样：X=f(A,F)
这里F为一个分布，你把n(0,1)写在右边，我的感觉就是假设正态假定成立，然后开始用
mle估计参数。也就是先假定F=N(0,1)。那么到底F是不是正态，只能说靠过去的经验或
者是蒙的。这里就有了一个要考虑的地方，X和Y两个模型是不是不受F的影响，或者说
是否受F的影响很小。如果F对f有影响，X更贴合数据，Y更迎合正态假设，那么完全可能
出现你说的这个情况：即使在正态假定成立的情况下，拟合的时候X仍然有比较大的似然，
在考虑反过来的时候，由于F也不一定就是正态，所以Y可能通过反函数相对N(0,1)得到更
大的似然。关键就在你通过反函数再次来做衡量，这里逻... 阅读全帖 |
|
n*****n
发帖数: 3123 | 43 【 以下文字转载自 Biology 讨论区 】
发信人: vviiasa (vviiasa), 信区: Biology
标 题: Re: authorship遇到麻烦
发信站: BBS 未名空间站 (Thu Jul 28 16:27:32 2011, 美东)
所谓的高级算法，还不是呼悠搞生物的哥们。。。
其实都是最简单的，（当然对于搞生物的来说，很FANCY拉）
真正的高级算法，要留着学计算机的自己发BIOINFORMATICS
至于数据会马上发光，简直是一定的。
这个效果绝对比学统计的都厉害。。。
（虽然学统计的，搞同一组数据，能得出截然不同的结果，AIC，BIC随你选）
统计是伪科学，已经深入人心了。
下一步计算机(算法)就快变伪科学拉。。。 |
|
c*****a
发帖数: 808 | 44 digital strategies, site and email tactics, search engine marketing, and
more traditional mediums, including print
Key Responsibilities
•Develop and implement statistical analysis that increase the efficacy
of the company's online advertising campaigns
•Develop and implement cutting edge online advertising targeting
algorithms
•Design and implement analysis that incorporate custom survey results,
web behavior data, campaign performance metrics and information from public
databa... 阅读全帖 |
|
f*******l
发帖数: 828 | 45 我用 genmod fit一个数据，看起来response variable的分布可以是lognormal也可能
是gamma... 然后我用link=log dist=normal算出来的结果比link=log, dist=gamma的
AIC/BIC大，这样是不是一定就要用link=log dist=gamma了.
可是我觉得link=log dist=normal不是更能说明lognormal么（或者我理解错了？），
然后gamma的canonical link不是应该是 1/ ?
我特别希望能用link=log dist=normal算出来的结果，但是因为BIC大一些，所以不知
道怎么写report... 是不是有别的方法来看genmod下那种方法更好呢？ |
|
S********a
发帖数: 359 | 46 I appreciate your help a lot!!!
and |
|
A*******s
发帖数: 3942 | 47 来自主题: Statistics版 - 一个理论题 不懂...不过你要是用GLM的方法来搞得话，啥AIC，BIC应该是general的吧 |
|
c********d
发帖数: 253 | 48 来自主题: Statistics版 - 一个理论题 这个可以比较两个model的aic或bic，likelihood ratio不适用于这里。 |
|
z**********i
发帖数: 12276 | 49 来自主题: Statistics版 - 一个理论题 因为我的实际DATA是BOUNDED COUNT,所以,普遍的观点是BETA BINOMIAL要优于NEGATIVE
BINOMIAL.我在用NLMIXED做的过程中,发现BETA BINOMIAL非常难CONVERGE,最后,虽然,
GRADIENT还很大,但也勉强算是过了,因为2个MODEL的ESTIMATES已经非常接近了.我得到
了AIC和-2LL,可以用LIKELIHOOD RATIO来说BB好.
我想再理论一点,给出它们的LOG LIKELIHOOD FUNCTION,然后,阐述为什么BB好.这个对
我是真正的难点.
多谢大家的热情帮助!!
**************************************
Since you have very different assumption of the data, I am suspecting
if the usual statistical methods will be working here.
Can we try the goodness of fit respectively?
Test the hy... 阅读全帖 |
|
l*********s
发帖数: 5409 | 50 来自主题: Statistics版 - 一个理论题 My take is that, cross validation offers a universal and practical golden
standard for model selection, to the point that I don't care AIC,SBC or what
ever.
NEGATIVE
然, |
|
