q**j 发帖数: 10612 | 1 终于到了这一步了。请大家推荐一下各种regression variable selection tools。比如
正常regression里面哪个比较好?
另外在ridge, lasso,LAR下面哪个好。还有什么glmnet的?我全部尝试一边,可以汇报
实际效果。
另外问一下,如果用lasso来选择变量,但是用Ordinary least square 估计系数和cov
ariance matrix,这样做合理吗?我要estimate system of equations,不知道lasso这
样的有现成package给用么?普通regression有package systemfit干这个。多谢了。 |
A*******s 发帖数: 3942 | 2 exactly the question i wanna ask. How can we make inferences about the
estimates from regularized method?
The second one is also very interesting to me--how to use regularization for
system of equations?
waiting for big bulls...
比如
汇报
cov
lasso这
【在 q**j 的大作中提到】 : 终于到了这一步了。请大家推荐一下各种regression variable selection tools。比如 : 正常regression里面哪个比较好? : 另外在ridge, lasso,LAR下面哪个好。还有什么glmnet的?我全部尝试一边,可以汇报 : 实际效果。 : 另外问一下,如果用lasso来选择变量,但是用Ordinary least square 估计系数和cov : ariance matrix,这样做合理吗?我要estimate system of equations,不知道lasso这 : 样的有现成package给用么?普通regression有package systemfit干这个。多谢了。
|
d******e 发帖数: 7844 | 3 先回答第一个问题:
ridge根本不能做变量选择。
LARS只不过是Lasso的一个Greedy Solution的一种,已经过时了。
直接上glmnet就行了。
再回答第二个问题:
可以用Lasso来做变量选择,再用OLS来重新做estimation,这个就是现在流行的two-
stage model selection and estimation。
你说的system of equations是什么东东?是想找Ax=b的最小L1 norm解?这个就是
compressive sensing啊。直接把regularization设置的非常小,然后threshold一下得
到(n-1)个variable就行了。
比如
汇报
cov
lasso这
【在 q**j 的大作中提到】 : 终于到了这一步了。请大家推荐一下各种regression variable selection tools。比如 : 正常regression里面哪个比较好? : 另外在ridge, lasso,LAR下面哪个好。还有什么glmnet的?我全部尝试一边,可以汇报 : 实际效果。 : 另外问一下,如果用lasso来选择变量,但是用Ordinary least square 估计系数和cov : ariance matrix,这样做合理吗?我要estimate system of equations,不知道lasso这 : 样的有现成package给用么?普通regression有package systemfit干这个。多谢了。
|
d******e 发帖数: 7844 | 4 L1 Regularization的主要目标不是做Estimation的,所以不建议在Lasso上做
inference。
for
【在 A*******s 的大作中提到】 : exactly the question i wanna ask. How can we make inferences about the : estimates from regularized method? : The second one is also very interesting to me--how to use regularization for : system of equations? : waiting for big bulls... : : 比如 : 汇报 : cov : lasso这
|
A*******s 发帖数: 3942 | 5 good to know thanks!!
i think the system of equation lz mentioned is like
Y1=X1*beta1+e1
Y2=X2*beta2+e2
f(Y1, Y2)=0
g(e1, e2)=0
basically there are additional equations to connect two or more regression
models. That's my understanding.
【在 d******e 的大作中提到】 : 先回答第一个问题: : ridge根本不能做变量选择。 : LARS只不过是Lasso的一个Greedy Solution的一种,已经过时了。 : 直接上glmnet就行了。 : 再回答第二个问题: : 可以用Lasso来做变量选择,再用OLS来重新做estimation,这个就是现在流行的two- : stage model selection and estimation。 : 你说的system of equations是什么东东?是想找Ax=b的最小L1 norm解?这个就是 : compressive sensing啊。直接把regularization设置的非常小,然后threshold一下得 : 到(n-1)个variable就行了。
|
d******e 发帖数: 7844 | 6 这种没玩过,不过一样可以formulate成一个L1 regularization问题。但是可能要同时
考虑两个regression model之间的权重
【在 A*******s 的大作中提到】 : good to know thanks!! : i think the system of equation lz mentioned is like : Y1=X1*beta1+e1 : Y2=X2*beta2+e2 : f(Y1, Y2)=0 : g(e1, e2)=0 : basically there are additional equations to connect two or more regression : models. That's my understanding.
|
l******n 发帖数: 9344 | 7 用lagrange multiplier,变成OLS的问题了
【在 A*******s 的大作中提到】 : good to know thanks!! : i think the system of equation lz mentioned is like : Y1=X1*beta1+e1 : Y2=X2*beta2+e2 : f(Y1, Y2)=0 : g(e1, e2)=0 : basically there are additional equations to connect two or more regression : models. That's my understanding.
|
q**j 发帖数: 10612 | 8 right on, thanks.
【在 A*******s 的大作中提到】 : good to know thanks!! : i think the system of equation lz mentioned is like : Y1=X1*beta1+e1 : Y2=X2*beta2+e2 : f(Y1, Y2)=0 : g(e1, e2)=0 : basically there are additional equations to connect two or more regression : models. That's my understanding.
|
q**j 发帖数: 10612 | 9 great. thanks.
【在 d******e 的大作中提到】 : 先回答第一个问题: : ridge根本不能做变量选择。 : LARS只不过是Lasso的一个Greedy Solution的一种,已经过时了。 : 直接上glmnet就行了。 : 再回答第二个问题: : 可以用Lasso来做变量选择,再用OLS来重新做estimation,这个就是现在流行的two- : stage model selection and estimation。 : 你说的system of equations是什么东东?是想找Ax=b的最小L1 norm解?这个就是 : compressive sensing啊。直接把regularization设置的非常小,然后threshold一下得 : 到(n-1)个variable就行了。
|
l*********s 发帖数: 5409 | |
|
|
n*****n 发帖数: 3123 | 11 给个two-stage model selection and estimation的reference
【在 d******e 的大作中提到】 : 先回答第一个问题: : ridge根本不能做变量选择。 : LARS只不过是Lasso的一个Greedy Solution的一种,已经过时了。 : 直接上glmnet就行了。 : 再回答第二个问题: : 可以用Lasso来做变量选择,再用OLS来重新做estimation,这个就是现在流行的two- : stage model selection and estimation。 : 你说的system of equations是什么东东?是想找Ax=b的最小L1 norm解?这个就是 : compressive sensing啊。直接把regularization设置的非常小,然后threshold一下得 : 到(n-1)个variable就行了。
|
d******e 发帖数: 7844 | 12 http://arxiv.org/pdf/0704.1139
http://jmlr.csail.mit.edu/papers/volume11/zhang10a/zhang10a.pdf
第二个虽然是non-convex penalty,但本质上还是一个two-stage的prcedure
【在 n*****n 的大作中提到】 : 给个two-stage model selection and estimation的reference
|
n*****n 发帖数: 3123 | |
F****n 发帖数: 3271 | 14 I am not big bull, but I know the inference of penalized methods have to
rely on Bayesian-style thinking, i.e. you "know" the regularization you
use fit your prior knowledge.
for
【在 A*******s 的大作中提到】 : exactly the question i wanna ask. How can we make inferences about the : estimates from regularized method? : The second one is also very interesting to me--how to use regularization for : system of equations? : waiting for big bulls... : : 比如 : 汇报 : cov : lasso这
|
A*******s 发帖数: 3942 | 15 thanks. good to know
【在 F****n 的大作中提到】 : I am not big bull, but I know the inference of penalized methods have to : rely on Bayesian-style thinking, i.e. you "know" the regularization you : use fit your prior knowledge. : : for
|
d******e 发帖数: 7844 | 16 ... ...你好歹应该先知道Lasso和Ridge是什么吧?
【在 q**j 的大作中提到】 : great. thanks.
|
q**j 发帖数: 10612 | 17 不好意思。好像ridge的作用是给每个变量一点点系数,所以哪个也去除不了。自然不
能用来变量选择了。对比?我刚看的。
【在 d******e 的大作中提到】 : ... ...你好歹应该先知道Lasso和Ridge是什么吧?
|
q**j 发帖数: 10612 | 18 打听一下,glmnet default给前面加一行constant。但是我的X matrix里面已经有了这
个常数了,能否改变glmnet?还是我自己要改变了?
还有
set.seed(1010)
n=1000;p=100
nzc=trunc(p/10)
x=matrix(rnorm(n*p),n,p)
beta=rnorm(nzc)
fx= x[,seq(nzc)] %*% beta
eps=rnorm(n)*5
y=drop(fx+eps)
px=exp(fx)
px=px/(1+px)
ly=rbinom(n=length(px),prob=px,size=1)
set.seed(1011)
cvob1=cv.glmnet(x,y)
以后
coef(cvob1)的结果和
coef(cvob1,s=cvob1$lambda.min)不一样。
我想第二个应该是我们最后想要的东西,但是第一个是什么?
最后,cv.glmnet里面如何能够取出来那个balance L1和L2 penalty的常数呢?
... ...你好歹应该先知道Lasso和Ridge是什么吧?
【在 d******e 的大作中提到】 : ... ...你好歹应该先知道Lasso和Ridge是什么吧?
|