l***a
发帖数: 12410 | 1 proc logistic的selection好像不支持lasso，可以把y和所有x放到glmselect里面？ |
d******e
发帖数: 7844 | 2 SAS真弱
【在 l***a 的大作中提到】
: proc logistic的selection好像不支持lasso，可以把y和所有x放到glmselect里面？
|
h**********e
发帖数: 44 | 3 1. 有R package
2. 非得用SAS的话，不行就自己写一个。反正有现成算法
【在 l***a 的大作中提到】
: proc logistic的selection好像不支持lasso，可以把y和所有x放到glmselect里面？
|
f*****k
发帖数: 110 | 4 怎么写？愿意开开眼界。
【在 h**********e 的大作中提到】
: 1. 有R package
: 2. 非得用SAS的话，不行就自己写一个。反正有现成算法
|
A*******s
发帖数: 3942 | 5 L2好办，光用data step都能搞定
L1不好搞，搞出来也是效率很低的
【在 h**********e 的大作中提到】
: 1. 有R package
: 2. 非得用SAS的话，不行就自己写一个。反正有现成算法
|
g********r
发帖数: 8017 | 6 好奇问一问：logistic regression里面，small step forward还是跟lasso等价的么？
如果是的话是不是不难写，就是慢。
【在 A*******s 的大作中提到】
: L2好办，光用data step都能搞定
: L1不好搞，搞出来也是效率很低的
|
l***a
发帖数: 12410 | 7 所以咋办？
是不是glmselect不适合除了binary response的model？
【在 d******e 的大作中提到】
: SAS真弱
|
l***a
发帖数: 12410 | 8 多谢
R package是glmnet？
SAS我现在没有iml，自己写可能不好办吧
【在 h**********e 的大作中提到】
: 1. 有R package
: 2. 非得用SAS的话，不行就自己写一个。反正有现成算法
|
A*******s
发帖数: 3942 | 9 what is small step forward? stagewise?
【在 g********r 的大作中提到】
: 好奇问一问：logistic regression里面，small step forward还是跟lasso等价的么？
: 如果是的话是不是不难写，就是慢。
|
l***a
发帖数: 12410 | 10 能不能展开说说
【在 A*******s 的大作中提到】
: L2好办，光用data step都能搞定
: L1不好搞，搞出来也是效率很低的
|
|
|
A*******s
发帖数: 3942 | 11 don't know optimization but my understanding is it is easier to optimize a
convex and differentiable target function.
【在 l***a 的大作中提到】
: 能不能展开说说
|
g********r
发帖数: 8017 | 12 是吧。忘了名字。就是那个每次beta增加一点点的。
【在 A*******s 的大作中提到】
: what is small step forward? stagewise?
|
p******k
发帖数: 23 | 13 我现在花了很多时间在搞一个关于logistic + LASSO (SCAD,MCP).程序最大的问题是
很多时候 会不收敛 (特别是对高维数据)， 要特别小心处理IRLS probability接近 0
和 1的情况。 对于intercept的处理也没有LS容易。 logistic要比LS复杂很多。
Friedman 和 Haste的 glmnet核心程序是用fortron写的， 里面用了很多goto挺难读得
，建议你直接看他们的文章. 如果R package能直接用的话，就直接用他们的吧. |
p******k
发帖数: 23 | 14 logistic loss不是quadratic, 也不是piecewise linear. 根据 prof. Ji Zhu的文章
，它的solution path不是piecewise linear的,应该是非线性的。 原则上讲和Least
Angel Regression 是不一样. 但是我们总是可以用local quadratic去逼近 logistic.
所以还是可以用small step forward很好逼进的
【在 g********r 的大作中提到】
: 好奇问一问：logistic regression里面，small step forward还是跟lasso等价的么？
: 如果是的话是不是不难写，就是慢。
|
d******e
发帖数: 7844 | 15 自己写个C的也花不了多长时间，即使是非凸的Penalty，无非也就是LQA或者LLA罢了，
Relax 4~7次就足够了
至于收不收敛，只要不是完全没有收敛的pattern，IRLS都还说得过去，而且精度太高
没用，循环个几千次就行了。
0
【在 p******k 的大作中提到】
: 我现在花了很多时间在搞一个关于logistic + LASSO (SCAD,MCP).程序最大的问题是
: 很多时候 会不收敛 (特别是对高维数据)， 要特别小心处理IRLS probability接近 0
: 和 1的情况。 对于intercept的处理也没有LS容易。 logistic要比LS复杂很多。
: Friedman 和 Haste的 glmnet核心程序是用fortron写的， 里面用了很多goto挺难读得
: ，建议你直接看他们的文章. 如果R package能直接用的话，就直接用他们的吧.
|
p******k
发帖数: 23 | 16 对于高维数据（p~n,或 p>n）LQA或LLA 基本上是很难做的， 里面的矩阵求逆很容易就
出现singular. 用lasso做变量选择基本都是高伟数据， 如果低维的话直接用BIC好了
。 高维IRLS还是会出很多问题的。
【在 d******e 的大作中提到】
: 自己写个C的也花不了多长时间，即使是非凸的Penalty，无非也就是LQA或者LLA罢了，
: Relax 4~7次就足够了
: 至于收不收敛，只要不是完全没有收敛的pattern，IRLS都还说得过去，而且精度太高
: 没用，循环个几千次就行了。
:
: 0
|
d******e
发帖数: 7844 | 17 你确定你读懂计算了么? SCAD和MCP都只是对Penalty做LQA或者LLA,这两种penalty都是
decomposable的,根本不涉及到矩阵求逆.
SCAD和MCP的code,我都写过,无非就是多了一个Convex Relaxation的loop而已,如果是
做Onestep的SCAD,连loop都不需要写.
【在 p******k 的大作中提到】
: 对于高维数据（p~n,或 p>n）LQA或LLA 基本上是很难做的， 里面的矩阵求逆很容易就
: 出现singular. 用lasso做变量选择基本都是高伟数据， 如果低维的话直接用BIC好了
: 。 高维IRLS还是会出很多问题的。
|
