n******g
发帖数: 2201 | 1 Mtree = 100
Mtry = 根号p
用不着grid search
[在 magliner (magliner) 的大作中提到：]
:民科一枚，想请教一下R语言里面你们是如何做parameter tuning的。 比如说随机森
林法，至少有两个参数，mtree, mtry。一个参数比如选5~10个数，mtree = 10, 50,
100, 500, 1000, 1500, etc
:另外一个参数mtry,再选5 ~10个数 mtry = 2, 5, 10, 15, 20, etc. 这个grid就有25
~ 100节点。
:如果fold = 5 (似乎不能再小了吧？)，如果想要遍历所有的grid, 所花的时间非常的
:大，我是民科，只有最简单的笔记本，平时上班用，只好晚上跑；冬天还好，可以开
着窗户跑，夏天听着风扇玩命转 真是心疼啊；公家东西也不能糟蹋，是不是。 更重要
的是，晚上要是跑不完， 早上起来就得强行关掉，否则上班没法用这个机器。 这样就
浪费了一晚上的工作量。
:第二个问题，随机森林还算好对付，民科我也知道森林大小怎么也不会超过5000, 变
量个数也是有限的。... 阅读全帖 |
|
m******r
发帖数: 1033 | 2 民科一枚，想请教一下R语言里面你们是如何做parameter tuning的。 比如说随机森林
法，至少有两个参数，mtree, mtry。一个参数比如选5~10个数，mtree = 10, 50, 100
, 500, 1000, 1500, etc
另外一个参数mtry,再选5 ~10个数 mtry = 2, 5, 10, 15, 20, etc. 这个grid就有25
~ 100节点。
如果fold = 5 (似乎不能再小了吧？)，如果想要遍历所有的grid, 所花的时间非常的
大，我是民科，只有最简单的笔记本，平时上班用，只好晚上跑；冬天还好，可以开着
窗户跑，夏天听着风扇玩命转 真是心疼啊；公家东西也不能糟蹋，是不是。 更重要的
是，晚上要是跑不完， 早上起来就得强行关掉，否则上班没法用这个机器。 这样就浪
费了一晚上的工作量。
第二个问题，随机森林还算好对付，民科我也知道森林大小怎么也不会超过5000, 变量
个数也是有限的。 可是其他方法矢量机啦， 收缩网啦，那些混合系数,惩罚系数从百
万分之一，到一百万都有可能；这种几乎没有上限的参数，你们怎么试验？ 对于混合
系数，也... 阅读全帖 |
|
