s********k 发帖数: 6180 | 1 为什么DL每次的minibatch随机选取就可以,而不用像adaboost那样如果训练错了的下
次特征选取加更高的权重?是为了避免overfit? |
x****u 发帖数: 44466 | 2 数据多少不一样啊,如果你训练数据极少,权重就很有必要
【在 s********k 的大作中提到】 : 为什么DL每次的minibatch随机选取就可以,而不用像adaboost那样如果训练错了的下 : 次特征选取加更高的权重?是为了避免overfit?
|
s********k 发帖数: 6180 | 3 即使这样,如果有针对对minibatch再选取权重,会不会提高效率?还是会overfitting?
【在 x****u 的大作中提到】 : 数据多少不一样啊,如果你训练数据极少,权重就很有必要
|
w***g 发帖数: 5958 | 4 都会。可能性你都说了,剩下就是自己去试了。这种paper很多, deep learning的也有,
但是这种事情没法指望一般性的结论。
overfitting?
【在 s********k 的大作中提到】 : 即使这样,如果有针对对minibatch再选取权重,会不会提高效率?还是会overfitting?
|
s*****l 发帖数: 7106 | 5 同意
到现在为止 dl大部分经验都是试出来的
没啥理论基础
你也可以应该试一下
有,
【在 w***g 的大作中提到】 : 都会。可能性你都说了,剩下就是自己去试了。这种paper很多, deep learning的也有, : 但是这种事情没法指望一般性的结论。 : : overfitting?
|
h**********c 发帖数: 4120 | 6 banach space 好象就说这现象把
【在 s*****l 的大作中提到】 : 同意 : 到现在为止 dl大部分经验都是试出来的 : 没啥理论基础 : 你也可以应该试一下 : : 有,
|
s********k 发帖数: 6180 | 7 大牛,你觉得比如adaboost那种迭代式选取feature的方法,在deep learning中适用吗
?比如我每次minibatch选了一部分上次训练错误的特征重新来训练,实际中我在一个
很小的dataset试了一下,感觉没啥差别,难道是DL抹平了这种原来学习机制的不足?
有,
【在 w***g 的大作中提到】 : 都会。可能性你都说了,剩下就是自己去试了。这种paper很多, deep learning的也有, : 但是这种事情没法指望一般性的结论。 : : overfitting?
|
w***g 发帖数: 5958 | 8 别纠结了。折腾形而上学没他大意义。你要真有心测试,也得搞十来个比较大的
dataset吧。而且还不能时nmist那种accuracy已经做到99%的。即使那样,还可能有各
种非数学上的原因让你测出来没多大差别,比如你的程序/参数有错。
我觉得你太钻牛角尖了。包括上次来问线性规划。机器学习水非常深,坑非常多。
如果你想把从线性规划到deep learning之间所有的坑都踩一遍,所有的问题都想明白。
那这辈子都不够用。你应该问的是我手上有这个dataset,已经试了这个这个方法能做到
什么样,接下来怎么做提高的可能性最大。
【在 s********k 的大作中提到】 : 大牛,你觉得比如adaboost那种迭代式选取feature的方法,在deep learning中适用吗 : ?比如我每次minibatch选了一部分上次训练错误的特征重新来训练,实际中我在一个 : 很小的dataset试了一下,感觉没啥差别,难道是DL抹平了这种原来学习机制的不足? : : 有,
|
s********k 发帖数: 6180 | 9 有道理,不做学术确实不用纠结太多,主要是以前用过经典很多ML做事,然后离开这个
一段时间,现在回来看DL免不了比较一下
白。
做到
【在 w***g 的大作中提到】 : 别纠结了。折腾形而上学没他大意义。你要真有心测试,也得搞十来个比较大的 : dataset吧。而且还不能时nmist那种accuracy已经做到99%的。即使那样,还可能有各 : 种非数学上的原因让你测出来没多大差别,比如你的程序/参数有错。 : 我觉得你太钻牛角尖了。包括上次来问线性规划。机器学习水非常深,坑非常多。 : 如果你想把从线性规划到deep learning之间所有的坑都踩一遍,所有的问题都想明白。 : 那这辈子都不够用。你应该问的是我手上有这个dataset,已经试了这个这个方法能做到 : 什么样,接下来怎么做提高的可能性最大。
|
g****t 发帖数: 31659 | 10 做学术的更不用纠结,算法或者解法不工作,添加不切实际的理论假设
即可。重点是搞好包装。月饼100种,99种是卖盒子的。
说不定现在的瞎猜,20年后就是传奇了。
: 有道理,不做学术确实不用纠结太多,主要是以前用过经典很多ML做事,然后离
开这个
: 一段时间,现在回来看DL免不了比较一下
: 白。
: 做到
【在 s********k 的大作中提到】 : 有道理,不做学术确实不用纠结太多,主要是以前用过经典很多ML做事,然后离开这个 : 一段时间,现在回来看DL免不了比较一下 : : 白。 : 做到
|