由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - DL一个基础问题:
相关主题
DNN就是hype (转载)求教 xgboost train error 非常小,咋回事
kaggle上那批人太逆天了彻底抛弃xgboost 找新欢lightlgm没毛病吧?
神经网络研究的致命伤GAN是不是DL里面最活跃的领域?
R语言,小笔记本,如何调参?PDE 是个好方向
xiaoju 老师进来一下Tf里面怎么选optimizer?
svm/svr还是不错的总结一下kaggle比赛
Facebook的用CNN作翻译怎么性能超过RNN的bash中怎样进行变量名递归替换?
单变量xgboost模型好的吓人,求解请教图像识别的人工智能算法 (转载)
相关话题的讨论汇总
话题: dl话题: 选取话题: minibatch话题: 权重话题: adaboost
进入Programming版参与讨论
1 (共1页)
s********k
发帖数: 6180
1
为什么DL每次的minibatch随机选取就可以,而不用像adaboost那样如果训练错了的下
次特征选取加更高的权重?是为了避免overfit?
x****u
发帖数: 44466
2
数据多少不一样啊,如果你训练数据极少,权重就很有必要

【在 s********k 的大作中提到】
: 为什么DL每次的minibatch随机选取就可以,而不用像adaboost那样如果训练错了的下
: 次特征选取加更高的权重?是为了避免overfit?

s********k
发帖数: 6180
3
即使这样,如果有针对对minibatch再选取权重,会不会提高效率?还是会overfitting?

【在 x****u 的大作中提到】
: 数据多少不一样啊,如果你训练数据极少,权重就很有必要
w***g
发帖数: 5958
4
都会。可能性你都说了,剩下就是自己去试了。这种paper很多, deep learning的也有,
但是这种事情没法指望一般性的结论。

overfitting?

【在 s********k 的大作中提到】
: 即使这样,如果有针对对minibatch再选取权重,会不会提高效率?还是会overfitting?
s*****l
发帖数: 7106
5
同意
到现在为止 dl大部分经验都是试出来的
没啥理论基础
你也可以应该试一下

有,

【在 w***g 的大作中提到】
: 都会。可能性你都说了,剩下就是自己去试了。这种paper很多, deep learning的也有,
: 但是这种事情没法指望一般性的结论。
:
: overfitting?

h**********c
发帖数: 4120
6
banach space 好象就说这现象把

【在 s*****l 的大作中提到】
: 同意
: 到现在为止 dl大部分经验都是试出来的
: 没啥理论基础
: 你也可以应该试一下
:
: 有,

s********k
发帖数: 6180
7
大牛,你觉得比如adaboost那种迭代式选取feature的方法,在deep learning中适用吗
?比如我每次minibatch选了一部分上次训练错误的特征重新来训练,实际中我在一个
很小的dataset试了一下,感觉没啥差别,难道是DL抹平了这种原来学习机制的不足?

有,

【在 w***g 的大作中提到】
: 都会。可能性你都说了,剩下就是自己去试了。这种paper很多, deep learning的也有,
: 但是这种事情没法指望一般性的结论。
:
: overfitting?

w***g
发帖数: 5958
8
别纠结了。折腾形而上学没他大意义。你要真有心测试,也得搞十来个比较大的
dataset吧。而且还不能时nmist那种accuracy已经做到99%的。即使那样,还可能有各
种非数学上的原因让你测出来没多大差别,比如你的程序/参数有错。
我觉得你太钻牛角尖了。包括上次来问线性规划。机器学习水非常深,坑非常多。
如果你想把从线性规划到deep learning之间所有的坑都踩一遍,所有的问题都想明白。
那这辈子都不够用。你应该问的是我手上有这个dataset,已经试了这个这个方法能做到
什么样,接下来怎么做提高的可能性最大。

【在 s********k 的大作中提到】
: 大牛,你觉得比如adaboost那种迭代式选取feature的方法,在deep learning中适用吗
: ?比如我每次minibatch选了一部分上次训练错误的特征重新来训练,实际中我在一个
: 很小的dataset试了一下,感觉没啥差别,难道是DL抹平了这种原来学习机制的不足?
:
: 有,

s********k
发帖数: 6180
9
有道理,不做学术确实不用纠结太多,主要是以前用过经典很多ML做事,然后离开这个
一段时间,现在回来看DL免不了比较一下

白。
做到

【在 w***g 的大作中提到】
: 别纠结了。折腾形而上学没他大意义。你要真有心测试,也得搞十来个比较大的
: dataset吧。而且还不能时nmist那种accuracy已经做到99%的。即使那样,还可能有各
: 种非数学上的原因让你测出来没多大差别,比如你的程序/参数有错。
: 我觉得你太钻牛角尖了。包括上次来问线性规划。机器学习水非常深,坑非常多。
: 如果你想把从线性规划到deep learning之间所有的坑都踩一遍,所有的问题都想明白。
: 那这辈子都不够用。你应该问的是我手上有这个dataset,已经试了这个这个方法能做到
: 什么样,接下来怎么做提高的可能性最大。

g****t
发帖数: 31659
10
做学术的更不用纠结,算法或者解法不工作,添加不切实际的理论假设
即可。重点是搞好包装。月饼100种,99种是卖盒子的。
说不定现在的瞎猜,20年后就是传奇了。


: 有道理,不做学术确实不用纠结太多,主要是以前用过经典很多ML做事,然后离
开这个

: 一段时间,现在回来看DL免不了比较一下

: 白。

: 做到



【在 s********k 的大作中提到】
: 有道理,不做学术确实不用纠结太多,主要是以前用过经典很多ML做事,然后离开这个
: 一段时间,现在回来看DL免不了比较一下
:
: 白。
: 做到

1 (共1页)
进入Programming版参与讨论
相关主题
请教图像识别的人工智能算法 (转载)xiaoju 老师进来一下
simple question: adaboost vs Support Vector Machine, whichsvm/svr还是不错的
请问一个基本的minimization problem有没有近似解法? (转载)Facebook的用CNN作翻译怎么性能超过RNN的
这个问题有快速算法么?单变量xgboost模型好的吓人,求解
DNN就是hype (转载)求教 xgboost train error 非常小,咋回事
kaggle上那批人太逆天了彻底抛弃xgboost 找新欢lightlgm没毛病吧?
神经网络研究的致命伤GAN是不是DL里面最活跃的领域?
R语言,小笔记本,如何调参?PDE 是个好方向
相关话题的讨论汇总
话题: dl话题: 选取话题: minibatch话题: 权重话题: adaboost