s*w
发帖数: 729 | 1 实在没人可以讨论的,冒昧的问下各位大拿
1. 最基本的 discrete adaboost, 里面的 weak learner , 我用的是 decision stump
, 这个东西不用 sample 权重的, 就是算 error 的时候用 weighted count; 发现 过
几轮 这个 weighted error 有时候会变 0, 这时候是不是说本轮的 weak classifier
对于难 sample 表现太好了,应该 stop? 这个0 weighted error 再算 alpha (本轮 w
eak learner的权重),会出一个 +inf 的值, 到底要不要加进去最终的 weighted vote?
2. 我看说也可以用 resampling according to weights, 而不是 weighted error 来训
练 weak learner; 我试验了一下，发现 sampling 出来的training data 变化很大.
哪种更好？
3. 因为 decision stump 容易, 我自己编的; 看别人有说用 radial basis function
as weak learner 的，没找到具体的实现细节啊，能不能指点一下
4. 看有人说 adaboost 受 label noise 影响很大， 我不大理解这个 label noise。
比如我的数据的ground truth label 有时候就是很难确定，同一个sample我来手工 la
bel 两次可能都不一样，这个算不算 label noise?
5. 有人试过 adaboost 用 svm 作 weak learner 吗？ 我很奇怪 svm training 怎么
用到 sample weight 的, 难道也是 resampling according to sample weights?
问题很碎，多谢各位同修了 | X******2
发帖数: 5859 | 2 1) 你这个weighted error是不是算错了？一般是往1/2逼近
2) 两者差不多，Breiman做过相关实验。
4) 相对于SVM或是Random Forests, boosting受noise影响
比较大。你说的这种情况应该算label noise。我最近在arXiv
看到一篇文章讨论label noise的模型以及它对分类问题精
度的影响，链接在下面
http://arxiv.org/abs/1101.3594
你可以去看一下。
5) 选SVM做weak learner意义不大，由于SVM本身已经比较
强了而且由于svm比较复杂，boosting之后精度说不定还会
降低。 |
|
