由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Statistics版 - leave-one-out CV 到底有什么不好?
相关主题
multicollinearity和 predicion modelR有哪个比较好的做nonparametric regression的package?
请教一个bootstrap的问题(包子)请教backward, forward and stepwise在做variable selection时的区别
请教熟悉enterprise miner的一个问题做过regression的达人请进下,万分感谢
logistic, overfit了怎么办?再问一个SAS data select的问题
问一个technical question的回答方法如何找充分统计量?
报两个offer-updated-附面试心得 (转载)怎样计算logistic的leave one out 的error rate?
[Q]One method with missing value求助一个R的错误提示
请教个计算standard error的问题[合集] Variable selection with 2000 + variables.
相关话题的讨论汇总
话题: cv话题: out话题: leave话题: prediction话题: error
进入Statistics版参与讨论
1 (共1页)
e****z
发帖数: 119
1
上课总是听老师说leave-one-out CV 不好,容易overfit,或者under estimate
prediction error什么的,可是一直想不通为啥? 另外如果我不用CV做variable
selection,而是给定model了,只是用来leave-one-out CV评价prediction的好坏,或
者说评价数据的好坏,这样用leave-one-out CV 会under estimate prediction error
???想不通。有没有哪位好心人给讲讲?拜谢。
D******n
发帖数: 2836
2
because it just leaves one out....

error

【在 e****z 的大作中提到】
: 上课总是听老师说leave-one-out CV 不好,容易overfit,或者under estimate
: prediction error什么的,可是一直想不通为啥? 另外如果我不用CV做variable
: selection,而是给定model了,只是用来leave-one-out CV评价prediction的好坏,或
: 者说评价数据的好坏,这样用leave-one-out CV 会under estimate prediction error
: ???想不通。有没有哪位好心人给讲讲?拜谢。

e****z
发帖数: 119
3
谢谢回复。leave one out 不是很好么,这样更接近整个数据的performance?

【在 D******n 的大作中提到】
: because it just leaves one out....
:
: error

s*r
发帖数: 2757
4
but leave two out may be better.

【在 e****z 的大作中提到】
: 谢谢回复。leave one out 不是很好么,这样更接近整个数据的performance?
e****z
发帖数: 119
5
谢谢您的回复。可是能说说理由么?我实在是笨,想不通为啥?

【在 s*r 的大作中提到】
: but leave two out may be better.
s*r
发帖数: 2757
6
you do not have wb.
google it yourself
usually people do 10 folder / 5folder cv where they leave out 10% to 20%
and you also need figure out what you will do with the samples that you
leave out. people may score the model using what was left out

【在 e****z 的大作中提到】
: 谢谢您的回复。可是能说说理由么?我实在是笨,想不通为啥?
1 (共1页)
进入Statistics版参与讨论
相关主题
[合集] Variable selection with 2000 + variables.问一个technical question的回答方法
请问这个MODEL如何estimate (转载)报两个offer-updated-附面试心得 (转载)
请教proc sql[Q]One method with missing value
regression的时候提高自由度对模式有什么好处?请教个计算standard error的问题
multicollinearity和 predicion modelR有哪个比较好的做nonparametric regression的package?
请教一个bootstrap的问题(包子)请教backward, forward and stepwise在做variable selection时的区别
请教熟悉enterprise miner的一个问题做过regression的达人请进下,万分感谢
logistic, overfit了怎么办?再问一个SAS data select的问题
相关话题的讨论汇总
话题: cv话题: out话题: leave话题: prediction话题: error