n******t
发帖数: 189 | 1 同样是进行预测，哪个好点？
据说若数据分类边界不是linear的话，SVM好，否则logistic regression好？
还有什么问题？
谢谢 |
d******e
发帖数: 7844 | 2 一般的logistic regression是不带penalty的，没法通过regularization来调节bias和
variance。所以我认为你是在说带ridge penalty的logistic regression。
如果是这两个比的花，两个方法的loss function非常像，性能上区别很小，不管是
linear的还是non-linear的，所以一般来说，你很难指望一个能明显beat另一个。
SVM能稍微robust一些，因为有sample上的sparsity。但是SVM并非对条件概率建模，所
以没法直接输出概率，也没办法做inference。Logistic Regression在这点上要强一些
，不过也只能做asymptotical inference.
【在 n******t 的大作中提到】
: 同样是进行预测，哪个好点？
: 据说若数据分类边界不是linear的话，SVM好，否则logistic regression好？
: 还有什么问题？
: 谢谢
|
n******t
发帖数: 189 | 3 那若只有一个logistic regression的model,确不知道它本身的任何信息，我是指这模
型基于什么数据，怎样的数据产生的，甚至用没用penalty也不清楚的话，SVM是不是也
许会可以beat这个呢。
【在 d******e 的大作中提到】
: 一般的logistic regression是不带penalty的，没法通过regularization来调节bias和
: variance。所以我认为你是在说带ridge penalty的logistic regression。
: 如果是这两个比的花，两个方法的loss function非常像，性能上区别很小，不管是
: linear的还是non-linear的，所以一般来说，你很难指望一个能明显beat另一个。
: SVM能稍微robust一些，因为有sample上的sparsity。但是SVM并非对条件概率建模，所
: 以没法直接输出概率，也没办法做inference。Logistic Regression在这点上要强一些
: ，不过也只能做asymptotical inference.
|
d******e
发帖数: 7844 | 4 这是可能的，你可以试试看。
【在 n******t 的大作中提到】
: 那若只有一个logistic regression的model,确不知道它本身的任何信息，我是指这模
: 型基于什么数据，怎样的数据产生的，甚至用没用penalty也不清楚的话，SVM是不是也
: 许会可以beat这个呢。
|
n******t
发帖数: 189 | 5 呵呵，用最近的数据带入这个logistc regression model后，不怎么准。。。
【在 d******e 的大作中提到】
: 这是可能的，你可以试试看。
|
d******e
发帖数: 7844 | 6 准不准要看相对表现，如果本身的Bayes Error就很大，即使你知道了population
density都没用。
【在 n******t 的大作中提到】
: 呵呵，用最近的数据带入这个logistc regression model后，不怎么准。。。
|
B****n
发帖数: 11290 | 7 為什麼分類裡面的conditional probability (i.e. P(Y=g|X) g=1,2,...,k) 都叫
posterior probability 而不直接說conditonal probability
【在 d******e 的大作中提到】
: 准不准要看相对表现，如果本身的Bayes Error就很大，即使你知道了population
: density都没用。
|
