n******t 发帖数: 189 | 1 同样是进行预测,哪个好点?
据说若数据分类边界不是linear的话,SVM好,否则logistic regression好?
还有什么问题?
谢谢 |
d******e 发帖数: 7844 | 2 一般的logistic regression是不带penalty的,没法通过regularization来调节bias和
variance。所以我认为你是在说带ridge penalty的logistic regression。
如果是这两个比的花,两个方法的loss function非常像,性能上区别很小,不管是
linear的还是non-linear的,所以一般来说,你很难指望一个能明显beat另一个。
SVM能稍微robust一些,因为有sample上的sparsity。但是SVM并非对条件概率建模,所
以没法直接输出概率,也没办法做inference。Logistic Regression在这点上要强一些
,不过也只能做asymptotical inference.
【在 n******t 的大作中提到】 : 同样是进行预测,哪个好点? : 据说若数据分类边界不是linear的话,SVM好,否则logistic regression好? : 还有什么问题? : 谢谢
|
n******t 发帖数: 189 | 3 那若只有一个logistic regression的model,确不知道它本身的任何信息,我是指这模
型基于什么数据,怎样的数据产生的,甚至用没用penalty也不清楚的话,SVM是不是也
许会可以beat这个呢。
【在 d******e 的大作中提到】 : 一般的logistic regression是不带penalty的,没法通过regularization来调节bias和 : variance。所以我认为你是在说带ridge penalty的logistic regression。 : 如果是这两个比的花,两个方法的loss function非常像,性能上区别很小,不管是 : linear的还是non-linear的,所以一般来说,你很难指望一个能明显beat另一个。 : SVM能稍微robust一些,因为有sample上的sparsity。但是SVM并非对条件概率建模,所 : 以没法直接输出概率,也没办法做inference。Logistic Regression在这点上要强一些 : ,不过也只能做asymptotical inference.
|
d******e 发帖数: 7844 | 4 这是可能的,你可以试试看。
【在 n******t 的大作中提到】 : 那若只有一个logistic regression的model,确不知道它本身的任何信息,我是指这模 : 型基于什么数据,怎样的数据产生的,甚至用没用penalty也不清楚的话,SVM是不是也 : 许会可以beat这个呢。
|
n******t 发帖数: 189 | 5 呵呵,用最近的数据带入这个logistc regression model后,不怎么准。。。
【在 d******e 的大作中提到】 : 这是可能的,你可以试试看。
|
d******e 发帖数: 7844 | 6 准不准要看相对表现,如果本身的Bayes Error就很大,即使你知道了population
density都没用。
【在 n******t 的大作中提到】 : 呵呵,用最近的数据带入这个logistc regression model后,不怎么准。。。
|
B****n 发帖数: 11290 | 7 為什麼分類裡面的conditional probability (i.e. P(Y=g|X) g=1,2,...,k) 都叫
posterior probability 而不直接說conditonal probability
【在 d******e 的大作中提到】 : 准不准要看相对表现,如果本身的Bayes Error就很大,即使你知道了population : density都没用。
|