A*******s
发帖数: 3942 | 1 dont think so... even though SAS/IML and SAS/OR have quadratic programming
functions/procedures, implementing SVM is not trivial anyway in SAS. |
|
d******e
发帖数: 7844 | 2 SVM那玩艺也没什么好的,本质和logistic regression差不多. |
|
d*******o
发帖数: 493 | 3 SAS在非线性classifier的基础一直不好。没办法的事，他们花多少钱也请不来
Friedrich Leisch写SVM，Andy Liaw写random forest。 |
|
d******e
发帖数: 7844 | 4 ??
Friedrich Leisch
这个人写的SVM Package很出名？ |
|
d******e
发帖数: 7844 | 5 拜托... ..
e1071不过是调用libsvm而已... ...
目前学术圈里用得最多的SVM Package来自台湾，libsvm和liblinear |
|
o****o
发帖数: 8077 | 6 难不成让公司再买个SAS/OR？就为了个SVM？ |
|
A**P
发帖数: 260 | 7 其实SVM这个东西做出来的model还真不是特别出色。也不知道为啥这么多的粉丝。 |
|
w*****5
发帖数: 515 | 8 自己python编一个出来, 不用钱的.你说的这两个算法都不难实现..ANN到处有源代码.
SVM也有很多人弄过.. |
|
A*******s
发帖数: 3942 | 9 对了，我想问一个问题--一拨人说SVM是best classifier ever，另一拨人说boosting
tree是best off the shelf classifier... 这俩得对比有定论么？ |
|
d*******o
发帖数: 493 | 10 同感啊。
俺没什么鸟事的时候也试过SVM code port到SAS/IML里面，写的个郁闷啊。后来想，
tmd R里面
都有现成的，难道我这傻B写的比那些大牛强，后来就不干这事了。 |
|
z******n
发帖数: 397 | 11 这得多无知才能说出这句话啊，你能介绍一下SVM和LR各自的本质么？ |
|
z******n
发帖数: 397 | 12 ...logistic 唯一的好处就是1.简单 2.模型可理解。好吧，应该算唯二
如果纯粹追求模型性能的话，虽然不能说SVM一定好很多，但logistic基本没有胜算 |
|
d******e
发帖数: 7844 | 13 SVM只有解法部分涉及到优化，在统计里只占很小的比重。
理论的部分就是Empirical Process，可不仅仅是定义那么simple。 |
|
d******e
发帖数: 7844 | 14 一看就是没写过solver的主儿，随便给你个data，就能把你用R写得solver搞死。
SVM的凸优化算法和Learning Theory我都搞，solver我也写，对这个问题，应该比你了
解的多，呵呵。算法那点所谓的“数学”无非就是点线性代数，最多是个
Lagrangian dual，一般不超过十行八行。像Pegasos这种随机算法，两行搞定。算法的
难度都在实现上，推导公式涉及的问题难度还不及理论的一成。
经验 |
|
n******t
发帖数: 189 | 15 同样是进行预测，哪个好点？
据说若数据分类边界不是linear的话，SVM好，否则logistic regression好？
还有什么问题？
谢谢 |
|
n******t
发帖数: 189 | 16 那若只有一个logistic regression的model,确不知道它本身的任何信息，我是指这模
型基于什么数据，怎样的数据产生的，甚至用没用penalty也不清楚的话，SVM是不是也
许会可以beat这个呢。 |
|
f*********y
发帖数: 376 | 17 有train set和test set
1。用train set， 利用tune函数去优化 hyper－parameter，10－fold cross
validation，最后给出了保证error最小的parameters。
但是发现这些parameter对test set效果不好，我自己随便试个别的，都更好，假设
kernel都一样。
2。若是有些变量，对所有observation都一样的值，svm会给出warning，说这个变量不
能scale，这会不会影响model。怎么处理？删了这个变量？因为它其实对所有都一样的
值？
3。若是数据量非常大，用R很不给力。 比如我用的数据有15万个observation，每个
observation有200个变量。怎么办？run 很久需要。。。 |
|
M*******g
发帖数: 41 | 18 建议你用Jordan 他们的办法。
http://www.cs.berkeley.edu/~jordan/fasp.html
先用kmeans()聚类压缩数据，比如得到1000个类簇；
然后在前一步kmeans()得到的1000个类簇中心上运行SVM；
最后属于同一个类簇的所有点得到相同的label，也就是各
个类簇中心的label。
我前一段时间有一个很大的数据，50多万个点，20个特征，
需要运行谱聚类(spectral clustering)，结果他们的算法
五分多钟就算完了。虽然他们的算法是聚类问题，
你是分类问题但是原理应该差不多。 |
|
f*********y
发帖数: 376 | 19 do you know any other SVM package with faster speed?
the size of problem may make any package run as slow as possible |
|
r*****o
发帖数: 140 | 20 SVM我不熟。
但是我用randomForest做过GWAS。一般而言，如果predictor间有相关，importance
score可能会biased。所以我们一般先按照SNP间的LD去掉一部分marker。同时，盲目地
将一大堆噪音SNP加入RF，效果也不一定好，所以我们往往先优选一部分，这样下来，
做RF的SNP只有1万左右。用R还是可以做得。
如果你真的有几万个，建议你用randomJungle，速度快一点。 |
|
q***m
发帖数: 9 | 21 Maximum likelihood, SVM, Decision tree(包括Random forest), Neural network,
还有目前火热的Deep Learning, 反正都是从machine learning那边拿过来用的 |
|
o****o
发帖数: 8077 | 22 drburnie说的可以看这篇论文，讲得比较详细：
Zhang et al, “Modi ed Logistic Regression: An Approximation to SVM and Its
Applications in Large-Scale Text Categorization”， ICML-2003
的。 |
|
w********m
发帖数: 1137 | 23 大牛，能讲讲SVM for regression与一般regression的优缺点吗?
1525 |
|
f****5
发帖数: 46 | 24 the difference between Logistic Regression and Linear Kernel SVMs, PCA vs.
Matrix Factorization, regularization, or gradient descent.
thanks |
|
K**********r
发帖数: 2640 | 25 宋鸿兵说，银子要涨，要翻番地涨。
SVM crosses over MA50 today... |
|
K**********r
发帖数: 2640 | 26 宋鸿兵说，银子要涨，要翻番地涨。
SVM crosses over MA50 today... |
|
w***g
发帖数: 5958 | 27 我不知道vapnik当初搞SVM是怎么搞出来的。但是我上学时教授教的顺序是先PAC，然后
VC dimension，然后再SVM，所有这些都在PAC的框架上做的。我不是说Vapnik不牛，他
从贡献上来说早就够诺贝尔奖了。但是这个Valiant即使不如Vapnik，差的也不大。
(看了 BudFox的回帖再补充一下，PAC和SVM可能没关系。话说我上的那门课是Robert
Schapire教的，所以SVM就被PAC给统一了。)
再说statistical learning theory。这东西现在这么火主要就是出了个SVM。别的理论
也不是没有，只是因为没有像SVM这么好用的，所以就都被比下去了。这么多learning方
法，SVM胜出了，30%是理论好，30%是时代背景，还有30%是运气。十年前neural
network多火？现在还有多少人用？
再说时代背景。很难说50年后是什么状态，但我比较倾向认为10年后SVM就会让位于K-N
N。什么算法最流行，很大程度上决定于当时的计算机性能和数据规模的。一旦SVM退出
了历史舞台，statistical learning theory也就... 阅读全帖 |
|
w***g
发帖数: 5958 | 28 in terms of practical problem solving, I would say SVM is better.
In theory, the idea behind boosting, i.e. weak learner vs strong
learner, is a fundamental advancement in machine learning theory,
probably of philosophical importance. SVM itself is more technical,
but the theory that remotely backs SVM, i.e. VC theory, is even
more fundamental and more important than boosting. However,
the trivial version of SVM, i.e. linear SVM, has gained so much
attention lately that people view SVM more of... 阅读全帖 |
|
w***n
发帖数: 150 | 29 From: International Journal of Hydrology Science and Technology
Title: Comparison between support vector machine and nonlinear regression
for predicting saturated hydraulic conductivity
Required by Mar 19, 2018.
Abstract
Saturated hydraulic conductivity (Ks) is playing an important role in
irrigation, and drainage. The aim of the study was to validate Pedotransfer
Functions (PTFs) using non-linear regression (NLR) and support vector
machine (SVM) for estimation Ks. Moreover, selecting the best p... 阅读全帖 |
|
i******t
发帖数: 370 | 30
AdaBoost,一下把Vision搅活了。10年前还在玩SVM的纯学术，现在SVM还有谁饭。
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~not true...
SVM is god damned hot right now, e.g. structure SVM, latent SVM,
transductive SVM. Adaboost is good. But the situation is really 30 yrs he
dong, 30 yrs he xi. |
|
c********1
发帖数: 60 | 31 刚刚转入data science不到两个月，所知甚少，如果有大牛觉得我的问题太过白痴，请
见谅！
这几天在做一个project，有了两个发现，也算是问题，在此分享，希望版上各位同仁
大牛能够解答。
（1）用Radial SVM做classification,一开始忘了normalization（数据的scale差异极
大，有的在0-1波动，有的超过1000，的确有这个必要），赶紧perform normalization
后发现accuracy,sensitivity, kappa这些metric基本没有significant improvement (
平均就增加了0.05左右)。不知道这是为何？
（2）Andrew Ng在他的cousera lecture vedio里说如果number of training samples
is intermediate compared to the number of features （他说的范围是指前者10-10
,000，后者1-1000），radial SVM要比linear SVM好。我的data set有99个obs, 20个
... 阅读全帖 |
|
w**2
发帖数: 147 | 32 （2）Andrew Ng在他的cousera lecture vedio里说如果number of training samples
is intermediate compared to the number of features （他说的范围是指前者10-10
,000，后者1-1000），radial SVM要比linear SVM好。我的data set有99个obs, 20个
features,应该属于radial SVM表现较优的那个范围。但是，10-fold cross
validation的结果却显示linear SVM的各个accuracy metrics都要优于radial SVM.
Your dataset is actually very small. I wouldn't consider SVM, maybe Naive
Bayes, LASSO and Ridge. Logistic needs at least 50 data points per feature (
not appropriate here).
The reason is your ... 阅读全帖 |
|
m***r
发帖数: 359 | 33 机器学习日报 2015-02-04
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅：给 [email protected]
/* */ 发封空信， 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-02-04/short.html
1) 【邓力等用深度学习处理语音、文本和图像讲座】 by @算文解字
关键词：深度学习, 视觉, 语音, 资源, 自然语言处理, Richard Socher, Ronan
Collobert, 邓力, 幻灯片, 贾扬清
Bay Area Multimedia Forum: 邓力，贾扬清，Ronan Collobert, Richard Socher 讲
用深度学习处理语音、文本和图像。有slides有视频 [1]
[1] http://www.bammf.org/
2) 【机器学习入门书单】 by @hankcs
关键词：自然语言处理
【机器学习入门书单】 继NLP之后，我又开了ML这个大坑。这是因为NLP涉及到太多的
ML模型，仅仅拿过来用的话，我... 阅读全帖 |
|
d******e
发帖数: 7844 | 34 L1SVM的文章有很多。
http://www.stat.umn.edu/~xshen/paper/icmla.pdf
第3页的图应该能让你对L1 norm SVM和L2 norm SVM的区别有所了解。
L1 norm SVM是没有直接的kernel版本的，因为L1 norm的penalty是没办法在RKHS里甚
至都不容易解释，更不能简单实现的。
SVM在Large Sample Size上性能一样好啊，只不过他在Small Sample Size上的优势更
明显。如果sample size足够大KNN也一样很好，不过这种比较也没什么意义。
你如果真想了解SVM，随便找本Machine Learning的书，比如PRML或者ESL。比在BBS上
问有效多了 |
|
s****i
发帖数: 197 | 35 小弟目前是一二流大学在读stat phd 刚刚成为phd candidate不久, 老板是做
classification
方向的, 最近正在拉合作 搞到一套数据 让我用classification (主要是random
forest, SVM
boosting这些啦)去套 希望看到的是用classification方法做出来的预测比用
multinomial
logistic regression做出来的准确 但是小弟用R的package改parameter无论如何也做
不出这效
果啊 即使用binomial的都是logistic比class的强 multi的logistic就更准了 每次见
老板都被
一顿臭骂 唉~ 请问各位大大该怎样改 用何种方法或者model才能提高classification
方法的准确
率啊 再次先谢谢众位大大了!!
==============更新==================
先谢谢 楼下几位大大的回答 这个问题是说的有点模糊 这套数据的response是一个
ordinal variable (0 1 2 3 4 5 五级 越大越显著 0表示没有... 阅读全帖 |
|
l********o
发帖数: 5629 | 36 这个语言缺乏逻辑，词汇太少，无法描述复杂的系统和逻辑。
比如我找了一下中文描述svm，居然是这样的，“软的硬的，松弛，核”， 跟黄色小说
一样，而且根本不知道在说什么：
“SVM的原理是什么？
SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面
的线性分类器。（间隔最大是它有别于感知机）
（1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分
支持向量机；
（2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性
分类器，即线性支持向量机；
（3）当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向
量机。
注：以上各SVM的数学推导应该熟悉：硬间隔最大化（几何间隔）---学习的对偶问题--
-软间隔最大化（引入松弛变量）---非线性支持向量机（核技巧）。”
中文还是用来娱乐和扯淡比较好，还有就是适合共产党进行愚民统治，国内的骗子们也
喜欢用中文进行欺骗。 |
|
d*k
发帖数: 207 | 37 这个不同公司的风格和要求差别太大了。
从你的理解看，还是把machine learning想的太简单了。
选feature是一个需要持续迭代的过程 ，解决一个问题，我的经验是domain knowledge
和feature engineering占到70%以上的工作量。
SVM是一个很强大的分类器，但如果是linear kernel，训练成本并不比logistic
regression高。不用SVM的原因是过于复杂，至少对我来说，弄清所有数学细节太难了
。SVM和神经网络都是如此，work了没问题，不work的话不好调。
“连”SVM都没用？这么说是不合适的，因为logistic regression也是很强大的分类器
，虽然理论简单。用SGD，线性的模型训练成本差别不大。
现在一个崛起的潮流是用简单的线性模型并发训练超大数据集，例如google的word2vec
。复杂模型处理不了这么大的数据量，所以效果秒杀任何复杂算法。我认为搞model是
没多大前途的，因为那么多前人不比你傻多少，都是很常见的问题，能搞出来的早就有
人做了。现在从数学上能做的只可能是边际提升。
另外，如何选择合... 阅读全帖 |
|
h********3
发帖数: 2075 | 38 工业应用很小，基本上都是被吹嘘出来的。
现实当中绝大多数分类问题，logistic regression和SVM比deep learning效果更好速
度更快。deep learning只有在超高维的数据，比如图像，声音，和具有海量训练数据
的情况下，才有极微弱的优势战胜logistic regression和SVM。工业应用当中，
feature engineering是最能决定精度的，而不是分类算法。如何做feature是主要问题
，而不是选择什么分类算法。
现实当中很多重要的问题，例如医学生物，训练出一个分类器，只是得到一个基于临床
数据的猜想。专业人员还要对学习出来的coefficient和feature进行专门的隔离和病理
分析验证，最后才能得到可靠的结论。deep learning中间太多层了，所以logistic
regression和SVM更方便一些。
此外，在deep learning吹大之前就有很多基于监督的高维数据的降维和feature
reconstruction的算法。用这些算法先对超高维度的feature进行一个预处理，然后再
用logistic regre... 阅读全帖 |
|
l********o
发帖数: 5629 | 39 【 以下文字转载自 Military 讨论区 】
发信人: liyuanchao (李源潮), 信区: Military
标 题: 中文不适用用于工作交流
发信站: BBS 未名空间站 (Tue Jan 23 16:31:11 2018, 美东)
这个语言缺乏逻辑，词汇太少，无法描述复杂的系统和逻辑。
比如我找了一下中文描述svm，居然是这样的，“软的硬的，松弛，核”， 跟黄色小说
一样，而且根本不知道在说什么：
“SVM的原理是什么？
SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面
的线性分类器。（间隔最大是它有别于感知机）
（1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分
支持向量机；
（2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性
分类器，即线性支持向量机；
（3）当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向
量机。
注：以上各SVM的数学推导应该熟悉：硬间隔最大化（几何间隔）---学习的对偶问题--
-软间隔最大化（引入松弛变量）---非线性支持向量机（核技巧）... 阅读全帖 |
|
P****Y
发帖数: 614 | 40 中国人的不守信用作假最后还是被中国人玩，不管做空也好受害也好绝对不是空穴来风，
网上搜到 SVM 的老总，锋锐的信息，据说也不是什么好东西，刚开始第一桶金就是欺
诈来的。
http://blog.51.ca/u-178907/?p=738
找矿佬
冯锐绝对不是个好东西。 当年艾芬豪的RMF委托他到中国找矿，这冯总拿着艾芬豪的钱
，到了中国马上注册两个公司-一个RMF的，另外一个他自己的。 当然，找到的项目也
分的清清楚楚-好的是自己的，差的是RMF的。 RMF这样把中国国企玩的团团转的人精，
竟然被这冯老板screwed了。 没办法， 后来的金山公司还得从冯锐这买，这是老冯的
第一桶金。 知道了吗？ 不过， RMF前年把金山卖给中金国际了，也算老了一把。 最
傻的是谁啊？
谢谢留言，喜欢你的名字，从某种角度说，我也是个找矿佬，我在股市里找，嘿嘿
冯锐的人，我了解并不多，谢谢你提供的信息，但就事论事，我觉得冯锐在这场战斗中
做得真的不错，如果能为自己的公司和事业誓死一战的人，值得人们尊敬，至于他的公
司是否有问题，我没法断定，他人品怎么样，我也不敢说，所以我们还是留给时间，让
证监会去调... 阅读全帖 |
|
w***g
发帖数: 5958 | 41 adaboost和svm貌似在本质上是等价的吧，而且不少情况下svm算起来还快一点。
我外行人一个，大家拍好了。
AdaBoost,一下把Vision搅活了。10年前还在玩SVM的纯学术，现在SVM还有谁饭。
。抛开应用钱途，就是纯学术也满high。当然通讯现在有点沉了，一是入行的人多了，
二是新鲜感减了，没有新东西翻。就象生物，热的时候一堆顺势爬进去，回落时都凉到
岸上了。
可以饭可铁了，现在要集齐三大会议，再来几篇PAMI/IJCV，甚而SIGGRAPH/ACM Trans/
KDD也要沾点，容易么。 |
|
X******2
发帖数: 5859 | 42 1) 你这个weighted error是不是算错了？一般是往1/2逼近
2) 两者差不多，Breiman做过相关实验。
4) 相对于SVM或是Random Forests, boosting受noise影响
比较大。你说的这种情况应该算label noise。我最近在arXiv
看到一篇文章讨论label noise的模型以及它对分类问题精
度的影响，链接在下面
http://arxiv.org/abs/1101.3594
你可以去看一下。
5) 选SVM做weak learner意义不大，由于SVM本身已经比较
强了而且由于svm比较复杂，boosting之后精度说不定还会
降低。 |
|
|
G***G
发帖数: 16778 | 44 I don't understand how to order the label in ROCR package in order to
get the correct result. I am wondering whether you can help me.
library(ROCR)
data(ROCR.simple)
pred <- prediction(ROCR.simple$predictions,ROCR.simple$labels)
svm.auc <- performance(pred, 'tpr', 'fpr')
plot(svm.auc)
#####label
ROCR.simple$labels[ROCR.simple$labels=="0"]="tumor"
ROCR.simple$labels[ROCR.simple$labels==1]="normal"
pred <- prediction(ROCR.simple$predictions,ROCR.simple$labels)
svm.auc <- performance(pred, 'tpr', ... 阅读全帖 |
|
o*****e
发帖数: 435 | 45 My understanding is that you classifers obtained by SVM (or whatever ML
methods) differ if they are trained on different data sets or different SVM
parameters.
Therefore, you can combine GA and SVM (or whatever ML methods) in 2 ways:
1. Fix the data set, use each classifier trained by some parameters as an
instance of GA. Then find the optimal SVM classifer in the sense of the best
paramters on the data set. People often use GA to find better paramters of a
NN classifer. It is not new.
2. Fix th |
|
G***G
发帖数: 16778 | 46 I don't understand how to order the label in ROCR package in order to
get the correct result. I am wondering whether you can help me.
library(ROCR)
data(ROCR.simple)
pred <- prediction(ROCR.simple$predictions,ROCR.simple$labels)
svm.auc <- performance(pred, 'tpr', 'fpr')
plot(svm.auc)
#####label
ROCR.simple$labels[ROCR.simple$labels=="0"]="tumor"
ROCR.simple$labels[ROCR.simple$labels==1]="normal"
pred <- prediction(ROCR.simple$predictions,ROCR.simple$labels)
svm.auc <- performance(pred, 'tpr', ... 阅读全帖 |
|
|
z*****3
发帖数: 1793 | 48 本人CS PHD，专攻方向reinforcement learning （RL），恰好AlphaGo用到很多用到很
多RL。看不下去一群文科生+下室索南YY，乱猜测。
第一个问题，AlphaGO涉及到机器学习中的supervised learning（SL）和RL。这是机器
学习下的两个分支。deep learning是目前兴起的另外一个分支。Deep Mind正是运用
deep learning的deep neural network作为基础架构来解决 prediction （涉及SL）和
action selection 问题（涉及RL）。
第二个问题，AlphaGO 基础构造
1）利用SL学习了一个policy network。这里解释一下policy，policy是RL，control
thoery中的一个重要概念，简单来讲就是当遇到各种环境反馈时，应该如何选择下一步
的action。这里主要是利用SL学习一个policy neural network。
2）利用RL中的policy gradient算法，优化上面学到的policy network
3）利用deep neura... 阅读全帖 |
|
N*******e
发帖数: 580 | 49 麻痹的，工具论老早就被翻译成中文了
[在 liyuanchao (李源潮) 的大作中提到：]
:这个语言缺乏逻辑，词汇太少，无法描述复杂的系统和逻辑。
:比如我找了一下中文描述svm，居然是这样的，“软的硬的，松弛，核”， 跟黄色小
说一样，而且根本不知道在说什么：
:“SVM的原理是什么？
:SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面
:的线性分类器。（间隔最大是它有别于感知机）
:（1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分
:支持向量机；
:（2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性
:分类器，即线性支持向量机；
:（3）当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向
:.......... |
|
q****m
发帖数: 153 | 50 【 以下文字转载自 Working 讨论区 】
发信人: qazplm (qazplm), 信区: Working
标 题: 工业界的机器学习
发信站: BBS 未名空间站 (Mon Apr 7 21:40:05 2014, 美东)
我10年就做机器学习了，还发了不少paper。最近这些年不知道怎么机器学习就火起来
了，现在似乎简历上不写个机器学习都不好意思投似的。我以前的感觉就是，机器学习
不就是把feature选好，送给svm就行了么？最近接触了公司的搞机器学习的，发现他连
svm都没有用，就是直接logist regression，仔细一想也是，如果追求速度和实现的话
，svm在工业界是不太好的。
我想问问版上工业界搞机器学习的，你们都用的什么方法？如果我想准备面试的话，需
要准备些什么知识？
谢谢了！ |
|
