e****g
发帖数: 4434 | |
P*****t
发帖数: 4978 | |
s******g
发帖数: 3841 | |
e****g
发帖数: 4434 | 4 我一看是火鸡国的, 都没有要个copy.
看来我应该去看看
【在 P*****t 的大作中提到】
: 我用的是Ethem Alpaydin那本。
|
z***t
发帖数: 2374 | |
s**********e
发帖数: 33562 | 6 Y. S. Abu-Mostafa, M. Magdon-Ismail and H. T. Lin 这本如何？好像挺薄的。 |
z***t
发帖数: 2374 | 7 这本不行,纯属浪费大家时间
还不如去看Vapnik那本Statistical Learning Theory
不是专门做ML的人还是看Hastie那本比较好,讲的详细 |
s**********e
发帖数: 33562 | 8 有没有专门讲高维情况下的machine learning？或者是machine learning里面的
security 问题？
为什么？缺点在哪里？
这本很理论啊。
【在 z***t 的大作中提到】
: 这本不行,纯属浪费大家时间
: 还不如去看Vapnik那本Statistical Learning Theory
: 不是专门做ML的人还是看Hastie那本比较好,讲的详细
|
e****g
发帖数: 4434 | 9 有没有讲
ultra-high dimensional 的了？
比如fmri 图像的，
【在 s**********e 的大作中提到】
: 有没有专门讲高维情况下的machine learning？或者是machine learning里面的
: security 问题？
:
: 为什么？缺点在哪里？
: 这本很理论啊。
|
z***t
发帖数: 2374 | 10 高维下做啥? 找biomarker?还是数据重建?
security里数据分析的问题不多啊,你先把想做问题搞清楚,我可以帮你搞个算法 |
|
|
s**********e
发帖数: 33562 | 11
whatever
我说的是数据分析里面的security问题。比方说分布式的数据分析，数据存在多个
agent里面，他们互相交换信息来分析数据（比方说做lasso分析），但是他们不希望让
别人全部了解自己的数据，尽管他们希望能够算出最后的结果（比方说lasso的系数）
，他们应该怎么做？又或许如何找出某个造假的agent。又比方说如何保证互相通信的
时候数据不泄露给外人。
security里面其实也很多数据分析的问题，比方说网络里面好多数据，如何发现
intrusion，或者lier。。。
【在 z***t 的大作中提到】
: 高维下做啥? 找biomarker?还是数据重建?
: security里数据分析的问题不多啊,你先把想做问题搞清楚,我可以帮你搞个算法
|
d*******9
发帖数: 248 | 12 理论上可以把secure multiparty computation的technique套到一般的learning算法上
吧，不过实际速度如何不清楚
【在 s**********e 的大作中提到】
:
: whatever
: 我说的是数据分析里面的security问题。比方说分布式的数据分析，数据存在多个
: agent里面，他们互相交换信息来分析数据（比方说做lasso分析），但是他们不希望让
: 别人全部了解自己的数据，尽管他们希望能够算出最后的结果（比方说lasso的系数）
: ，他们应该怎么做？又或许如何找出某个造假的agent。又比方说如何保证互相通信的
: 时候数据不泄露给外人。
: security里面其实也很多数据分析的问题，比方说网络里面好多数据，如何发现
: intrusion，或者lier。。。
|
s**********e
发帖数: 33562 | 13 也许需要根据learning的特点重新设计security protocol
【在 d*******9 的大作中提到】
: 理论上可以把secure multiparty computation的technique套到一般的learning算法上
: 吧，不过实际速度如何不清楚
|
w***g
发帖数: 5958 | 14 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章
讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书
其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系.
虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM,
Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方
法非贝叶斯的一些扩展, 感觉比较有失偏颇.
另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内
容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
【在 z***t 的大作中提到】
: no doubt
: Hastie's book
|
z***t
发帖数: 2374 | 15 这是Hastie聪明的地方，Vapnik已经写过书了
再写也超不过Vapnik，不如不写，否则浪费大家时间和买多余纸张的钱
写ML这种研究性教材，作者必须水平高，市面上其他教材的作者和Hastie他们差太多了
即使MJ出来写，也就这水平了
说其他作者自不量力，欺骗群众，也不过分，因为Hastie的第一版很早就出来了，而且
很不错，后来几本书还远不如最早Duda的pattern classification
系.
【在 w***g 的大作中提到】
: 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章
: 讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书
: 其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系.
: 虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM,
: Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方
: 法非贝叶斯的一些扩展, 感觉比较有失偏颇.
: 另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内
: 容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
|
s**********e
发帖数: 33562 | 16 受教了。。。
【在 z***t 的大作中提到】
: 这是Hastie聪明的地方，Vapnik已经写过书了
: 再写也超不过Vapnik，不如不写，否则浪费大家时间和买多余纸张的钱
: 写ML这种研究性教材，作者必须水平高，市面上其他教材的作者和Hastie他们差太多了
: 即使MJ出来写，也就这水平了
: 说其他作者自不量力，欺骗群众，也不过分，因为Hastie的第一版很早就出来了，而且
: 很不错，后来几本书还远不如最早Duda的pattern classification
:
: 系.
|
X******2
发帖数: 5859 | 17 我基本同意你的看法。
htf 那本书对方法描述还有应用上很不错，但缺在理论上。
他们不写理论也可以，但适当提供一些指针应该帮助很大。
但三个作者都不是搞理论的，估计他们不愿意这么做。
系.
【在 w***g 的大作中提到】
: 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章
: 讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书
: 其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系.
: 虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM,
: Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方
: 法非贝叶斯的一些扩展, 感觉比较有失偏颇.
: 另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内
: 容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
|
X******2
发帖数: 5859 | 18 也不用过分抬高htf，他们基本不做统计理论又没有机器学习
背景，真要写理论那一块也未必就能有多好。
【在 z***t 的大作中提到】
: 这是Hastie聪明的地方，Vapnik已经写过书了
: 再写也超不过Vapnik，不如不写，否则浪费大家时间和买多余纸张的钱
: 写ML这种研究性教材，作者必须水平高，市面上其他教材的作者和Hastie他们差太多了
: 即使MJ出来写，也就这水平了
: 说其他作者自不量力，欺骗群众，也不过分，因为Hastie的第一版很早就出来了，而且
: 很不错，后来几本书还远不如最早Duda的pattern classification
:
: 系.
|
s**********e
发帖数: 33562 | 19 他们不是写机器学习的书的吗？为什么没有机器学习的背景呢？
【在 X******2 的大作中提到】
: 也不用过分抬高htf，他们基本不做统计理论又没有机器学习
: 背景，真要写理论那一块也未必就能有多好。
|
e*****s
发帖数: 273 | 20 那你这个不是security而属于privacy吧。最近有一篇Fienberg和Jiashun Jin写的有关
lasso PP，您放狗搜下？
【在 s**********e 的大作中提到】
: 他们不是写机器学习的书的吗？为什么没有机器学习的背景呢？
|
|
|
e*****s
发帖数: 273 | 21 我用Tom Mitchell的，是不是很老很不专业？ |
X******2
发帖数: 5859 | 22 他们是从统计角度写的，而且重点在methodology
（在这一块统计特别是非参统计跟机器学习重和很大）。
htf告诉你怎么做，也会从直观上说明为什么那么做，
但没有严格的理论阐述。
但是cs背景的机器学习还有很重要的泛化理论（小样本
理论），与此对应统计里面还有一致性理论（大样本理
论）。没有这些理论支持，所谓的机器学习也是不完整
的。
【在 s**********e 的大作中提到】
: 他们不是写机器学习的书的吗？为什么没有机器学习的背景呢？
|
s**********e
发帖数: 33562 | 23 多谢多谢！狗已放出，今天晚上就学习一把。
好像这方面文章还不少。
【在 e*****s 的大作中提到】
: 那你这个不是security而属于privacy吧。最近有一篇Fienberg和Jiashun Jin写的有关
: lasso PP，您放狗搜下？
|
e*****s
发帖数: 273 | 24 PPDM前两年红得发紫，最近也也不弱，往BIG data上靠，合伙耍耍？
【在 s**********e 的大作中提到】
: 多谢多谢！狗已放出，今天晚上就学习一把。
: 好像这方面文章还不少。
|
s**********e
发帖数: 33562 | 25 PPDM是啥意思？漂漂大妈？
咱最近读这些东西，可不就是眼红big data。只怕等开始入门了，又不热了。哎，谁叫
俺的本行冷得跟冰一样呢。
【在 e*****s 的大作中提到】
: PPDM前两年红得发紫，最近也也不弱，往BIG data上靠，合伙耍耍？
|
e*****s
发帖数: 273 | 26 privacy preserving data mining
【在 s**********e 的大作中提到】
: PPDM是啥意思？漂漂大妈？
: 咱最近读这些东西，可不就是眼红big data。只怕等开始入门了，又不热了。哎，谁叫
: 俺的本行冷得跟冰一样呢。
|
s**********e
发帖数: 33562 | 27 收到。准备读一读。
【在 e*****s 的大作中提到】
: privacy preserving data mining
|
L***s
发帖数: 9258 | 28 军方一直问我说能不能做个hardware engine去分析网络数据流中的security和pravicy
问题。我现在的learning on chip engine可以把速度提高个几百倍，能耗效率降低几千
倍。不知道能不能用在这个上面。啥时候聊聊？
【在 s**********e 的大作中提到】
: 收到。准备读一读。
|
s**********e
发帖数: 33562 | 29 聊聊？有文章没有？
pravicy
几千
【在 L***s 的大作中提到】
: 军方一直问我说能不能做个hardware engine去分析网络数据流中的security和pravicy
: 问题。我现在的learning on chip engine可以把速度提高个几百倍，能耗效率降低几千
: 倍。不知道能不能用在这个上面。啥时候聊聊？
|
L***s
发帖数: 9258 | 30 我最近做了个neuromorphic/learning的hardware engine。
【在 s**********e 的大作中提到】
: 聊聊？有文章没有？
:
: pravicy
: 几千
|
|
|
z***t
发帖数: 2374 | 31 HTF这种写法是对
他们不是不懂learning theory,相反他们理解的相当出色
这书是拿来做课本用的,不是会议文集
如果说HTF不做ML理论，那做ML理论的人很少了
ML理论不只是去证明bound，而且大部分发在COLT,SODA上的bound都没用
只有很少一部分有实际指导意义
【在 X******2 的大作中提到】
: 他们是从统计角度写的，而且重点在methodology
: （在这一块统计特别是非参统计跟机器学习重和很大）。
: htf告诉你怎么做，也会从直观上说明为什么那么做，
: 但没有严格的理论阐述。
: 但是cs背景的机器学习还有很重要的泛化理论（小样本
: 理论），与此对应统计里面还有一致性理论（大样本理
: 论）。没有这些理论支持，所谓的机器学习也是不完整
: 的。
|
s**********e
发帖数: 33562 | 32 牛啊。有文章没？
【在 L***s 的大作中提到】
: 我最近做了个neuromorphic/learning的hardware engine。
|
X******2
发帖数: 5859 | 33 请问htf做什么ml理论？
那种写法是对还是错，见仁见智。
【在 z***t 的大作中提到】
: HTF这种写法是对
: 他们不是不懂learning theory,相反他们理解的相当出色
: 这书是拿来做课本用的,不是会议文集
: 如果说HTF不做ML理论，那做ML理论的人很少了
: ML理论不只是去证明bound，而且大部分发在COLT,SODA上的bound都没用
: 只有很少一部分有实际指导意义
|
L***s
发帖数: 9258 | 34 有一些，其实我的CAREER就是做这个的。
【在 s**********e 的大作中提到】
: 牛啊。有文章没？
|
z***t
发帖数: 2374 | 35 那个叫LASSO的理论系统还是比较有意思的
一般来说，除了算法，能给出solution path和convergence rate的研究都算是有理论
贡献了
不觉得哪个中国人在ML领域超过HTF，至少我是高山仰止
【在 X******2 的大作中提到】
: 请问htf做什么ml理论？
: 那种写法是对还是错，见仁见智。
|
s**********e
发帖数: 33562 | 36 LASSO好像很有用啊，而且跟compressive sensing关系非常大
【在 z***t 的大作中提到】
: 那个叫LASSO的理论系统还是比较有意思的
: 一般来说，除了算法，能给出solution path和convergence rate的研究都算是有理论
: 贡献了
: 不觉得哪个中国人在ML领域超过HTF，至少我是高山仰止
|
s**********e
发帖数: 33562 | 37 能否指两篇出来俺学习学习？
【在 L***s 的大作中提到】
: 有一些，其实我的CAREER就是做这个的。
|
X******2
发帖数: 5859 | 38 lasso的那些理论根本不是tibshirani搞的。
他自己都觉得不够格总结最近十几年有关lasso的
理论发展，而要buhlmann去写某个综述。而solution
path这玩艺最早由老efron在做lars时搞出来的，
然后才有所谓的“path frenzy"。
【在 z***t 的大作中提到】
: 那个叫LASSO的理论系统还是比较有意思的
: 一般来说，除了算法，能给出solution path和convergence rate的研究都算是有理论
: 贡献了
: 不觉得哪个中国人在ML领域超过HTF，至少我是高山仰止
|
z***t
发帖数: 2374 | 39 最早LASSO formal的讨论是T做的
正式提出，还有讨论和其他几个理论的connections,这个工作很重要
再早F在93年也有相关文章
LARS里，T,H也都是有很大contribution，否则Efron早就single author了
Donoho是比HTF强，其他人明显超过他们的不多 |
X******2
发帖数: 5859 | 40
哪几个理论？请指教。
这个老夫估计你记错了，你是想说breiman的garrot吧？
关于这个，你大概没听过相关的故事而有点想当然吧？
凭efron的成就和地位还会在乎single author？
事实是老efron当初看了一本书，觉得上面有个东西比
较有趣，然后兴冲冲告述th，结果被他俩狂打击，"Brad,
this is not new"。但是efron毕竟是efron,不服气，
闭关猛搞了一段时间，有了lars的最原始想法。他后
来邀请th入伙，由h动手写程序。最后当中有个证明搞
不定，于是又拉johnstone入伙。
【在 z***t 的大作中提到】
: 最早LASSO formal的讨论是T做的
: 正式提出，还有讨论和其他几个理论的connections,这个工作很重要
: 再早F在93年也有相关文章
: LARS里，T,H也都是有很大contribution，否则Efron早就single author了
: Donoho是比HTF强，其他人明显超过他们的不多
|
|
|
z***t
发帖数: 2374 | 41 You are wrong. Efron cares very much on single author.
【在 X******2 的大作中提到】
:
: 哪几个理论？请指教。
: 这个老夫估计你记错了，你是想说breiman的garrot吧？
: 关于这个，你大概没听过相关的故事而有点想当然吧？
: 凭efron的成就和地位还会在乎single author？
: 事实是老efron当初看了一本书，觉得上面有个东西比
: 较有趣，然后兴冲冲告述th，结果被他俩狂打击，"Brad,
: this is not new"。但是efron毕竟是efron,不服气，
: 闭关猛搞了一段时间，有了lars的最原始想法。他后
: 来邀请th入伙，由h动手写程序。最后当中有个证明搞
|
c******s
发帖数: 283 | 42 Mark
这个帖子信息量好大
对PPDM很感兴趣
★ 发自iPhone App: ChineseWeb 7.8
【在 e****g 的大作中提到】
: 给研究生用的话，
: 哪本textbook最好呀。
|
e****g
发帖数: 4434 | 43 谢谢，
我也算在mit挖了个有质量的坑,他引超过 40
相当于发了篇 science了
【在 c******s 的大作中提到】
: Mark
: 这个帖子信息量好大
: 对PPDM很感兴趣
:
: ★ 发自iPhone App: ChineseWeb 7.8
|
g********r
发帖数: 8017 | 44 不对呀。楼里好多都不是直接引用你原文的。不能算citation。
【在 e****g 的大作中提到】
: 谢谢，
: 我也算在mit挖了个有质量的坑,他引超过 40
: 相当于发了篇 science了
|
s*****r
发帖数: 1426 | 45 Bishop
Duda
Hastie
【在 e****g 的大作中提到】
: 给研究生用的话，
: 哪本textbook最好呀。
|
s*****r
发帖数: 1426 | 46 同意你的说法
LARS是新东西，lasso其实很早就提出了，只是没有系统论述
说实话LARS的推导很漂亮，比coordinate descent要强
convex下找最sparse的解，这种建模真的挺难想不到的，关键是难解
【在 X******2 的大作中提到】
: lasso的那些理论根本不是tibshirani搞的。
: 他自己都觉得不够格总结最近十几年有关lasso的
: 理论发展，而要buhlmann去写某个综述。而solution
: path这玩艺最早由老efron在做lars时搞出来的，
: 然后才有所谓的“path frenzy"。
|
s**********e
发帖数: 33562 | |
s****s
发帖数: 368 | 48 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢？ |
X******2
发帖数: 5859 | 49 统计里面有不少人做了点变量选择或是玩了几下SVM就
号称懂机器学习了。
【在 s****s 的大作中提到】
: 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢？
|
R*******t
发帖数: 574 | 50 您说说到底什么算机器学习吧？
【在 X******2 的大作中提到】
: 统计里面有不少人做了点变量选择或是玩了几下SVM就
: 号称懂机器学习了。
|
|
|
R*******t
发帖数: 574 | 51 您也来说说什么算统计吧？
【在 s****s 的大作中提到】
: 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢？
|
e****g
发帖数: 4434 | 52 给研究生用的话，
哪本textbook最好呀。 |
P*****t
发帖数: 4978 | |
s******g
发帖数: 3841 | |
e****g
发帖数: 4434 | 55 我一看是火鸡国的, 都没有要个copy.
看来我应该去看看
【在 P*****t 的大作中提到】
: 我用的是Ethem Alpaydin那本。
|
z***t
发帖数: 2374 | |
s**********e
发帖数: 33562 | 57 Y. S. Abu-Mostafa, M. Magdon-Ismail and H. T. Lin 这本如何？好像挺薄的。 |
z***t
发帖数: 2374 | 58 这本不行,纯属浪费大家时间
还不如去看Vapnik那本Statistical Learning Theory
不是专门做ML的人还是看Hastie那本比较好,讲的详细 |
s**********e
发帖数: 33562 | 59 有没有专门讲高维情况下的machine learning？或者是machine learning里面的
security 问题？
为什么？缺点在哪里？
这本很理论啊。
【在 z***t 的大作中提到】
: 这本不行,纯属浪费大家时间
: 还不如去看Vapnik那本Statistical Learning Theory
: 不是专门做ML的人还是看Hastie那本比较好,讲的详细
|
e****g
发帖数: 4434 | 60 有没有讲
ultra-high dimensional 的了？
比如fmri 图像的，
【在 s**********e 的大作中提到】
: 有没有专门讲高维情况下的machine learning？或者是machine learning里面的
: security 问题？
:
: 为什么？缺点在哪里？
: 这本很理论啊。
|
|
|
z***t
发帖数: 2374 | 61 高维下做啥? 找biomarker?还是数据重建?
security里数据分析的问题不多啊,你先把想做问题搞清楚,我可以帮你搞个算法 |
s**********e
发帖数: 33562 | 62
whatever
我说的是数据分析里面的security问题。比方说分布式的数据分析，数据存在多个
agent里面，他们互相交换信息来分析数据（比方说做lasso分析），但是他们不希望让
别人全部了解自己的数据，尽管他们希望能够算出最后的结果（比方说lasso的系数）
，他们应该怎么做？又或许如何找出某个造假的agent。又比方说如何保证互相通信的
时候数据不泄露给外人。
security里面其实也很多数据分析的问题，比方说网络里面好多数据，如何发现
intrusion，或者lier。。。
【在 z***t 的大作中提到】
: 高维下做啥? 找biomarker?还是数据重建?
: security里数据分析的问题不多啊,你先把想做问题搞清楚,我可以帮你搞个算法
|
d*******9
发帖数: 248 | 63 理论上可以把secure multiparty computation的technique套到一般的learning算法上
吧，不过实际速度如何不清楚
【在 s**********e 的大作中提到】
:
: whatever
: 我说的是数据分析里面的security问题。比方说分布式的数据分析，数据存在多个
: agent里面，他们互相交换信息来分析数据（比方说做lasso分析），但是他们不希望让
: 别人全部了解自己的数据，尽管他们希望能够算出最后的结果（比方说lasso的系数）
: ，他们应该怎么做？又或许如何找出某个造假的agent。又比方说如何保证互相通信的
: 时候数据不泄露给外人。
: security里面其实也很多数据分析的问题，比方说网络里面好多数据，如何发现
: intrusion，或者lier。。。
|
s**********e
发帖数: 33562 | 64 也许需要根据learning的特点重新设计security protocol
【在 d*******9 的大作中提到】
: 理论上可以把secure multiparty computation的technique套到一般的learning算法上
: 吧，不过实际速度如何不清楚
|
w***g
发帖数: 5958 | 65 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章
讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书
其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系.
虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM,
Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方
法非贝叶斯的一些扩展, 感觉比较有失偏颇.
另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内
容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
【在 z***t 的大作中提到】
: no doubt
: Hastie's book
|
z***t
发帖数: 2374 | 66 这是Hastie聪明的地方，Vapnik已经写过书了
再写也超不过Vapnik，不如不写，否则浪费大家时间和买多余纸张的钱
写ML这种研究性教材，作者必须水平高，市面上其他教材的作者和Hastie他们差太多了
即使MJ出来写，也就这水平了
说其他作者自不量力，欺骗群众，也不过分，因为Hastie的第一版很早就出来了，而且
很不错，后来几本书还远不如最早Duda的pattern classification
系.
【在 w***g 的大作中提到】
: 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章
: 讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书
: 其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系.
: 虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM,
: Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方
: 法非贝叶斯的一些扩展, 感觉比较有失偏颇.
: 另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内
: 容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
|
s**********e
发帖数: 33562 | 67 受教了。。。
【在 z***t 的大作中提到】
: 这是Hastie聪明的地方，Vapnik已经写过书了
: 再写也超不过Vapnik，不如不写，否则浪费大家时间和买多余纸张的钱
: 写ML这种研究性教材，作者必须水平高，市面上其他教材的作者和Hastie他们差太多了
: 即使MJ出来写，也就这水平了
: 说其他作者自不量力，欺骗群众，也不过分，因为Hastie的第一版很早就出来了，而且
: 很不错，后来几本书还远不如最早Duda的pattern classification
:
: 系.
|
s**********e
发帖数: 33562 | 68 他们不是写机器学习的书的吗？为什么没有机器学习的背景呢？
【在 X******2 的大作中提到】
: 也不用过分抬高htf，他们基本不做统计理论又没有机器学习
: 背景，真要写理论那一块也未必就能有多好。
|
e*****s
发帖数: 273 | 69 那你这个不是security而属于privacy吧。最近有一篇Fienberg和Jiashun Jin写的有关
lasso PP，您放狗搜下？
【在 s**********e 的大作中提到】
: 他们不是写机器学习的书的吗？为什么没有机器学习的背景呢？
|
e*****s
发帖数: 273 | 70 我用Tom Mitchell的，是不是很老很不专业？ |
|
|
s**********e
发帖数: 33562 | 71 多谢多谢！狗已放出，今天晚上就学习一把。
好像这方面文章还不少。
【在 e*****s 的大作中提到】
: 那你这个不是security而属于privacy吧。最近有一篇Fienberg和Jiashun Jin写的有关
: lasso PP，您放狗搜下？
|
e*****s
发帖数: 273 | 72 PPDM前两年红得发紫，最近也也不弱，往BIG data上靠，合伙耍耍？
【在 s**********e 的大作中提到】
: 多谢多谢！狗已放出，今天晚上就学习一把。
: 好像这方面文章还不少。
|
s**********e
发帖数: 33562 | 73 PPDM是啥意思？漂漂大妈？
咱最近读这些东西，可不就是眼红big data。只怕等开始入门了，又不热了。哎，谁叫
俺的本行冷得跟冰一样呢。
【在 e*****s 的大作中提到】
: PPDM前两年红得发紫，最近也也不弱，往BIG data上靠，合伙耍耍？
|
e*****s
发帖数: 273 | 74 privacy preserving data mining
【在 s**********e 的大作中提到】
: PPDM是啥意思？漂漂大妈？
: 咱最近读这些东西，可不就是眼红big data。只怕等开始入门了，又不热了。哎，谁叫
: 俺的本行冷得跟冰一样呢。
|
s**********e
发帖数: 33562 | 75 收到。准备读一读。
【在 e*****s 的大作中提到】
: privacy preserving data mining
|
L***s
发帖数: 9258 | 76 军方一直问我说能不能做个hardware engine去分析网络数据流中的security和pravicy
问题。我现在的learning on chip engine可以把速度提高个几百倍，能耗效率降低几千
倍。不知道能不能用在这个上面。啥时候聊聊？
【在 s**********e 的大作中提到】
: 收到。准备读一读。
|
s**********e
发帖数: 33562 | 77 聊聊？有文章没有？
pravicy
几千
【在 L***s 的大作中提到】
: 军方一直问我说能不能做个hardware engine去分析网络数据流中的security和pravicy
: 问题。我现在的learning on chip engine可以把速度提高个几百倍，能耗效率降低几千
: 倍。不知道能不能用在这个上面。啥时候聊聊？
|
L***s
发帖数: 9258 | 78 我最近做了个neuromorphic/learning的hardware engine。
【在 s**********e 的大作中提到】
: 聊聊？有文章没有？
:
: pravicy
: 几千
|
z***t
发帖数: 2374 | 79 HTF这种写法是对
他们不是不懂learning theory,相反他们理解的相当出色
这书是拿来做课本用的,不是会议文集
如果说HTF不做ML理论，那做ML理论的人很少了
ML理论不只是去证明bound，而且大部分发在COLT,SODA上的bound都没用
只有很少一部分有实际指导意义
【在 X******2 的大作中提到】
: 他们是从统计角度写的，而且重点在methodology
: （在这一块统计特别是非参统计跟机器学习重和很大）。
: htf告诉你怎么做，也会从直观上说明为什么那么做，
: 但没有严格的理论阐述。
: 但是cs背景的机器学习还有很重要的泛化理论（小样本
: 理论），与此对应统计里面还有一致性理论（大样本理
: 论）。没有这些理论支持，所谓的机器学习也是不完整
: 的。
|
s**********e
发帖数: 33562 | 80 牛啊。有文章没？
【在 L***s 的大作中提到】
: 我最近做了个neuromorphic/learning的hardware engine。
|
|
|
L***s
发帖数: 9258 | 81 有一些，其实我的CAREER就是做这个的。
【在 s**********e 的大作中提到】
: 牛啊。有文章没？
|
z***t
发帖数: 2374 | 82 那个叫LASSO的理论系统还是比较有意思的
一般来说，除了算法，能给出solution path和convergence rate的研究都算是有理论
贡献了
不觉得哪个中国人在ML领域超过HTF，至少我是高山仰止
【在 X******2 的大作中提到】
: 请问htf做什么ml理论？
: 那种写法是对还是错，见仁见智。
|
s**********e
发帖数: 33562 | 83 LASSO好像很有用啊，而且跟compressive sensing关系非常大
【在 z***t 的大作中提到】
: 那个叫LASSO的理论系统还是比较有意思的
: 一般来说，除了算法，能给出solution path和convergence rate的研究都算是有理论
: 贡献了
: 不觉得哪个中国人在ML领域超过HTF，至少我是高山仰止
|
s**********e
发帖数: 33562 | 84 能否指两篇出来俺学习学习？
【在 L***s 的大作中提到】
: 有一些，其实我的CAREER就是做这个的。
|
z***t
发帖数: 2374 | 85 最早LASSO formal的讨论是T做的
正式提出，还有讨论和其他几个理论的connections,这个工作很重要
再早F在93年也有相关文章
LARS里，T,H也都是有很大contribution，否则Efron早就single author了
Donoho是比HTF强，其他人明显超过他们的不多 |
z***t
发帖数: 2374 | 86 You are wrong. Efron cares very much on single author.
【在 X******2 的大作中提到】
: 统计里面有不少人做了点变量选择或是玩了几下SVM就
: 号称懂机器学习了。
|
c******s
发帖数: 283 | 87 Mark
这个帖子信息量好大
对PPDM很感兴趣
★ 发自iPhone App: ChineseWeb 7.8
【在 e****g 的大作中提到】
: 给研究生用的话，
: 哪本textbook最好呀。
|
e****g
发帖数: 4434 | 88 谢谢，
我也算在mit挖了个有质量的坑,他引超过 40
相当于发了篇 science了
【在 c******s 的大作中提到】
: Mark
: 这个帖子信息量好大
: 对PPDM很感兴趣
:
: ★ 发自iPhone App: ChineseWeb 7.8
|
g********r
发帖数: 8017 | 89 不对呀。楼里好多都不是直接引用你原文的。不能算citation。
【在 e****g 的大作中提到】
: 谢谢，
: 我也算在mit挖了个有质量的坑,他引超过 40
: 相当于发了篇 science了
|
s*****r
发帖数: 1426 | 90 Bishop
Duda
Hastie
【在 e****g 的大作中提到】
: 给研究生用的话，
: 哪本textbook最好呀。
|
|
|
s*****r
发帖数: 1426 | 91 同意你的说法
LARS是新东西，lasso其实很早就提出了，只是没有系统论述
说实话LARS的推导很漂亮，比coordinate descent要强
convex下找最sparse的解，这种建模真的挺难想不到的，关键是难解
【在 X******2 的大作中提到】
: lasso的那些理论根本不是tibshirani搞的。
: 他自己都觉得不够格总结最近十几年有关lasso的
: 理论发展，而要buhlmann去写某个综述。而solution
: path这玩艺最早由老efron在做lars时搞出来的，
: 然后才有所谓的“path frenzy"。
|
s**********e
发帖数: 33562 | |
s****s
发帖数: 368 | 93 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢？ |
R*******t
发帖数: 574 | 94 您说说到底什么算机器学习吧？
【在 X******2 的大作中提到】
: 统计里面有不少人做了点变量选择或是玩了几下SVM就
: 号称懂机器学习了。
|
R*******t
发帖数: 574 | 95 您也来说说什么算统计吧？
【在 s****s 的大作中提到】
: 不知道各位有多少是CS有多少统计的。怎么觉得CS这些人比俺懂得统计还多呢？
|
c***4
发帖数: 114 | 96 LARS想法早两年D和他的学生就提出了，只是manuscript而已，没有给出几何的解释。
Efron他老人家给出了非常漂亮的几何证明。
TRJ的书是从统计的角度来讲述machine learning，适合做高维数据分析和统计机器学
习的研究者。
个人认为D更厉害一些。
【在 s*****r 的大作中提到】
: 同意你的说法
: LARS是新东西，lasso其实很早就提出了，只是没有系统论述
: 说实话LARS的推导很漂亮，比coordinate descent要强
: convex下找最sparse的解，这种建模真的挺难想不到的，关键是难解
|
s***r
发帖数: 238 | 97 泪眼婆娑！这么多同道。前一段还以为都是bio med, 吓得俺大气都不敢出：:))
★ 发自iPhone App: ChineseWeb 7.8
【在 c***4 的大作中提到】
: LARS想法早两年D和他的学生就提出了，只是manuscript而已，没有给出几何的解释。
: Efron他老人家给出了非常漂亮的几何证明。
: TRJ的书是从统计的角度来讲述machine learning，适合做高维数据分析和统计机器学
: 习的研究者。
: 个人认为D更厉害一些。
|
s**********y
发帖数: 509 | 98 Bayesian 是王道。
系.
【在 w***g 的大作中提到】
: 我没看过Hastie那本, 但是看了眼目录, 感觉比Bishop那本更好. Hastie基本上每一章
: 讲的是Machine Learning的一类方法, 覆盖面很全, 篇幅分配也比较均衡. Bishop的书
: 其实应该叫"Bayesian Methods for PRML", 把所有的方法都纳入了贝叶斯统计的体系.
: 虽然很有系统性, 各种方法也都能覆盖到, 但是对于一些实用性较强的方法如SVM,
: Bishop用了大量的篇幅论述这些方法的实用性不那么强的贝叶斯版本, 而忽略了这些方
: 法非贝叶斯的一些扩展, 感觉比较有失偏颇.
: 另外, Hastie和Bishop两本书貌似都没有涉及VC Theory和Generalization Error的内
: 容, 作为教材的话感觉缺了一大块, 得补一些Vapnik和Schapire的书中的章节.
|
s**********y
发帖数: 509 | 99 LARS 已经没人用了。
【在 s*****r 的大作中提到】
: 同意你的说法
: LARS是新东西，lasso其实很早就提出了，只是没有系统论述
: 说实话LARS的推导很漂亮，比coordinate descent要强
: convex下找最sparse的解，这种建模真的挺难想不到的，关键是难解
|
c***4
发帖数: 114 | 100 don't think so...
【在 s**********y 的大作中提到】
: Bayesian 是王道。
:
: 系.
|
|
|
c***4
发帖数: 114 | 101 你这个说法太片面了。
首先，lars作为一个不基于优化的算法，它的性质很值得研究，当然我们已经很清楚了
。比如它的homotopy性质， 等角行和zero－crossing，和greedy，stepwise算法的关
系，等等。
其次，lars并不是没有人在用。除非你的data large－scale到hadoop级别的框架。我
认为有imaging的人在用这个算法。
再则，如果你非要argue stochastic gradient descent，我认为这充其量也就是计算
上的贡献。
【在 s**********y 的大作中提到】
: LARS 已经没人用了。
|
b*****t
发帖数: 1700 | 102 TRJ的书是哪一本啊？
【在 c***4 的大作中提到】
: LARS想法早两年D和他的学生就提出了，只是manuscript而已，没有给出几何的解释。
: Efron他老人家给出了非常漂亮的几何证明。
: TRJ的书是从统计的角度来讲述machine learning，适合做高维数据分析和统计机器学
: 习的研究者。
: 个人认为D更厉害一些。
|
m*******g
发帖数: 209 | 103 Elements of Statistical Learning
搭配
Pattern Recognition and Machine Learning
一个给框架，一个给方法。 |
m*******g
发帖数: 209 | 104 不过很多书想有效看，前提是学过：
Convex Optimization
一本万金油书。 |
R*******t
发帖数: 574 | |
M*P
发帖数: 6456 | 106 这本没人提？
http://www.cs.ubc.ca/~murphyk/MLbook/
我觉得这个的方法讲的很细。另外两本感觉没有这么多细节
【在 e****g 的大作中提到】
: 给研究生用的话，
: 哪本textbook最好呀。
|
m********o
发帖数: 98 | 107 楼上说的这本typo实在太多了。。。
我觉得Hastie和Bishop的都不错，Hastie的讲的好，Bishop的好多图很直观，帮助理解 |
T*****u
发帖数: 7103 | 108 hastie的书吧，都免费。tom mitchelle的要200多一本。都是人，差别咋这么大涅。 |
