d*****u
发帖数: 17243 | 1 统计里面有这两大阵营。
在自然科学和社会科学领域，长期以来几乎是frequentist的天下，
好多做实验的人对bayesian analysis一无所知
而计算机专业好多人似乎一点也不懂frequentist的东西
有的连基本的t-test, anova都不知道
人工智能里的模型也确实都是bayesian的东西
大家怎么看 |
j****a
发帖数: 1277 | 2 you are talking about stats and machine learning, which are simply two
subjects
【在 d*****u 的大作中提到】
: 统计里面有这两大阵营。
: 在自然科学和社会科学领域，长期以来几乎是frequentist的天下，
: 好多做实验的人对bayesian analysis一无所知
: 而计算机专业好多人似乎一点也不懂frequentist的东西
: 有的连基本的t-test, anova都不知道
: 人工智能里的模型也确实都是bayesian的东西
: 大家怎么看
|
d*****u
发帖数: 17243 | 3 machine learning绝大部分是基于bayesian statistics的
但是bayesian的方法不限于ML
两者有些东西当然是一样的，比如研究各种概率分布
但是基本出发点不太一样
【在 j****a 的大作中提到】
: you are talking about stats and machine learning, which are simply two
: subjects
|
p*********g
发帖数: 226 | 4 > machine learning绝大部分是基于bayesian statistics的
这话可不能随便讲，有人要介意的。。。
【在 d*****u 的大作中提到】
: machine learning绝大部分是基于bayesian statistics的
: 但是bayesian的方法不限于ML
: 两者有些东西当然是一样的，比如研究各种概率分布
: 但是基本出发点不太一样
|
f*****x
发帖数: 2748 | 5 Bayesian的文章越来越多了，好处是花不多时间了解一个问题，然后计算机帮助你干活
了。Bayesian出起文章来是多快
好省。估计以后统计/ML是Bayesian的天下了。
【在 d*****u 的大作中提到】
: 统计里面有这两大阵营。
: 在自然科学和社会科学领域，长期以来几乎是frequentist的天下，
: 好多做实验的人对bayesian analysis一无所知
: 而计算机专业好多人似乎一点也不懂frequentist的东西
: 有的连基本的t-test, anova都不知道
: 人工智能里的模型也确实都是bayesian的东西
: 大家怎么看
|
d*****u
发帖数: 17243 | 6 bayesian计算量比较大，但是我觉得更有意思，
因为很多时候体现了人的思维过程，或者可以想象出其中的物理背景
而传统的统计，真的比较boring
【在 f*****x 的大作中提到】
: Bayesian的文章越来越多了，好处是花不多时间了解一个问题，然后计算机帮助你干活
: 了。Bayesian出起文章来是多快
: 好省。估计以后统计/ML是Bayesian的天下了。
|
N**D
发帖数: 10322 | 7 对，Bayesian出文章快，花个graphical model, inference 一下，就好
frequencist 难
【在 f*****x 的大作中提到】
: Bayesian的文章越来越多了，好处是花不多时间了解一个问题，然后计算机帮助你干活
: 了。Bayesian出起文章来是多快
: 好省。估计以后统计/ML是Bayesian的天下了。
|
r********3
发帖数: 2998 | 8 计算机专业研究的问题更底层一些，更实在一些。比如说，计算机方向研究了几十年的
，数据库技术，搜索引擎，输入和输出的规则都是很明确的，但是你如何做得好？如何
做得快？？
而统计里面，对于数据的解释很抽象，从来不考虑这个数据是怎么存的，怎么取得，怎
么算的，仿佛一切的数据都是随手一抓随手一挥就成了的。
现实世界里面，并不需要那么虚幻的分析。因为统计里面总是想用一种model去仿真，
但是现实世界太复杂了，于是很难让人相信。实际需求里面，你能把现实世界最基本的
数据查询，数据搜索问题解决好，就已经很了不起了。比如说，Oracle的数据库，
Google的搜索引擎。
【在 d*****u 的大作中提到】
: 统计里面有这两大阵营。
: 在自然科学和社会科学领域，长期以来几乎是frequentist的天下，
: 好多做实验的人对bayesian analysis一无所知
: 而计算机专业好多人似乎一点也不懂frequentist的东西
: 有的连基本的t-test, anova都不知道
: 人工智能里的模型也确实都是bayesian的东西
: 大家怎么看
|
p*********g
发帖数: 226 | 9 有一种统计叫 nonparametrics
【在 r********3 的大作中提到】
: 计算机专业研究的问题更底层一些，更实在一些。比如说，计算机方向研究了几十年的
: ，数据库技术，搜索引擎，输入和输出的规则都是很明确的，但是你如何做得好？如何
: 做得快？？
: 而统计里面，对于数据的解释很抽象，从来不考虑这个数据是怎么存的，怎么取得，怎
: 么算的，仿佛一切的数据都是随手一抓随手一挥就成了的。
: 现实世界里面，并不需要那么虚幻的分析。因为统计里面总是想用一种model去仿真，
: 但是现实世界太复杂了，于是很难让人相信。实际需求里面，你能把现实世界最基本的
: 数据查询，数据搜索问题解决好，就已经很了不起了。比如说，Oracle的数据库，
: Google的搜索引擎。
|
r********3
发帖数: 2998 | 10 对，很多machine learning并非都是基于这个。
我现在review很多ML的paper，已经很反感那种probabilistic model的paper了。主要
是因为，他们各自总是提出自己的model，然后paper就是如何去estimate这个
probability。感觉就是在一中虚拟假定的世界里面去推导一堆虚拟的结果。实际试验
结果，都是很值得商榷的。
举个极端的例子。学统计的人来解决地震预测的问题，做法就是计算这样现象，那样现
象等等和地震发生的这样那样的probabilities，最后推导出一个整体的conditional
probability。
但是，这样的结果根本无法得到真正地震学，地质学家的认可。因为统计模型，始终是
在用表现去总结表现。我们需要的是掌握不变的自然现象的本质和问题的本质，而不是
随机的表现。如果你掌握了真正的自然规律，世界上任何一件事情都不是一个随机过程
，而是有根可循的。作为一个地质学家，最重要的贡献就是在于发现这个可循的根。
如果人类可以在有生之年，真正深入地球内部，勘探出地幔的物理化学结构，然后测量
出月球引力或者，地热温度如何影响地幔的物理和化学变化，从而了解地震发生的真正
原因。这个才是真正地质学上的贡献。
【在 p*********g 的大作中提到】
: > machine learning绝大部分是基于bayesian statistics的
: 这话可不能随便讲，有人要介意的。。。
|
|
|
d*****u
发帖数: 17243 | 11 我觉得这是两个领域的问题
比如现在从预报地震的角度出发，要弄清地质运动的规律显然是不现实的。
但是如果能把各种表现特征综合起来建立联系
弄清他们之间的统计规律
这不失为一种好办法
人家也不会claim这就取代了地球物理的研究
最多是取代了一些预报的方法
就像医生看病，也是先根据各种症状来推测病因
然后再去做化验或者透视
而根据症状推测病因的过程其实就是统计分析，只是现在没那么量化
说到底，ML是一种engineering
【在 r********3 的大作中提到】
: 对，很多machine learning并非都是基于这个。
: 我现在review很多ML的paper，已经很反感那种probabilistic model的paper了。主要
: 是因为，他们各自总是提出自己的model，然后paper就是如何去estimate这个
: probability。感觉就是在一中虚拟假定的世界里面去推导一堆虚拟的结果。实际试验
: 结果，都是很值得商榷的。
: 举个极端的例子。学统计的人来解决地震预测的问题，做法就是计算这样现象，那样现
: 象等等和地震发生的这样那样的probabilities，最后推导出一个整体的conditional
: probability。
: 但是，这样的结果根本无法得到真正地震学，地质学家的认可。因为统计模型，始终是
: 在用表现去总结表现。我们需要的是掌握不变的自然现象的本质和问题的本质，而不是
|
d*****u
发帖数: 17243 | 12 如果你掌握了真正的自然规律，世界上任何一件事情都不是一个随机过程
，而是有根可循的。
——————————
这个还真不好说。拿物理来说，deterministic的规律只存在于经典物理理论。
具体说就是经典力学和电磁学。连热学都不行。
【在 r********3 的大作中提到】
: 对，很多machine learning并非都是基于这个。
: 我现在review很多ML的paper，已经很反感那种probabilistic model的paper了。主要
: 是因为，他们各自总是提出自己的model，然后paper就是如何去estimate这个
: probability。感觉就是在一中虚拟假定的世界里面去推导一堆虚拟的结果。实际试验
: 结果，都是很值得商榷的。
: 举个极端的例子。学统计的人来解决地震预测的问题，做法就是计算这样现象，那样现
: 象等等和地震发生的这样那样的probabilities，最后推导出一个整体的conditional
: probability。
: 但是，这样的结果根本无法得到真正地震学，地质学家的认可。因为统计模型，始终是
: 在用表现去总结表现。我们需要的是掌握不变的自然现象的本质和问题的本质，而不是
|
r********3
发帖数: 2998 | 13 我只是打个比喻。我的意思是，科学研究应该尽量去挖掘期中不变的本质和规律。不要
过多依赖从数据表现去分析问题和解释问题。而是应该深入现象的本质，去解释其内在
规律。当然，如果从一种数据分析方法学的角度来研究，也是可以的。但是不要过分夸
大ML在现实中的用处，它在实际当中现实问题上的贡献其实很小。所以说，从很多很多
ML的paper实验结果，都是值得商榷的。以地震研究来说，研究各种fancy的统计模型，
还不如老老实实研究一下抗高压高热的打井转头。
【在 d*****u 的大作中提到】
: 如果你掌握了真正的自然规律，世界上任何一件事情都不是一个随机过程
: ，而是有根可循的。
: ——————————
: 这个还真不好说。拿物理来说，deterministic的规律只存在于经典物理理论。
: 具体说就是经典力学和电磁学。连热学都不行。
|
N**D
发帖数: 10322 | 14 同反感
【在 r********3 的大作中提到】
: 对，很多machine learning并非都是基于这个。
: 我现在review很多ML的paper，已经很反感那种probabilistic model的paper了。主要
: 是因为，他们各自总是提出自己的model，然后paper就是如何去estimate这个
: probability。感觉就是在一中虚拟假定的世界里面去推导一堆虚拟的结果。实际试验
: 结果，都是很值得商榷的。
: 举个极端的例子。学统计的人来解决地震预测的问题，做法就是计算这样现象，那样现
: 象等等和地震发生的这样那样的probabilities，最后推导出一个整体的conditional
: probability。
: 但是，这样的结果根本无法得到真正地震学，地质学家的认可。因为统计模型，始终是
: 在用表现去总结表现。我们需要的是掌握不变的自然现象的本质和问题的本质，而不是
|
d*****u
发帖数: 17243 | 15 我感觉这个ML的思路在心理学里应该很有用。
现在也有人在做。但是真正完全渗透过去还得些年头。
【在 r********3 的大作中提到】
: 我只是打个比喻。我的意思是，科学研究应该尽量去挖掘期中不变的本质和规律。不要
: 过多依赖从数据表现去分析问题和解释问题。而是应该深入现象的本质，去解释其内在
: 规律。当然，如果从一种数据分析方法学的角度来研究，也是可以的。但是不要过分夸
: 大ML在现实中的用处，它在实际当中现实问题上的贡献其实很小。所以说，从很多很多
: ML的paper实验结果，都是值得商榷的。以地震研究来说，研究各种fancy的统计模型，
: 还不如老老实实研究一下抗高压高热的打井转头。
|
d******e
发帖数: 7844 | 16 你的逻辑很神奇。
Probabilistic Models又不是解决问题的唯一方法，自然有它适用的范围，像图像和文
本，这种通常被认为存在一个generative process或者近似的generative process，我
用Bayesian有什么可指责的？什么问题都拿来套用当然不行，很多人乱做model,只能说
他们不严肃，并不是Probabilistic models有什么错。
同样，统计也不是什么问题都能解决，你这种极端的例子说白了就是抬杠。你去看看生
物里面传统的t检验管不管用？我需要的是解决问题，我管你本质的model是什么样，我
就这么建模，行得通就OK了。先解决问题，再去探讨本质，这种风格随处可见。
Machine Learning和统计都是工具罢了，能不能真正解决问题不是看工具灵不灵，而是
看用工具的人。
btw:把SVM只当成QP的同学，还是不要对机器学习来妄加评论了，呵呵
【在 r********3 的大作中提到】
: 对，很多machine learning并非都是基于这个。
: 我现在review很多ML的paper，已经很反感那种probabilistic model的paper了。主要
: 是因为，他们各自总是提出自己的model，然后paper就是如何去estimate这个
: probability。感觉就是在一中虚拟假定的世界里面去推导一堆虚拟的结果。实际试验
: 结果，都是很值得商榷的。
: 举个极端的例子。学统计的人来解决地震预测的问题，做法就是计算这样现象，那样现
: 象等等和地震发生的这样那样的probabilities，最后推导出一个整体的conditional
: probability。
: 但是，这样的结果根本无法得到真正地震学，地质学家的认可。因为统计模型，始终是
: 在用表现去总结表现。我们需要的是掌握不变的自然现象的本质和问题的本质，而不是
|
h*i
发帖数: 3446 | 17 ML就是最初从认知心理学里面引发出来的, 所以不存在渗透过去的问题。
主观Bayesian的方法用在其他科学都可以，用在心理学上就是本末倒置：因为主观
Bayesian（e.g. E.T. Jaynes那一套）就是一种思维方法，本身正是心理学需要解释的
对象。所以，在心理学里面，Bayesian学派虽然近年势头有一些回升，但总归还是不被
主流接受的。
【在 d*****u 的大作中提到】
: 我感觉这个ML的思路在心理学里应该很有用。
: 现在也有人在做。但是真正完全渗透过去还得些年头。
|
h*i
发帖数: 3446 | 18 你忘了ALL YOUR BAYES ARE BELONG TO US!
【在 d*****u 的大作中提到】
: machine learning绝大部分是基于bayesian statistics的
: 但是bayesian的方法不限于ML
: 两者有些东西当然是一样的，比如研究各种概率分布
: 但是基本出发点不太一样
|
d*****u
发帖数: 17243 | 19 讨论起源没有意义
计算机的很多（如果不是所有）算法都可以说来自于人的思维过程。
包括最简单的排序、查找这些都是。
但是在计算机这个领域发展了以后，就成为解决各种问题的工具，
包括cognitive modeling
比如普通的心理学家并不清楚怎么构造一个bayes net
也不知道怎么train
而他们如果对此工具有熟练的掌握
那就可以解决一些问题
还有基于bayes方法的模型并不限于bayes net
还有markov random field这些
我感觉有时候都可以用来构造模型（也有人用了）
总之各学科多互相了解是有好处的
【在 h*i 的大作中提到】
: ML就是最初从认知心理学里面引发出来的, 所以不存在渗透过去的问题。
: 主观Bayesian的方法用在其他科学都可以，用在心理学上就是本末倒置：因为主观
: Bayesian（e.g. E.T. Jaynes那一套）就是一种思维方法，本身正是心理学需要解释的
: 对象。所以，在心理学里面，Bayesian学派虽然近年势头有一些回升，但总归还是不被
: 主流接受的。
|
h*i
发帖数: 3446 | 20 搞认知科学的要熟悉学科历史才行，否则不明白各种学说的来龙去脉，容易产生错误认
识。
Bayesian的心理模型在八十年代左右被认为是失败了，这是为什么现在的“普通的心理
学家并不清楚怎么构造一个bayes net”的原因，没有很多人愿意花功夫在失败的理论
上面。被认为失败的原因主要是基于Tversky, Kaheman等人的工作， 发现人的判断推
理过程不符合Bayes定理，而是有一些biases的, 这两人因此获得了经济学炸药奖。在
那以后，认知心理学里面的一个流行的事情就是找出一种又一种的bias来。
好了，现在为什么Bayesian模型又有抬头之势呢？一个就是很多人对biases很厌倦了，
层出不穷的biases搞得好像人的思维完全就是irrational的，没有什么理论能解释一样
，这和心理学的宏大科学目标也不合拍。所以有些心理学家又开始搞Bayesian模型了，
特别是一些年轻人，比如Griffiths, Tenenbaum等人，都经常在NIPS之类的会上灌水的
。第二个原因和Bayesian在ML流行一样，就是计算技术发展使得Bayesian模型有了可行
性。
但是，Bayesian模型的根本问题在于它不提供一个心理过程的模型，这样就很难让很多
心理学家满意，所以在心理学里面总归会是一个比较小众的东西。过去一些坚持搞的人
基本都脱离心理学了，比如搞Graphic Model的那个有名的Michael Jordan.
【在 d*****u 的大作中提到】
: 讨论起源没有意义
: 计算机的很多（如果不是所有）算法都可以说来自于人的思维过程。
: 包括最简单的排序、查找这些都是。
: 但是在计算机这个领域发展了以后，就成为解决各种问题的工具，
: 包括cognitive modeling
: 比如普通的心理学家并不清楚怎么构造一个bayes net
: 也不知道怎么train
: 而他们如果对此工具有熟练的掌握
: 那就可以解决一些问题
: 还有基于bayes方法的模型并不限于bayes net
|
|
|
d*****u
发帖数: 17243 | 21 任何model都不可能account for all attributes。否则就不是model而是description。
至于说bias，一方面可以考虑prior，另一方面可以增加连接的复杂度（如果需要的话
）。换言之，人不是计算机，所以受记忆等因素的影响很大。但是这些都是基本模型的
augment而已，都是可以数学实现的。而因为这些附加原因就放弃整个model的方法是可
笑的。
【在 h*i 的大作中提到】
: 搞认知科学的要熟悉学科历史才行，否则不明白各种学说的来龙去脉，容易产生错误认
: 识。
: Bayesian的心理模型在八十年代左右被认为是失败了，这是为什么现在的“普通的心理
: 学家并不清楚怎么构造一个bayes net”的原因，没有很多人愿意花功夫在失败的理论
: 上面。被认为失败的原因主要是基于Tversky, Kaheman等人的工作， 发现人的判断推
: 理过程不符合Bayes定理，而是有一些biases的, 这两人因此获得了经济学炸药奖。在
: 那以后，认知心理学里面的一个流行的事情就是找出一种又一种的bias来。
: 好了，现在为什么Bayesian模型又有抬头之势呢？一个就是很多人对biases很厌倦了，
: 层出不穷的biases搞得好像人的思维完全就是irrational的，没有什么理论能解释一样
: ，这和心理学的宏大科学目标也不合拍。所以有些心理学家又开始搞Bayesian模型了，
|
d*****u
发帖数: 17243 | 22 但是，Bayesian模型的根本问题在于它不提供一个心理过程的模型 |
h*i
发帖数: 3446 | 23 This kind of thinking is what give modelers bad names. If modelers do not
themselves set the bar high, why should expect people to take them seriously?
description。
【在 d*****u 的大作中提到】
: 任何model都不可能account for all attributes。否则就不是model而是description。
: 至于说bias，一方面可以考虑prior，另一方面可以增加连接的复杂度（如果需要的话
: ）。换言之，人不是计算机，所以受记忆等因素的影响很大。但是这些都是基本模型的
: augment而已，都是可以数学实现的。而因为这些附加原因就放弃整个model的方法是可
: 笑的。
|
h*i
发帖数: 3446 | 24 I agree with you on this one. Unfortunately, most psychologists do not.
【在 d*****u 的大作中提到】
: 但是，Bayesian模型的根本问题在于它不提供一个心理过程的模型
|
