由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
DataSciences版 - 请教,survival analysis 和 bayesian analysis 在 data sciences 有比较大的价值吗?
相关主题
求助:Bayesian入门有做portfolio management的嘛
Bayesian inferencef.t."我不会编程"
想转行Data Science, 求建议怎么online update model
求教! how to run python programs on a hadoop cluster求Facebook家DS的面经
最新克劳迪亚链接 20140609Michael Jordan 发表意见了
求问编程语言的选择,学stat的往DS努力分享一个Data Scientist的面经攒RP。。 (转载)
Data scientist / Machine Learning Engineer 相关面试题 (转载)谁能推荐几本DS的书?
##Data Scientist 某大公司F的面试一题,求解答##为什么要知道DETAILS OF A MACHINE LEARNING ALGORITHM
相关话题的讨论汇总
话题: analysis话题: survival话题: bayesian话题: cox话题: event
进入DataSciences版参与讨论
1 (共1页)
P*****6
发帖数: 273
1
浏览本版的帖子,发现有谈到survical analysis和bayesian analysis的,很高兴,因
为这两个我会,就是不知道用处广不广。用在什么领域。本人没作过data scientist.
本来以为bayesian analysis可以用在online learning的领域,后来发现如果用
gradient descent求解的话,只要用新数据带入方程,更新那几个参数就可以了。:(
c***z
发帖数: 6348
2
Great use.
For example, user attrition using survival analysis and sentiment analysis
using naive Bayes.
P*****6
发帖数: 273
3
谢谢,
那我要把survival analysis深入研究一下。
naïve bayes 好像是 classification 的方法。很简单易用,有效。但其难度和
理论应用的广度比真正的bayesian analysis差远了。通常不归在bayesian analysis。
当初学bayesian analysis, 要先学EM 和 sampling, 洋洋上百页的讲义,连
empirical bayes 都只有一页。naïve bayes 根本没提。 但是bayesian 方法即
使在统计中都是小众。它的广度只是理论上的。
这个版有点冷清,全靠你了。其实,我觉得data science很值得交流,就算是需要不少
编程知识,大家只要看清方向,多交流,也会提高比较快,用不了一两年就可以实用了

【在 c***z 的大作中提到】
: Great use.
: For example, user attrition using survival analysis and sentiment analysis
: using naive Bayes.

d******4
发帖数: 132
4
Could you give more details about how to use survival analysis on user
attrition?
thanks

【在 c***z 的大作中提到】
: Great use.
: For example, user attrition using survival analysis and sentiment analysis
: using naive Bayes.

t*********u
发帖数: 26311
5
coask

【在 d******4 的大作中提到】
: Could you give more details about how to use survival analysis on user
: attrition?
: thanks

A*******s
发帖数: 3942
6
没做过marketing,
不过所有survival analysis的应用应该都差不多--
user attrition是一个event,
用一般的classification方法可以用来预测event occurrence within a certain
width of period
用survival就可以用来预测when the event will occur
logistic regression可以视为Cox model with exact/discrete time treatment of
tied events的特殊形式

【在 d******4 的大作中提到】
: Could you give more details about how to use survival analysis on user
: attrition?
: thanks

j*******g
发帖数: 331
7
似乎不同领域对bayesian的理解也不太一样 比如统计跟信号处理 也是最近才发现
我对beyasian的学习集中在probabilistic graphic model上

【在 P*****6 的大作中提到】
: 谢谢,
: 那我要把survival analysis深入研究一下。
: naïve bayes 好像是 classification 的方法。很简单易用,有效。但其难度和
: 理论应用的广度比真正的bayesian analysis差远了。通常不归在bayesian analysis。
: 当初学bayesian analysis, 要先学EM 和 sampling, 洋洋上百页的讲义,连
: empirical bayes 都只有一页。naïve bayes 根本没提。 但是bayesian 方法即
: 使在统计中都是小众。它的广度只是理论上的。
: 这个版有点冷清,全靠你了。其实,我觉得data science很值得交流,就算是需要不少
: 编程知识,大家只要看清方向,多交流,也会提高比较快,用不了一两年就可以实用了

P*****6
发帖数: 273
8
说实话,不知道生物统计临床怎么使,除此之外,我觉得就是graphic model用
bayesian最为易于理解,MCMC简直就是天然为此设计的。但是不知道data scientist用
它能解决什么问题

【在 j*******g 的大作中提到】
: 似乎不同领域对bayesian的理解也不太一样 比如统计跟信号处理 也是最近才发现
: 我对beyasian的学习集中在probabilistic graphic model上

t*********u
发帖数: 26311
9
你们说的survival analysis就是
stochastic process/reliability analysis的?

没做过marketing,
不过所有survival analysis的应用应该都差不多--
user attrition是一个event,
用一般的classification方法可以用来预测event occurrence within a certain
width of period
用survival就可以用来预测when the event will occur
logistic regression可以视为Cox model with exact/discrete time treatment of
tied events的特殊形式

【在 A*******s 的大作中提到】
: 没做过marketing,
: 不过所有survival analysis的应用应该都差不多--
: user attrition是一个event,
: 用一般的classification方法可以用来预测event occurrence within a certain
: width of period
: 用survival就可以用来预测when the event will occur
: logistic regression可以视为Cox model with exact/discrete time treatment of
: tied events的特殊形式

c****t
发帖数: 19049
10
machine learning的毛病就是没有自己原产的cost function。optimization和cost
function没啥关系。cost function实际上成了post monitoring
MCMC就是把它选cost function(MAP)和optimzation打包一起初理

【在 j*******g 的大作中提到】
: 似乎不同领域对bayesian的理解也不太一样 比如统计跟信号处理 也是最近才发现
: 我对beyasian的学习集中在probabilistic graphic model上

相关主题
求问编程语言的选择,学stat的往DS努力有做portfolio management的嘛
Data scientist / Machine Learning Engineer 相关面试题 (转载)f.t."我不会编程"
##Data Scientist 某大公司F的面试一题,求解答##怎么online update model
进入DataSciences版参与讨论
c***z
发帖数: 6348
11
我是半瓶醋叮当晃
班上其他大牛才是深藏若虚
bayesian analysis对我来说确实是高山仰止 类似于物理里面的统一场论

【在 P*****6 的大作中提到】
: 谢谢,
: 那我要把survival analysis深入研究一下。
: naïve bayes 好像是 classification 的方法。很简单易用,有效。但其难度和
: 理论应用的广度比真正的bayesian analysis差远了。通常不归在bayesian analysis。
: 当初学bayesian analysis, 要先学EM 和 sampling, 洋洋上百页的讲义,连
: empirical bayes 都只有一页。naïve bayes 根本没提。 但是bayesian 方法即
: 使在统计中都是小众。它的广度只是理论上的。
: 这个版有点冷清,全靠你了。其实,我觉得data science很值得交流,就算是需要不少
: 编程知识,大家只要看清方向,多交流,也会提高比较快,用不了一两年就可以实用了

P*****6
发帖数: 273
12
高手啊,能总结成这样

【在 c****t 的大作中提到】
: machine learning的毛病就是没有自己原产的cost function。optimization和cost
: function没啥关系。cost function实际上成了post monitoring
: MCMC就是把它选cost function(MAP)和optimzation打包一起初理

A*******s
发帖数: 3942
13
理论上就是Poisson process,semiparametric inference那些东西
不过应用起来知不知道这些理论关系不大
不大熟悉survival model在reliability方面的应用,不好说。

【在 t*********u 的大作中提到】
: 你们说的survival analysis就是
: stochastic process/reliability analysis的?
:
: 没做过marketing,
: 不过所有survival analysis的应用应该都差不多--
: user attrition是一个event,
: 用一般的classification方法可以用来预测event occurrence within a certain
: width of period
: 用survival就可以用来预测when the event will occur
: logistic regression可以视为Cox model with exact/discrete time treatment of

P*****6
发帖数: 273
14
这话可以理解为bayesian 在实际中用处不大就象统一场论 :)
bayesian analysis没有这么难,只要上课肯定能会。平时还可以用winbug.
我觉得data scientist主要工作是分析问题,找到合适的方法。大部分这些方法展现出
来后,数学推倒都不算难。关键是想透,基本功扎实不出概念错误。

【在 c***z 的大作中提到】
: 我是半瓶醋叮当晃
: 班上其他大牛才是深藏若虚
: bayesian analysis对我来说确实是高山仰止 类似于物理里面的统一场论

P*****6
发帖数: 273
15
恩,以前老考虑sensoring,所以忘了survival analysis其实有两大特点:
一个是 可以处理sensoring
另一个是可以处理时间
不过我觉得survival analysis主要不是用来预测when the event will occur的,特别
是作为semi-paramatric的cox model.应该主要是用来比较不同factor对event发生概率
的影响(比率)。引入的时间项h(t)是unspecific的,因此求解中消掉了好像。不知对
不对。有大牛说说。 另外,需要提醒的是它的exp项是没有intercept的。这个是与
logistic regression重要的不同的之一。

【在 A*******s 的大作中提到】
: 没做过marketing,
: 不过所有survival analysis的应用应该都差不多--
: user attrition是一个event,
: 用一般的classification方法可以用来预测event occurrence within a certain
: width of period
: 用survival就可以用来预测when the event will occur
: logistic regression可以视为Cox model with exact/discrete time treatment of
: tied events的特殊形式

A*******s
发帖数: 3942
16
After we have beta estimates of Cox model, we can further fit baseline
function h(t). Then we could do numeric integral upon H(t, X) to get S(t, X)

【在 P*****6 的大作中提到】
: 恩,以前老考虑sensoring,所以忘了survival analysis其实有两大特点:
: 一个是 可以处理sensoring
: 另一个是可以处理时间
: 不过我觉得survival analysis主要不是用来预测when the event will occur的,特别
: 是作为semi-paramatric的cox model.应该主要是用来比较不同factor对event发生概率
: 的影响(比率)。引入的时间项h(t)是unspecific的,因此求解中消掉了好像。不知对
: 不对。有大牛说说。 另外,需要提醒的是它的exp项是没有intercept的。这个是与
: logistic regression重要的不同的之一。

P*****6
发帖数: 273
17
我猜您是想说paramatric survival analysis, 比如假设weibull distribution?
这个说不定对customer attrition 真的很有用。

X)

【在 A*******s 的大作中提到】
: After we have beta estimates of Cox model, we can further fit baseline
: function h(t). Then we could do numeric integral upon H(t, X) to get S(t, X)

A*******s
发帖数: 3942
18
Cox model是不用fit baseline hazard function,但是你想fit的话也有办法,got it?

【在 P*****6 的大作中提到】
: 我猜您是想说paramatric survival analysis, 比如假设weibull distribution?
: 这个说不定对customer attrition 真的很有用。
:
: X)

P*****6
发帖数: 273
19
大牛,受教了, 我倒是不怀疑牛人们会有办法。就是不知道啥办法。
Cox model 我就知道个adjusted survival curve.

it?

【在 A*******s 的大作中提到】
: Cox model是不用fit baseline hazard function,但是你想fit的话也有办法,got it?
d******4
发帖数: 132
20
People assume the hazard function to be an increasing step function which
jumps only at times when an event is observed.

【在 P*****6 的大作中提到】
: 大牛,受教了, 我倒是不怀疑牛人们会有办法。就是不知道啥办法。
: Cox model 我就知道个adjusted survival curve.
:
: it?

1 (共1页)
进入DataSciences版参与讨论
相关主题
为什么要知道DETAILS OF A MACHINE LEARNING ALGORITHM最新克劳迪亚链接 20140609
学pattern recognition前是否有必要学statistics?求问编程语言的选择,学stat的往DS努力
新面试需准备的问题Data scientist / Machine Learning Engineer 相关面试题 (转载)
关于data preprocessing的问题求教##Data Scientist 某大公司F的面试一题,求解答##
求助:Bayesian入门有做portfolio management的嘛
Bayesian inferencef.t."我不会编程"
想转行Data Science, 求建议怎么online update model
求教! how to run python programs on a hadoop cluster求Facebook家DS的面经
相关话题的讨论汇总
话题: analysis话题: survival话题: bayesian话题: cox话题: event