P*****6 发帖数: 273 | 1 浏览本版的帖子,发现有谈到survical analysis和bayesian analysis的,很高兴,因
为这两个我会,就是不知道用处广不广。用在什么领域。本人没作过data scientist.
本来以为bayesian analysis可以用在online learning的领域,后来发现如果用
gradient descent求解的话,只要用新数据带入方程,更新那几个参数就可以了。:( |
c***z 发帖数: 6348 | 2 Great use.
For example, user attrition using survival analysis and sentiment analysis
using naive Bayes. |
P*****6 发帖数: 273 | 3 谢谢,
那我要把survival analysis深入研究一下。
naïve bayes 好像是 classification 的方法。很简单易用,有效。但其难度和
理论应用的广度比真正的bayesian analysis差远了。通常不归在bayesian analysis。
当初学bayesian analysis, 要先学EM 和 sampling, 洋洋上百页的讲义,连
empirical bayes 都只有一页。naïve bayes 根本没提。 但是bayesian 方法即
使在统计中都是小众。它的广度只是理论上的。
这个版有点冷清,全靠你了。其实,我觉得data science很值得交流,就算是需要不少
编程知识,大家只要看清方向,多交流,也会提高比较快,用不了一两年就可以实用了
【在 c***z 的大作中提到】 : Great use. : For example, user attrition using survival analysis and sentiment analysis : using naive Bayes.
|
d******4 发帖数: 132 | 4 Could you give more details about how to use survival analysis on user
attrition?
thanks
【在 c***z 的大作中提到】 : Great use. : For example, user attrition using survival analysis and sentiment analysis : using naive Bayes.
|
t*********u 发帖数: 26311 | 5 coask
【在 d******4 的大作中提到】 : Could you give more details about how to use survival analysis on user : attrition? : thanks
|
A*******s 发帖数: 3942 | 6 没做过marketing,
不过所有survival analysis的应用应该都差不多--
user attrition是一个event,
用一般的classification方法可以用来预测event occurrence within a certain
width of period
用survival就可以用来预测when the event will occur
logistic regression可以视为Cox model with exact/discrete time treatment of
tied events的特殊形式
【在 d******4 的大作中提到】 : Could you give more details about how to use survival analysis on user : attrition? : thanks
|
j*******g 发帖数: 331 | 7 似乎不同领域对bayesian的理解也不太一样 比如统计跟信号处理 也是最近才发现
我对beyasian的学习集中在probabilistic graphic model上
【在 P*****6 的大作中提到】 : 谢谢, : 那我要把survival analysis深入研究一下。 : naïve bayes 好像是 classification 的方法。很简单易用,有效。但其难度和 : 理论应用的广度比真正的bayesian analysis差远了。通常不归在bayesian analysis。 : 当初学bayesian analysis, 要先学EM 和 sampling, 洋洋上百页的讲义,连 : empirical bayes 都只有一页。naïve bayes 根本没提。 但是bayesian 方法即 : 使在统计中都是小众。它的广度只是理论上的。 : 这个版有点冷清,全靠你了。其实,我觉得data science很值得交流,就算是需要不少 : 编程知识,大家只要看清方向,多交流,也会提高比较快,用不了一两年就可以实用了
|
P*****6 发帖数: 273 | 8 说实话,不知道生物统计临床怎么使,除此之外,我觉得就是graphic model用
bayesian最为易于理解,MCMC简直就是天然为此设计的。但是不知道data scientist用
它能解决什么问题
【在 j*******g 的大作中提到】 : 似乎不同领域对bayesian的理解也不太一样 比如统计跟信号处理 也是最近才发现 : 我对beyasian的学习集中在probabilistic graphic model上
|
t*********u 发帖数: 26311 | 9 你们说的survival analysis就是
stochastic process/reliability analysis的?
没做过marketing,
不过所有survival analysis的应用应该都差不多--
user attrition是一个event,
用一般的classification方法可以用来预测event occurrence within a certain
width of period
用survival就可以用来预测when the event will occur
logistic regression可以视为Cox model with exact/discrete time treatment of
tied events的特殊形式
【在 A*******s 的大作中提到】 : 没做过marketing, : 不过所有survival analysis的应用应该都差不多-- : user attrition是一个event, : 用一般的classification方法可以用来预测event occurrence within a certain : width of period : 用survival就可以用来预测when the event will occur : logistic regression可以视为Cox model with exact/discrete time treatment of : tied events的特殊形式
|
c****t 发帖数: 19049 | 10 machine learning的毛病就是没有自己原产的cost function。optimization和cost
function没啥关系。cost function实际上成了post monitoring
MCMC就是把它选cost function(MAP)和optimzation打包一起初理
【在 j*******g 的大作中提到】 : 似乎不同领域对bayesian的理解也不太一样 比如统计跟信号处理 也是最近才发现 : 我对beyasian的学习集中在probabilistic graphic model上
|
|
|
c***z 发帖数: 6348 | 11 我是半瓶醋叮当晃
班上其他大牛才是深藏若虚
bayesian analysis对我来说确实是高山仰止 类似于物理里面的统一场论
【在 P*****6 的大作中提到】 : 谢谢, : 那我要把survival analysis深入研究一下。 : naïve bayes 好像是 classification 的方法。很简单易用,有效。但其难度和 : 理论应用的广度比真正的bayesian analysis差远了。通常不归在bayesian analysis。 : 当初学bayesian analysis, 要先学EM 和 sampling, 洋洋上百页的讲义,连 : empirical bayes 都只有一页。naïve bayes 根本没提。 但是bayesian 方法即 : 使在统计中都是小众。它的广度只是理论上的。 : 这个版有点冷清,全靠你了。其实,我觉得data science很值得交流,就算是需要不少 : 编程知识,大家只要看清方向,多交流,也会提高比较快,用不了一两年就可以实用了
|
P*****6 发帖数: 273 | 12 高手啊,能总结成这样
【在 c****t 的大作中提到】 : machine learning的毛病就是没有自己原产的cost function。optimization和cost : function没啥关系。cost function实际上成了post monitoring : MCMC就是把它选cost function(MAP)和optimzation打包一起初理
|
A*******s 发帖数: 3942 | 13 理论上就是Poisson process,semiparametric inference那些东西
不过应用起来知不知道这些理论关系不大
不大熟悉survival model在reliability方面的应用,不好说。
【在 t*********u 的大作中提到】 : 你们说的survival analysis就是 : stochastic process/reliability analysis的? : : 没做过marketing, : 不过所有survival analysis的应用应该都差不多-- : user attrition是一个event, : 用一般的classification方法可以用来预测event occurrence within a certain : width of period : 用survival就可以用来预测when the event will occur : logistic regression可以视为Cox model with exact/discrete time treatment of
|
P*****6 发帖数: 273 | 14 这话可以理解为bayesian 在实际中用处不大就象统一场论 :)
bayesian analysis没有这么难,只要上课肯定能会。平时还可以用winbug.
我觉得data scientist主要工作是分析问题,找到合适的方法。大部分这些方法展现出
来后,数学推倒都不算难。关键是想透,基本功扎实不出概念错误。
【在 c***z 的大作中提到】 : 我是半瓶醋叮当晃 : 班上其他大牛才是深藏若虚 : bayesian analysis对我来说确实是高山仰止 类似于物理里面的统一场论
|
P*****6 发帖数: 273 | 15 恩,以前老考虑sensoring,所以忘了survival analysis其实有两大特点:
一个是 可以处理sensoring
另一个是可以处理时间
不过我觉得survival analysis主要不是用来预测when the event will occur的,特别
是作为semi-paramatric的cox model.应该主要是用来比较不同factor对event发生概率
的影响(比率)。引入的时间项h(t)是unspecific的,因此求解中消掉了好像。不知对
不对。有大牛说说。 另外,需要提醒的是它的exp项是没有intercept的。这个是与
logistic regression重要的不同的之一。
【在 A*******s 的大作中提到】 : 没做过marketing, : 不过所有survival analysis的应用应该都差不多-- : user attrition是一个event, : 用一般的classification方法可以用来预测event occurrence within a certain : width of period : 用survival就可以用来预测when the event will occur : logistic regression可以视为Cox model with exact/discrete time treatment of : tied events的特殊形式
|
A*******s 发帖数: 3942 | 16 After we have beta estimates of Cox model, we can further fit baseline
function h(t). Then we could do numeric integral upon H(t, X) to get S(t, X)
【在 P*****6 的大作中提到】 : 恩,以前老考虑sensoring,所以忘了survival analysis其实有两大特点: : 一个是 可以处理sensoring : 另一个是可以处理时间 : 不过我觉得survival analysis主要不是用来预测when the event will occur的,特别 : 是作为semi-paramatric的cox model.应该主要是用来比较不同factor对event发生概率 : 的影响(比率)。引入的时间项h(t)是unspecific的,因此求解中消掉了好像。不知对 : 不对。有大牛说说。 另外,需要提醒的是它的exp项是没有intercept的。这个是与 : logistic regression重要的不同的之一。
|
P*****6 发帖数: 273 | 17 我猜您是想说paramatric survival analysis, 比如假设weibull distribution?
这个说不定对customer attrition 真的很有用。
X)
【在 A*******s 的大作中提到】 : After we have beta estimates of Cox model, we can further fit baseline : function h(t). Then we could do numeric integral upon H(t, X) to get S(t, X)
|
A*******s 发帖数: 3942 | 18 Cox model是不用fit baseline hazard function,但是你想fit的话也有办法,got it?
【在 P*****6 的大作中提到】 : 我猜您是想说paramatric survival analysis, 比如假设weibull distribution? : 这个说不定对customer attrition 真的很有用。 : : X)
|
P*****6 发帖数: 273 | 19 大牛,受教了, 我倒是不怀疑牛人们会有办法。就是不知道啥办法。
Cox model 我就知道个adjusted survival curve.
it?
【在 A*******s 的大作中提到】 : Cox model是不用fit baseline hazard function,但是你想fit的话也有办法,got it?
|
d******4 发帖数: 132 | 20 People assume the hazard function to be an increasing step function which
jumps only at times when an event is observed.
【在 P*****6 的大作中提到】 : 大牛,受教了, 我倒是不怀疑牛人们会有办法。就是不知道啥办法。 : Cox model 我就知道个adjusted survival curve. : : it?
|