f***a
发帖数: 329 | 1 I am starting doing something for my degree. right now I run some simulated
data (n=10) and since the model I am working on is still under construction
so sometimes I have to 1000000 MCMC iterations to see what's really going on
. It takes hours for one test. :(
And the real data will be much larger than this, I guess I will have to
optimize the program or re-write it in other language.
I have some experience in C and matlab. So which I should focus? Is is hard
to code in C once you are used to |
|
f***a
发帖数: 329 | 2 Hierarchical model:
y_i given mu_i is independent pois(mu_i) for i=1,...,n;
f(mu_1, ..., mu_n) is multivariate distribution with parameters (beta_1, ...
, beta_n);
(y_i 's are observed data and mu_i 's are latent variables here)
I ran random walk metropolis-hasting and got posteriors for mu_i and beta_i
which all converge well. But when extending model to beta_i=b0+b1_i*x_i (x_i
's are "location" of data points and known and b0 is known), I tried to use
the same algorithm but failed to get good |
|
b*******g
发帖数: 513 | 3 Hello!
Sometimes, the WinBUGS prompts a warning message saying something like mcmc
can be dangerous.
What does the warning message exactly say?
Can someone tell me?
Thank you very much! |
|
|
n****6
发帖数: 570 | 5 Gilks has a c source code for arms, it seems very stable. You can google it.
I know some people using it for MCMC sampling. Actually, if you only sample
one parameter, maybe numerical integration is very efficient. |
|
g**********t
发帖数: 475 | 6 还是有相似之处的。比如先见面的时候第一印象(prior distribution)很重要，但是长
久的relationship还得看性格合不合。其实我觉得用Reversible jump MCMC比喻可能更
合适。Relationship就像一个model selection问题，这个交往一段不合适就去找别的
了（alternative model）。
distrib |
|
g**********t
发帖数: 475 | 7 google了一下这个帖子，果然不大符合这个版。话说陈同学要推广自己的理论应该根据
自己的理论设计一些牛x的统计方法，而不是大谈特谈哲学观点。以鄙人一个庸俗实用
主义者的观点，只要你的方法比别的方法powerful，咱就用你的方法，不管你的方法的
哲学基础是什么。统计学中比较典型的例子是Baysian statistics，要不是MCMC将这种
统计方法实用化，估计现在还是没多少人用这种哲学趣味很浓的方法。 |
|
a***r
发帖数: 420 | 8 谢谢前辈！增加了点信心^^
主要我现在觉得，学的好像也不难，各种data analysis，typically linear model，
以后会再学bayes model啥的，但是总的来说，ms并不是很深的，像MCMC这种比较高级
的东东，整个系里都不太有人搞。做phD的话，project相关的肯定会比较熟，但不知道
以后工作，基础训练会不会不够用啊。
术。
clinical |
|
|
|
w**********y
发帖数: 1691 | 11 好像还是对"钱景"感兴趣的人多一点点嘛..
俺所谓的"金融统计",是花街能用得着的统计.比如说statistical arbitrage和high
frequency trading.然后传说很多hedge fund用machine learning用的很多.据说90年
代储,神经网络还被用于做trading system呢.MIT的andrew lo用过pattern
recognization做股票的TA分析.
不过我没有很好的朋友在HF做,所以不是很了解.只知道一些公司,比如ITG,SIG用的比较
多,不过不算hedgefund吧.
另外还有一些支离破碎的统计知识在用,比如有人用sequential sampling或者MCMC去做
model calibration;那个"人人喊打"的copula用于credit derivative pricing. Monte
Carlo simulation是花街的必不可少的工具,不过不学统计的也都会...
系统的去用统计model,比如GLM啊,FDA啊,俺没见过...当然了,去保险公司或者做risk
management,统计就会用的 |
|
S******y
发帖数: 1123 | 12 How can I compute the area between my curve and diagonal line?
Thanks.
Is MCMC a good solution?
> x<-c(0,0.2,0.4,0.6,.8,.9,.95,.99,1)
> y<-c(0,0.1,0.15,0.3,0.7,.9,.94,.98,1)
> plot(x,y,type='l')
> abline(0,1) |
|
a***r
发帖数: 420 | 13 "Then, we update the haplotypes for each individual in turn by using the
current set of haplotype estimates for all individuals as templates and
sampling S proportional to the likelyhood L(S|G)∝P(G,S).A new set of
haploytpes for an individual is then defined according to sampled mosaic."
其中， S是HMM中的hidden states， G是observations
P(G,S)作为S和G的joint probability，可以由markov chain基本公式得出，认为已知
关键是“sampling S proportional t the likelyhood L(S|G)∝P(G,S)”，不明白是
咋个sampling的过程，大致觉得是说对每一个individual来说（每个G），相对 ”th |
|
|
D******n
发帖数: 2836 | 15 if u have s1 10%,s2 20%,s3 70%
just line up the states,
s1 s2 s3
|----|--------|--------------------|
0 0.1 0.3 1
and then generate a random number r
if r<0.1 s1
elsif r<0.3 s2
else s3
the
,S |
|
a***r
发帖数: 420 | 16 我第一年，在做rotation，所以大家可以看到我的求助帖种类比较多样。。。
不过这个rotation的内容确实是genotype imputation和haplotype phasing：） |
|
|
|
|
b*****n
发帖数: 685 | 20 直接说multinomial sampling不就行了。 |
|
|
a***r
发帖数: 420 | 22 我圡，还没学过
自己搜的sampling的资料，没跟这句话对应上 |
|
b*****n
发帖数: 685 | 23 呵呵，我是从小说里面抄的，具体哪所就不说了。
裤子大还是不知道是哪所？ |
|
m**c
发帖数: 88 | 24 怎样生成离散分布的随机数啊？有直接的方法吗，比如像randn()这样的函数
不用MCMC的方法，有什么直接的方法？ |
|
|
w*****n
发帖数: 375 | 26 我认为是你的 mixture model 没有fit 好。
你如何确定需要三个Gaussian components？ 他们的权重又是如何定的？ |
|
z**k
发帖数: 378 | 27 研究部门用R和Matlab很多，做Bayesina，MCMC那些人用C/Fortran/C++很多，
Marketing那些
人用SAS很多，一个公司里同一个level上的员工工资不会有多少差，虽然做的事情完全
不一样。 |
|
k****i
发帖数: 70 | 28 这么火爆的帖子, 不忍心不插一脚..
总觉得 R 是 介于C++ 和 SAS 之间的东西. 如果是做统计model 的话, R比C++方便很
多啊... 上学期用C++写个Gibbs\MCMC那叫一个痛苦啊... 不过R就方便多了..真难以想
象没有R之前的前辈是怎么活的.. 如果出packages的话, 那就非C++莫属了, 那叫一个
效率高啊.
SAS毕竟是商业软件..为的就是一个漂亮,规范, 写程序的时候心情好很多.. 但是不方
便加入自己的idea.
笑话一则.... t-test 在公司中是王道啊... |
|
f***a
发帖数: 329 | 29 why not?
Usually the difficulty of hierarchical model is how to approximate
likelihood. MCMC is really powerful tools, but not the only one. Laplace
approximation is widely used in hierarchical models as well. And other
methods. |
|
f***a
发帖数: 329 | 30 有时候asymptotic推得是让人吐血。。。
bayesian自从有了MCMC确实应用起来非常畅快,什么model都能算出点结果，不过真正能
把问题看清
楚的人就不多了。
interval |
|
w*****n
发帖数: 375 | 31 你对Bayesian 了解得不够，说的不对。
Bayesian 比 frequentist 出现得早。 从符合人类思考的角度来说，Bayesian
inference 更加自然。只是因为计算能力的问题，有一段时间Bayesian methods 比
frequentist 发展的慢。
Bayesian inference 没有你说的那么简单。MCMC 比 bootstrap, EM 要复杂， 需要考
虑的东西很多。
interval |
|
t******g
发帖数: 2253 | 32 I think from an inference perspective, I prefer Bayesian inference more. The
likelihood principle and some other principles really make sense. But in
frequentist inference, these principle doesn't hold. Also, Bayesian is not
only MCMC and there are many things in Bayesian statistics. Personally I
like the philosophical foundation of Bayesian statistics. Why don't we learn
from both frequentis and Bayesian. Many famous professors, in my opinion,
are people that are pragmatic. No matter frequetist |
|
|
p********r
发帖数: 1465 | 34 能给个样例吗？
貌似SAS 9.2才有的proc mcmc |
|
y*****y
发帖数: 98 | 35 research还是很多在用的. 比如大矩阵运算，1000阶普通矩阵或者几十万阶sparse
matrix, MCMC每次update算inverse,eigenvalues几十次，搞个几万次update.通常办法
是mission impossible了。所以一是要特殊算法，二是要高效底层语言。 |
|
f***a
发帖数: 329 | 36 恩，我写个mcmc for GLMM with spatial random effects, spatial grid 40*40,
thining=100,iter=10000, R就抗不住了，一觉醒来也未必算得完。
matlab要快些，毕竟是“matrix lab”，呵呵。
估计用c++能快很多。 |
|
S******y
发帖数: 1123 | 37 我现在正在测试Amazon EC2： 64 bit R + 64 bit Linux （60 GB memory）。
如急用， 把你的R code 寄给我， 我可以帮你 跑 一下 MCMC |
|
b*****n
发帖数: 685 | 38 就是说那个分布已知，忽略一个normalizing constant的情况下。 |
|
f***a
发帖数: 329 | 39 Good explanation!
胡乱补充一些，
Monte Carlo methods定义非常广，譬如你若想找出 pi的估计值可以用如下Monte
Carlo
method: 画个正方形，在里面画个内切圆；然后均匀撒米到正方形里面；最后数落在正
方形里面和
圆里面米的数量；那么 pi 就约等于 4*n_circle/n_square 。
不严谨的说Monte Carlo methods差不多就是把一个难解决的问题分成相对简单的“一
小步一小
步”去做，得到一个近似答案。
MCMC的话是应用monte carlo steps和markov chain的equilibrium性质generate
sample，主要是sample from posterior distribution因为它们很多形式都是乱七八糟
的很
难sample。
use the
Monte
many
technique |
|
x*******i
发帖数: 1791 | 40 很复杂的话，现在有一个不错的方法。slice gibbs。
选proposal的话，选个variance大的可以，损失accept rate。 |
|
s******a
发帖数: 184 | 41 “选proposal的话，选个variance大的可以，损失accept rate。”那对于选哪个具体
的proposal density有什么指导性的方法呢？ 选normal? |
|
s*****n
发帖数: 2174 | 42 关键要看missing mechanism是什么,
是 MCAR, MAR, 还是 NIM? NIM 里面又分2种, outcome-based missing 和 random-
effect-based missing
简单的方法(比如mean-substitution, LOCF)最多只对MAR适用, 对于 NIM, 恐怕得用
MCMC, EM. |
|
l*********s
发帖数: 5409 | 43 possibly not converged yet. |
|
m****n
发帖数: 3016 | 44
Thanks for replying. I will try more iterations. |
|
b*****n
发帖数: 685 | 45 有时converge了也不行，因为有multiple mode. |
|
l*********s
发帖数: 5409 | 46 multiple modes 的话就算converge了参数分析都很难解释吧。 |
|
m****n
发帖数: 3016 | 47 你们觉得跟prior 的设法有关么？ 我现在15个是 uni 或者log uni, 5个是normal的，
如果都变成normal是否会有帮助么？ |
|
|
m****n
发帖数: 3016 | 49
我对 prior的分布，没有太多的倾向，也就是，没太多信息在prior里，所以，可以换
个prior
dist. 试试。 |
|
l*********s
发帖数: 5409 | 50 For improper priors, you can have bizarre problems. Try proper priors and do
some sensitivity analysis to see how it pans out |
|
