s******a
发帖数: 184 | 1 请问Markov Chain Monte Carlo和 Monte Carlo根本性的区别是什么？ 比如说两种方
法都可以用来estimate integral。 如何确定应该使用何种方法呢? |
y*****y
发帖数: 98 | |
s******a
发帖数: 184 | 3 能不能详细解释一下？
【在 y*****y 的大作中提到】
: 马和白马，鸡蛋和中国鸡蛋的区别
|
y*****y
发帖数: 98 | 4 simply speaking, by law of large numbers, you can draw N samples and use the
average to approximate the distribution, expectation, etc. (which are
integrals and usually not easy to get close forms). The method is Monte
Carlo.
MCMC means your samples are from a Markov Chain (check references for
definitions etc.) MCMC is useful in Bayesian computation because in many
situations the posterior is not in close form. This is a sampling technique
which allows you to obtain samples sequentially. |
f***a
发帖数: 329 | 5 Good explanation!
胡乱补充一些，
Monte Carlo methods定义非常广，譬如你若想找出 pi的估计值可以用如下Monte
Carlo
method: 画个正方形，在里面画个内切圆；然后均匀撒米到正方形里面；最后数落在正
方形里面和
圆里面米的数量；那么 pi 就约等于 4*n_circle/n_square 。
不严谨的说Monte Carlo methods差不多就是把一个难解决的问题分成相对简单的“一
小步一小
步”去做，得到一个近似答案。
MCMC的话是应用monte carlo steps和markov chain的equilibrium性质generate
sample，主要是sample from posterior distribution因为它们很多形式都是乱七八糟
的很
难sample。
use the
Monte
many
technique
【在 y*****y 的大作中提到】
: simply speaking, by law of large numbers, you can draw N samples and use the
: average to approximate the distribution, expectation, etc. (which are
: integrals and usually not easy to get close forms). The method is Monte
: Carlo.
: MCMC means your samples are from a Markov Chain (check references for
: definitions etc.) MCMC is useful in Bayesian computation because in many
: situations the posterior is not in close form. This is a sampling technique
: which allows you to obtain samples sequentially.
|
s******a
发帖数: 184 | 6 谢谢。
可不可以从实用角度这么理解
比如说有一个符合normal distribution的随机变量x, 对f(x) 求积分。
1） 可以用R自带的函数产生符合normal distribution的sample
2） 可以用MCMC 产生sample,
那针对这种问题，MCMC并没有优势
但假如需要对一个有复杂distribution的随机变量x,
R或者Matlab都没有现成的函数，则只能用MCMC 产生这些sample
【在 f***a 的大作中提到】
: Good explanation!
: 胡乱补充一些，
: Monte Carlo methods定义非常广，譬如你若想找出 pi的估计值可以用如下Monte
: Carlo
: method: 画个正方形，在里面画个内切圆；然后均匀撒米到正方形里面；最后数落在正
: 方形里面和
: 圆里面米的数量；那么 pi 就约等于 4*n_circle/n_square 。
: 不严谨的说Monte Carlo methods差不多就是把一个难解决的问题分成相对简单的“一
: 小步一小
: 步”去做，得到一个近似答案。
|
f***a
发帖数: 329 | 7 你是要求积分还是要generate samples from distribution？
generate samples from distribution的话：有buit-in funtion的就用，不然有很多别
的办法，譬如inverse CDF, transformation, accept-reject algorith, important
sampling, ..., etc. MCMC是其中一种，一般来说MCMC运算量大，不是特别麻烦的
distribution,能用别的algorithm就用别的吧。
你是要求f(x)积分的话：常见的当然直接用CDF就完了；f(x)是很复杂的pdf，或者是很
复杂的
f(x)的函数的话有很多numerical methods可以用（具体看相关的书），其中一种方法
就是用
distribution sampling求，譬如
\integral f(x) dx= \integral f(x)/g(x)*g(x ) dx = E[f(x)/g(x)];
generate x_i, i=1,...,n from g(x);
then the e
【在 f***a 的大作中提到】
: Good explanation!
: 胡乱补充一些，
: Monte Carlo methods定义非常广，譬如你若想找出 pi的估计值可以用如下Monte
: Carlo
: method: 画个正方形，在里面画个内切圆；然后均匀撒米到正方形里面；最后数落在正
: 方形里面和
: 圆里面米的数量；那么 pi 就约等于 4*n_circle/n_square 。
: 不严谨的说Monte Carlo methods差不多就是把一个难解决的问题分成相对简单的“一
: 小步一小
: 步”去做，得到一个近似答案。
|
S******y
发帖数: 1123 | 8 Good discussion!
Is fanta a faculty member at some Bayesian Stats Dept? |
a***n
发帖数: 3 | 9 我的理解：
Monte Carlo method是一般意义的随机模拟方法，它首先得抽样，再做统计计算，估
计期望。
根据抽样方式的不同，可以对monte carlo分类。如，常见的是简单随机抽样，也即iid
方式，这也就是大众理解的monte carlo方法，如用来计算PI值的积分模拟方法。当不
是iid方式，也就是说样本不独立，同分布也难定，那种类就很多，较简单的是，抽样
是对Markov Chain 特征的总体，这些样本在较短时间内不独立，但充分长时间内的样
本之间是独立的，当然前提条件是这个Markov Chain 是稳态的，也即能达到统计物理
上的平衡。对Markov Chain 抽样不能用简单的类似求PI值一样的方式，而常采用
Metropolis抽样方式，首先模拟总体生成一个满足要求的Markov Chain，再对这个链进
行抽样，再做统计计算，当然还得先对这些来自Markov Chain的样本进行关联性分析。
这种Monte Carlo方法就是Markov Chain Monte Carlo。
Markov Chain中的每个微观态只和前一个态概率关联，以其他历史态独立， |
d*******1
发帖数: 854 | 10 讨论的很好， 小本子记下了。 另外为什么叫蒙特卡洛啊， 因为是赌城， 所以和从概
率分布中取样有关？
iid
【在 a***n 的大作中提到】
: 我的理解：
: Monte Carlo method是一般意义的随机模拟方法，它首先得抽样，再做统计计算，估
: 计期望。
: 根据抽样方式的不同，可以对monte carlo分类。如，常见的是简单随机抽样，也即iid
: 方式，这也就是大众理解的monte carlo方法，如用来计算PI值的积分模拟方法。当不
: 是iid方式，也就是说样本不独立，同分布也难定，那种类就很多，较简单的是，抽样
: 是对Markov Chain 特征的总体，这些样本在较短时间内不独立，但充分长时间内的样
: 本之间是独立的，当然前提条件是这个Markov Chain 是稳态的，也即能达到统计物理
: 上的平衡。对Markov Chain 抽样不能用简单的类似求PI值一样的方式，而常采用
: Metropolis抽样方式，首先模拟总体生成一个满足要求的Markov Chain，再对这个链进
|
c***i
发帖数: 3 | 11 原来不是人名啊...
【在 d*******1 的大作中提到】
: 讨论的很好， 小本子记下了。 另外为什么叫蒙特卡洛啊， 因为是赌城， 所以和从概
: 率分布中取样有关？
:
: iid
|
