r**********y 发帖数: 2774 | 1 网上肯定有啊, 不过mcmc自己写写不难啊。 关键要看你自己的prior 和likelihood
model
framework, |
|
m**s 发帖数: 346 | 2 【 以下文字转载自 Statistics 讨论区 】
发信人: meds (忘记吃药了!), 信区: Statistics
标 题: 付费找tutor
发信站: BBS 未名空间站 (Sun May 29 21:52:33 2011, 美东)
修一门bayesian methods in computer science。
主要是编程实现一些统计上面的算法。
开始还好,最近的一个lab,让我很头大。也许给我很多时间,我能想出来,但是会太
迟了。明天就要交了,虽然是memorial day。
不是想找人帮忙做,只需要懂的人看看,点拨一下。为了表示对您的时间的尊重,我愿
意$10/hr 补偿您的时间。钱肯定不多,您如果嫌不够,可以再商量。
下面是这个lab的大概意思:
implement MCMC using Metropolis (or Metropolis-Hastings).lab给了4个bayesian
networks,要用我们写的程序针对某个query,做sampling,然后plot mixing, prior,
and posterior. 其实我自己感觉这个lab有些地... 阅读全帖 |
|
g**********t 发帖数: 475 | 3 【 以下文字转载自 JobHunting 讨论区 】
发信人: geneticdrift (不懂微积分), 信区: JobHunting
标 题: bioinformatics在工业界的职位?
发信站: BBS 未名空间站 (Mon Jul 16 20:39:46 2012, 美东)
PhD到高年级了,要考虑毕业找工作的事情了。以前一直打算在学术界混,不过这年头
学术界太难找到faculty位置了,我们实验室我导师欣赏的u一个博士后,就因为英语不
好(法国人,有很重的口音),面试n个学校都没有拿到offer,黯然去英国做资深博士
后了。我老英语比他只差不好,实在很难在这边找到教职。原本打算回国做青教的,但
是女朋友喜欢国外,不想回国,所以还得考虑在这边找工作。个人有一定的编程底子,
也比较喜欢编程。本科生物背景,有6年perl编程经验,三年C++编程经验,入门级R/
MySQL经验(最近用的太少,忘的差不多了),做的都是bioinformatics相关的学术项
目。现在做的东西比较偏统计模型,熟悉基本的统计模型,用C++写过较复杂的MCMC程
序。比较想做模型/程序的开发,不太想捣鼓... 阅读全帖 |
|
m*p 发帖数: 1331 | 4 zkss 你的“C++写过较复杂的MCMC”是怎么个复杂法? |
|
V**0 发帖数: 889 | 5 有些东西本来就没法并行,比如MCMC
高主频还是很管用的 |
|
t*****z 发帖数: 1598 | 6 最近入了一块二手的GTX 580,插上一测果然凶猛,跑我的Bayesian MCMC比CPU(i7-
4820k,八线程全开,超频)快了整整三倍,比原先的一块GTX 650也快了三倍。我之所
以买这卡是听说从前的Fermi架构比现在的Kepler架构更加适合科学计算。Fermi的双精
度速度是单精度的八分之一,在民用N卡里面已经算最好了(除Titan)。我还想再接再
厉。网上一搜,GTX 480和680都有破解方法(刷BIOS、拔元件什么的方法,虽然貌似不
能提升双精度)。不知这GTX 580可否也怎么一下就破解成Tesla M2090,那就厉害了。
有没有高手share下经验? |
|
n****6 发帖数: 570 | 7 很有兴趣你的bayesian mcmc,有软件包吗 |
|
t*****z 发帖数: 1598 | 8
现在急切需要的是Bayesian MCMC,计算量相当大,而且并行程度不高,再好的电脑都
会遇到瓶颈,唯一值得欣慰的是显卡可以分担一部分计算。
还有很多进化分析的软件(应该说是绝大多数软件),根本是不能并行的,所以我需要
单核性能强的CPU。
课题中还有各种需要计算的东西,比如基因组数据的分析,需要很大内存。甚至非计算
的场合,打开一颗很大的进化树,也要很多的内存,一般家用机还做不了。 |
|
F****3 发帖数: 1504 | 9 祝愿lz楼主早日出大成果,出了成果在版上发个帖子吧!
顺便问一句我前一阵看到一个帖子说FBI掌握了长生不老的干细胞方法。那个是真的吗?
MCMC是不是用显卡算快很多?学校服务器很多节点但是速度不快。。。 |
|
t*****z 发帖数: 1598 | 10
现在急切需要的是Bayesian MCMC,计算量相当大,而且并行程度不高,再好的电脑都
会遇到瓶颈,唯一值得欣慰的是显卡可以分担一部分计算。
还有很多进化分析的软件(应该说是绝大多数软件),根本是不能并行的,所以我需要
单核性能强的CPU。
课题中还有各种需要计算的东西,比如基因组数据的分析,需要很大内存。甚至非计算
的场合,打开一颗很大的进化树,也要很多的内存,一般家用机还做不了。 |
|
F****3 发帖数: 1504 | 11 祝愿lz楼主早日出大成果,出了成果在版上发个帖子吧!
顺便问一句我前一阵看到一个帖子说FBI掌握了长生不老的干细胞方法。那个是真的吗?
MCMC是不是用显卡算快很多?学校服务器很多节点但是速度不快。。。 |
|
t*****z 发帖数: 1598 | 12 楼主出于科学计算的纯洁高尚的动机,找了一大堆CPU和GPU来做试验,自己掏钱买的是
GTX580,借来的是HD7870XT,此外还有一大堆零碎,全用来跑Bayesian MCMC,看结果
如何?
不多说直接上图: |
|
V**0 发帖数: 889 | 13 什么代码可以用gpu跑baysesian mcmc? |
|
V**0 发帖数: 889 | 14 看并行到啥级别,likelhood那一步其实可以,这就已经很厉害了
当然,总体大的步骤而言MCMC是串行的 |
|
b*********n 发帖数: 2284 | 15 你这配置能完爆6700K+64G ddr4吗?比如compile c++ and MCMC? |
|
t*******e 发帖数: 1633 | 16 MCMC和compile都是核越多越好,肯定是双路牛 |
|
V**0 发帖数: 889 | 17 MCMC要充分利用多核,技术门槛还是比较高的。如果说一个chain内的并行算法,好像
是去年刚做出来的prototype,不知道现在有成形的库了没有 |
|
b*****n 发帖数: 685 | 18 【 以下文字转载自 Statistics 讨论区 】
发信人: bullren (牛人), 信区: Statistics
标 题: 请教:用C怎么产生uniform的随机数
发信站: BBS 未名空间站 (Wed Mar 31 05:36:58 2010, 美东)
要做MCMC,盼高手解答,谢谢 |
|
j********x 发帖数: 2330 | 19 http://www.eecs.berkeley.edu/~hzhao/papers/BD.pdf
We made a case for the importance of single-node enhancements
for cost and power efficiency in large-scale behavioral
data analysis. Single node performance of the BID
Data suite on several common benchmarks is faster than
generic cluster systems (Hadoop, Spark) with 50-100 nodes
and competitive with custom cluster implementations for
specific algorithms. We did not describe any MCMC algorithms,
but these also are an important part of the BID
Dat... 阅读全帖 |
|
l*******m 发帖数: 1096 | 20 现在用DL做贝叶斯十分流行,只是老中概率教育不好,基本上是欧洲人做。
基本上就是两个DL networks左右互搏,避免了MCMC或是VI
. |
|
o*********n 发帖数: 1 | 21 我今年暑假将开始做一个统计方面的project.
将要用到的方法是
MCMC(Markov Chain Monte Carlo) & Bayes.
And it is called "stocahstic engine".
不同的部份需要用到不同的语言。而且要求在UNIX 下的
workstation 编写。我只是两三年前的本科时代学过Fortran
和C. 因为最近一年一直在用Splus & SAS,Fortran &C的
语法都没印象了。能否推荐基本易学又实用的书呢?
anything relatedwith computer always make me heahache.
wuwu~~
Thanks all lah. |
|
l**********1 发帖数: 5204 | 22 Matrix PDE Boolean network Bayesian network Game theory etc will belong
to Basic level =PhD student training
High dimensions Monte Carlo Markov Chain (MCMC), Hidden Markov models,
Kalman filters and Ising models
belong to middle level. PD training
One Book its any one chapter if you can read completely
then you should qualified basic level:
//www.ift.unesp.br/users/mmenezes/mathbio.pdf
---
Borwein integral sinc function Fourier Transform Higher level PI tenuring... etc.
//www.springerlink... 阅读全帖 |
|
G***y 发帖数: 1082 | 23 Pop Gen这个领域很多就不是算法的问题了,涉及更多的还是BioStat吧。当然如果会写
MCMC之类的肯定有帮助。 |
|
X******2 发帖数: 5859 | 24 类似的文章还有很多。
都是在数学或统计,或是mcmc“近似”计算时出问题。 |
|
l**********1 发帖数: 5204 | 25 sure
搞GWAS SNP RNA-seq 必看的 references:
@ARTICLE{Holmans09,
AUTHOR = {P. Holmans and E. K. Green and J. S. Pahwa and M. A.
Ferreira and S. M. Purcell and P. Sklar and {the Wellcome Trust Case-
Control Consortium} and M. J. Owen and M. C. {O'Donovan} and N. Craddock},
TITLE = {Gene Ontology Analysis of GWA Study Data Sets
Provides Insights into the Biology of Bipolar Disorder},
JOURNAL = {The American Journal of Human Genetics},
YEAR = ... 阅读全帖 |
|
g**********t 发帖数: 475 | 26 【 以下文字转载自 JobHunting 讨论区 】
发信人: geneticdrift (不懂微积分), 信区: JobHunting
标 题: bioinformatics在工业界的职位?
发信站: BBS 未名空间站 (Mon Jul 16 20:39:46 2012, 美东)
PhD到高年级了,要考虑毕业找工作的事情了。以前一直打算在学术界混,不过这年头
学术界太难找到faculty位置了,我们实验室我导师欣赏的u一个博士后,就因为英语不
好(法国人,有很重的口音),面试n个学校都没有拿到offer,黯然去英国做资深博士
后了。我老英语比他只差不好,实在很难在这边找到教职。原本打算回国做青教的,但
是女朋友喜欢国外,不想回国,所以还得考虑在这边找工作。个人有一定的编程底子,
也比较喜欢编程。本科生物背景,有6年perl编程经验,三年C++编程经验,入门级R/
MySQL经验(最近用的太少,忘的差不多了),做的都是bioinformatics相关的学术项
目。现在做的东西比较偏统计模型,熟悉基本的统计模型,用C++写过较复杂的MCMC程
序。比较想做模型/程序的开发,不太想捣鼓... 阅读全帖 |
|
l**********1 发帖数: 5204 | 27 怕啥 上Hidden Markov Model
Monte Carlo simulation
likes below PD position needed skills:
Key Requirements
We seek a highly-motivated research scientist
with expertise in computational statistics (MCMC,
rjMCMC and other advanced Monte Carlo algorithms)
and in computer programming (C/C++, R, and
PERL). Experience of UNIX/Linux is essential.
A PhD in one of the following areas is essential:
computational statistics, computer science,
theoretical population genetics, and statistical
phylogenetics.
li... 阅读全帖 |
|
N******n 发帖数: 3003 | 28 the usual Bayesian approach obtains the posterior probability through MCMC
sampling and takes longer time. ML gets its parameter estimation through
numerical optimization and therefore, faster than BI.
bootstraps |
|
|
t*****z 发帖数: 1598 | 30 我用过Bio Linux,感觉没啥必要,就是个基于Ubuntu的定制版,而且还是基于过时的
Ubuntu版本。现在Ubuntu官方软件库里的生物类软件已经很丰富了。我是做进化分析的
,安装完Ubuntu要做的一件事情是:
sudo apt-get install phylip emboss jemboss jalview seaview clustalw clustalo
mafft t-coffee raxml phyml figtree fasttree mrbayes beast-mcmc
libhmsbeagle1
to |
|
d********m 发帖数: 3662 | 31 个人感觉动不动deep learning的很容易半桶水啊。
希望楼上打我脸啊,要不报几个你最喜欢的算法吧。
我先来吧,我最近在做mixture models, em和mcmc用的比较多。 |
|
d********m 发帖数: 3662 | 32 对SNP modeling完全不了解,是logit or probit regression + hierarchical
probabilistic model + MCMC
这个步骤吗? |
|
d********m 发帖数: 3662 | 33 thanks.
不知道你说指的说反了是什么。定义了loss function,然后能做的无非就是1,
optimize,比如regression smoother,2,posterior expectation。model的好坏不就
都反应在这里面了?统计基本上所有的问题都是optimization,要么数值,要么EM,要
么MCMC。
另外,能具体展开说一下deep learning的核心code大概是指什么?我现在在做一个
gaussian mixture model的parameter estimation,写一个gibbs sampler核心都不止
十几行。不过你对coding那段的确对我启发很大,我coding的确是
不行,可能对你所说的理解不到位。 |
|
发帖数: 1 | 34 如果是转一般的马工,实在是没多大意思,也太浪费你男友的数学底子。要转也要去做
科研,比如说做Bayesian machine learning。据我所知,绝大多数Bayesian
inference方法(如各种MCMC方法和variational inference)都是那些做机器学习/统
计的大牛从统计物理学家那里抄过来的,你男友背景正合适, |
|
g******n 发帖数: 339 | 35 Hi,folks:
I am running a very computationally intensive Monte-Carlo Markov Chain
algorithm using R, but it seemed extremely slow. I know if I rewrite the
program in C, the efficiency will be improved a gread deal, however, it
might be easier for me to rewrite in matlab than C. Is there a significant
difference in efficiency between C and matlab for running MCMC program?
Thanks. |
|
t**k 发帖数: 260 | 36 要求一个高维积分(20-50维),被积函数应该是连续的,变量有约束,即每一维大于0且和为1。
找不到解析解,打算用数值积分。
1。请问用什么方法比较好?google了一下,似乎应该用MCMC?
2。有什么软件推荐?Matlab或者java或者c/c++?
谢谢! |
|
|
qt 发帖数: 9432 | 38 如果是MCMC呢?下一个sample总是依赖前一个sample,这种情况怎么并行呢?我现在唯
一想到的就是把里面矩阵相乘什么的并行一下,但是sample本身没办法并行是吗?
并行 |
|
c*******h 发帖数: 1096 | 39 如果算一个sample的过程可以高度并行的话,也算充分利用gpu了。
你这种流水线的下一个sample依赖前一个sample的模式,一般来说可以试一下
pipelining。不过pipelining是computation parallel的,而gpu是data
parallel的,所以不一定能做。看情况。
你也可以考虑能不能将一个sample变成一堆sample,下一堆sample依赖前一堆
sample,但同一堆sample里面各个sample是互不干涉的,可以并行。就看你
mcmc的算法设计了。 |
|
t*****e 发帖数: 224 | 40 ☆─────────────────────────────────────☆
mecklenburg (hoho) 于 (Thu Jan 11 06:15:12 2007) 提到:
who could recommand a book on MCMCfor non-statisticain? preferably with
example of Griddy Gibbs algorithm on economics model.Thank you very much
☆─────────────────────────────────────☆
booyah (booyahee) 于 (Thu Jan 11 13:18:27 2007) 提到:
I believe Geweke's latest book is for you.
http://www.biz.uiowa.edu/cbes/
In addition, Handbook of Econometrics vol. 5 has a chapter by Chib.
☆────────────────── |
|
m******y 发帖数: 266 | 41 最近我在做一个文献归纳,想请教一下有谁知道关于估计Bayesian Equilibrium,for
the simultaneously discrete choice game with incomplete informatin,的文献。
我只知道最近有一篇正在econometrica上revise的用mcmc做的,和Princeton的Andres
Aradillas-Lopez的一篇。
多谢! |
|
l********l 发帖数: 13 | 42 Bajari和Hong han有篇,不过不是Bayesian Equilibrium。
我想问下mcmc的那篇是谁的? |
|
m******y 发帖数: 266 | 43 有谁读过:Chernozhukov, Hong(2003): An MCMC approach to classical estimation?
我觉得这篇文章很有启发性,但还有好多地方不是太明白。也不知道其在文献里的地位。
希望私下讨论一二。请给我发邮件。 |
|
m******y 发帖数: 266 | 44 计算的问题在于,你不可能把参数空间都搜索一遍,因此我们最大化concave/convex的
目标函数时候,结合data,可以根据高斯牛顿法很“快”寻找出解。要把整个参数空间
都找一遍的办法是几乎不可行的。别的计算方法,譬如Han Hong他们的MCMC,也是希望
直接根据data直接找到解。
coordinates
, |
|
p*******t 发帖数: 501 | 45 如果有bayesian statistic的话,R是不是只能用MCMC来simulate? |
|
m******y 发帖数: 266 | 46 是啊,top杂志上的文章本来也就没什么.不过因为门槛高,所以对刚毕业的学生和青年
学者而言,是一个非常有效地signal。所以我们这些小鱼小虾一定要搞几篇出来,像鲤
鱼跳龙门一样高兴。
但要在主流圈子里做好,发表远不如引用。有不少这样的例子,文章可能当时都没有能
够发表,但是被广泛引用。一样可以赢得很高的声誉。我很喜欢的一篇文章,切诺朱可
夫和洪翰的那篇MCMC,虽然只发表在JE上,但是其地位,是远超一般的econometrica的
。他那篇文章,就算是不发表,也是好文章。 |
|
p**********n 发帖数: 1470 | 47 from wiki... 请自带避雷针
Another contribution of Dr. Chen to the financial industry and academia is
to develop the so-called Modeling without Programming techniques.
Specifically, Prof. Chen invented sophisticated techniques to implement
advanced algorithms and models in financial engineering, computational
finance and actuarial science, (such as Monte Carlo simulations, EVT,
Copulas, and MCMC) in Excel spreadsheets using Excel’s functions only.
These advanced models are normally implemented by serio |
|
S***i 发帖数: 146 | 48 假设不一样吧。 MCMC假定随机数之间状态转移是马尔可夫链, Monte Carlo只是用为随机数仿
真的一种方法。 |
|
m******y 发帖数: 266 | 49 fix x1 such that x1'*x1=R^2
max_{x2,...xn} d1+d2+...+dm
s.t. x2,...,xn.在一个球面上。(xj'*xj=R^2)
where m=n(n-1)/2.
d means the distance between xi and xj.
这就是一个非线性规划问题。不过那样计算好像比较慢。
但你可以用MCMC方法来解决这个优化问题,会快多了,大概最多20秒。
欧对计算数学也不懂,只是知道这么一点点,路过顺便说说。 |
|
O********9 发帖数: 59 | 50 Bishop的那本书是很多学校machine learning的教材。第四章有ML,第八章有
graphical model,第九章有EM,第十章是variational method,第十一章讲MCMC,第
十三章是HMM model。这些都是参数估计算法。难道我们说的不是一本书?
我学信号处理的 |
|