C**********e
发帖数: 23303 | 1 最近跑了几个超大型并行计算程序 时常在改变tolerance时收敛出错
也没有找到太好的解决办法
后来让这些nodes运行了几个前戏热身程序
哥戳戳你的G点缓冲区 妹儿甜甜哥的冠状敏感带
然后再运行
结果都是一气呵成 融会贯通
运算过程不出错
计算结果出奇地好
原来连计算机都知道前戏的重要性
一时 哥陷入了深深地沉思
大家虽然都知道在体育运动前要大量地热身才能取得好成绩
但在生活中却往往忽视了这一点
老中男经常喜欢 高谈阔论 穿山越岭 一往无前 指点江山 缺乏足够的前戏
却往往忽视了 循循善诱 曲径通幽的道理
常常鸡飞蛋打 人去楼空
而美国的治理之道就暗合天理
在大选之前互相扯皮 东一榔头西一棒子
任何太激进 急风暴雨般的政策或者改革
都往往是一地鸡毛 残砖断瓦的结果
必须循序渐进 摸索总结
才能亦步亦趋 让老百姓达到一个又一个的高潮
川普 哥看好你 |
|
s*****2
发帖数: 117 | 2 在一个单cpu的计算机下跑程序，
如果这个程序采用多线程并行处理来实现，
或者采用一个线程逐个逐个实现，
哪一个快点？
我觉得在单cpu的情况下，两个的运行速度没啥区别。
不知道对不对？
thanks |
|
I****y
发帖数: 1498 | 3 请教各位高手关于在linux下编译并行程序的两个问题，其中涉及到C语言编译器和C++
编译器的区别。
1. 我需要先编译一个lib,叫ParMetis,它是SuperLU_dist（并行SuperLU解线性稀疏方
程组)所需要的。 该库ParMetis需要用支持mpi的编译器编译，默认的mpicc可以编译，
也可以生成*.a的库文件，但有如下warning:
warning #266: function declared implicitly
GKfree(&your_adjncy, &your_adjwgt, &line, LTERM);
由于我的程序中有C++的成份，所以我改用mpiCC （支持mpi的C++编译器)来编译库
ParMetis. 却得到如下错误：
initpart.c(420): error: identifier "__GKfree" is undefined
GKfree(&bestwhere, &perm, LTERM);
我仔细找了一下，在rename.h里有如下语句
#define GKfree __GKfree
也 |
|
|
x*********0
发帖数: 651 | 5 大家好，我不是学计算机的，因为工作需要，想问个并行运算的问题：
1.2个core （A和B）, 同时调用dos的某个命令 （比如改文件名，ren） ,我想，因为
这2个core总不能exactly simultaneous, 总会有一个（A）先调用，而另外一个（B）
只能等，我的问题是：在这种情况下，B是一直等下去直到A完成调用？还是B会发出一
个error?
2.2个core （A和B）, 同时调用某个程序（比如ffmpeg.exe), 而这个程序(ffmpeg.exe
)是在另一个server上，在这种情况下，B是一直等下去直到A完成对ffmpeg的调用？还
是B会发出一个error?
谢谢大家 |
|
t***l
发帖数: 533 | 6 本来是用VC编的一些C++程序，
现在想把它改成并行计算，
用什么比较好？
MPICH可以么？好像那上面的例子
中fortran比较多 |
|
|
t**s
发帖数: 52 | 8 具体请参考open mp的手册。
open mp就是用来产生多线程的程序的。
如果你的程序易于并行化，那么使用open mp会很有效率的。而且很简单。 |
|
h****l
发帖数: 7290 | 9 如果用的不是并行程序，就双核就够了，如果是并行程序，就买四核的，主频高点好。
内存要大，至少4G，这年头内存不值钱。 |
|
k*******n
发帖数: 190 | 10 就是几个T的LOG数据要aggregate成为各种报告所需要的结果,可以存到数据库里. 以前
是用PYTHON+PIG+HIVE在HADOOP里完成,需要十几个小时,还经常fail.所以忍无可忍,决
定用JAVA,我们组的同事就照着书本写了一个,其实也没错,只是HADOOP本身不是那么高
效率.我的思路是尽量把工作都变成本地的来做,可以在MAPPER,REDUCER里面象LOCAL运
行的程序.能够并行地就尽量并行.本来以为速度会快几倍,没想到快了几十倍. 不过想
想看,HDFS是把数据备份三份,这种兼顾存储的方法不是计算最优的.我基本上避开了
HDFS,这也是加快的原因之一.
我是JAVA的新手,两个月前才开始学着用,这也是我同事一开始不认同我的观点的原因. |
|
f*****s
发帖数: 115 | 11 有经验的兄弟请指点小弟。
老板想买三台普通PC让偶试试做并行计算应用，要我列出需要买的东东。
偶的问题如下：
1，买DELL3000或4700回来自己下载Linux装行吗？（还是买带的Linux Enterprise 3的系
列？） 用linux哪个版本好一些？
2，买一个很便宜的100Mb交换机（newegg，20$）够用吗？三台机器怎么连有讲究吗？
电脑需要弄成双网卡吗？
3，准备用mosix和MPI，各自哪个版本比较合适，可免费下载吗？
4，还有没有什么软件或硬件是必须的？
5，原先的单机上的计算程序是否要修改很多才能进行并行计算？
这方面完全是新手，急需高手指点，感激不尽！谢谢了！ |
|
N********n
发帖数: 8363 | 12 把原始数据拆成N块。各分块并行计算出MAX之后再汇总找出众MAX之中的MAX。
最基本的DIVIDE & CONQUER & AGGREGATE思路。具体编程要看你的硬件是
MULTI-CORE，MULTI-CPU还是MULTI-SERVER。另外也要看你的编译器针对硬
件生成并行代码的能力，总之关键在并行。 |
|
s******u
发帖数: 501 | 13 没拿TBB写过并行程序，所以不敢说。我听说的是TBB更适合task并行，而不是data并行
，所以也许并不适合通常的数值计算。当然只是听说，不负责任，呵呵 |
|
d******c
发帖数: 2407 | 14 函数式一大好处是可以比较容易引入并行。能够几乎不改变代码就支持并行就是新鲜高
级的东西，10年前有吗？各种语言和库都支持吗？天底下没有新鲜事，但是很多东西的
做法不同，context不同，效果完全不同。
你给我来个python list comprehension并行看看。GIL从根子上就限定了python，
python作者自己说了一大堆python不是函数式的话，实际上他就不怎么喜欢。看他的文
章，完全是因为别人要，别人加的，他是持保留态度的。
I have never considered Python to be heavily influenced by functional
languages, no matter what people say or think. I was much more familiar with
imperative languages such as C and Algol 68 and although I had made
functions first-class objects, I didn't view Python as a f... 阅读全帖 |
|
g*****u
发帖数: 14294 | 15 你可能得先琢磨一下LU分解算法可不可并行。这东西因为很基础很重要，所以从理论到
实践论述很多。你不妨检索一下。
一个特例是Cholesky分解，用得很多。你看看Cholesky分解并行算法里的Multi-
frontal类方法对你LU分解是否有启发。
这只是我的一点皮毛拙见，仅供参考。 |
|
u**d
发帖数: 211 | 16 一般2核4核的台式机，写个 multi-thread 的程序就行了
操作系统会自动分配到各个 core 的
openmp mpi 都是不同架构，多是在服务器或 supercomputer 上用的
究竟哪个好，要看你的应用。
并行计算重要的是算法设计。多数问题不是那么容易就并行化
要不就是平行起来有各种各样的瓶颈，效果比起 single core 提高有限 |
|
R******9
发帖数: 267 | 17 根据工作需要，中国科学院力学研究所非线性力学国家重点实验室对外公开招聘项目聘用
人员一名。详细情况见www.imech.ac.cn 。
现将有关事项公布如下：
一、部门：中国科学院力学研究所非线性力学国家重点实验室
二、工作职责：
1、负责多尺度力学计算平台的建设工作；
2、负责多尺度力学计算平台的管理及日常维护；
3、协助科研人员及学生进行并行程序的移植、修改、调试及效率调优；
4、完成实验室及课题组交给的其他与计算平台有关的工作。
三、应聘条件
1．热爱本职工作、爱岗敬业，具有优秀的思想品德、职业道德和团队精神；
2．工作积极主动，具有很强的工作责任心和创新、服务意识，对工作一丝不苟，认真
负责；
3．年龄35周岁以下，计算机、计算力学或计算数学等相关专业硕士及以上学位；
4. 熟悉并行机群的软硬件结构及并行计算编程、调试环境；
5．熟悉机房管理，有机房建设或机房管理经验者优先；
6. 熟悉计算流体力学、计算固体力学或分子动力学计算者优先。
四、应聘材料
力学所岗位申请表及工作经历；本人证件照；家庭情况；重要证书复印件（包括学历、学
位、英语等级以及其它获奖证书等）；联系方式。 |
|
h*d
发帖数: 19309 | 18 发信人: strong (大拿~恭祝清华百年华诞), 信区: TsinghuaCent
标 题: 清华大学的2010
发信站: 水木社区 (Sun Apr 24 14:46:09 2011), 站内
清华大学的2010
注：本文由水木社区BBS世纪清华版（TsinghuaCent）整理，各项资料来自清华大学网
站、清华大学新闻网、北京协和医学院（清华大学医学部）网站和水木社区BBS世纪清
华版等。
正文：
本文系统总结2010年度清华大学、北京协和医学院（清华大学医学部）师生校友荣获的
各类学术和社会荣誉、学科竞赛成绩以及学校在教学科研领域中获得的各类成果和进展
。限于篇幅，在关于各类获奖成果的统计中，本文仅统计获得过一等奖、金奖（国家科
学技术奖除外）以上的成果（绩）。
*********************
一．最高荣誉
●清华大学数学科学中心主任丘成桐教授获得2010年沃尔夫（Wolf）奖，以表彰他在几
何分析领域的贡献，以及在几何和物理的多个领域都产生的“深刻而引人注目的影响”
。这是丘成桐继1982年获得菲尔茨奖后，再... 阅读全帖 |
|
a***n
发帖数: 404 | 19 openmpi 程序以前写过，但是编译后的程序都是在学校的机器上跑，或者系里的
cluster上。
都是设置好script然后运行相应的管理程序就行了。 我想知道有没有啥开源的软件或
者方法能把几台普通的电脑(尽量不破坏现有的OS)也能构造一个运行mpi程序的环境。
俺比较弱，不过有些好奇，所以才来问问。
谢谢。
行一
的j |
|
k*********g
发帖数: 791 | 20 Oh， sh*t， 藕的程序copy到这儿成这个样子了
本来想给大家做个示范动作，show一下how beautiful c++ is;
结果，藕从鞍马上一个跟斗摔了下来、、、
不过，可别小看以上这段程序：
在2007年春天写这段并行程序的时候，which用nonblocking communications with C＋
＋，可能是世界首次；当时藕花了很长时间琢磨、网上搜索，因为藕的C＋＋水平其实
很烂；几天后，看到芝加哥大学的一个教授的一段blocking communications with c＋
＋程序，受到启发，才悟出应该如何写； |
|
k*********g
发帖数: 791 | 21 Oh， sh*t， 藕的程序copy到这儿成这个样子了
本来想给大家做个示范动作，show一下how beautiful c++ is;
结果，藕从鞍马上一个跟斗摔了下来、、、
不过，可别小看以上这段程序：
在2007年春天写这段并行程序的时候，which用nonblocking communications with C＋
＋，可能是世界首次；当时藕花了很长时间琢磨、网上搜索，因为藕的C＋＋水平其实
很烂；几天后，看到芝加哥大学的一个教授的一段blocking communications with c＋
＋程序，受到启发，才悟出应该如何写； |
|
c***r
发帖数: 1570 | 22 编辑器，看来看去感觉还是vim好，因为可以远程终端调试，
毕竟不是每台服务器都装有emacs和gedit的。
关于ide，
小弟从codeblocks开始的，感觉非常好用，好用的让人觉得不安，
从msvs过来的人，上手codeblocks应该非常容易。
最近接触了一些其他ide，sun stuido, elipcse, netbean, 什么的，
想从中选择一个，作为自己将来开发的主要ide,
这些ide不方便的就是要写makefile（可能不对）,但似乎有很多其他有点，比如
sun的profiler什么的。
将来的打算是只做c++,只做本地程序，部分做基于mpi的并行程序，
绝对不做java等其他程序。
不知道专业的c++程序员都用什么ide,如果有不妨推荐一下。
小弟想开始系统的掌握一个企业级软件开发用的ide.
谢谢。 |
|
c***r
发帖数: 1570 | 23 【 以下文字转载自 CS 讨论区 】
发信人: caoer (caoer), 信区: CS
标 题: 专业c++程序员都用什么ide
发信站: BBS 未名空间站 (Sat Sep 3 11:35:48 2011, 美东)
编辑器，看来看去感觉还是vim好，因为可以远程终端调试，
毕竟不是每台服务器都装有emacs和gedit的。
关于ide，
小弟从codeblocks开始的，感觉非常好用，好用的让人觉得不安，
从msvs过来的人，上手codeblocks应该非常容易。
最近接触了一些其他ide，sun stuido, elipcse, netbean, 什么的，
想从中选择一个，作为自己将来开发的主要ide,
这些ide不方便的就是要写makefile（可能不对）,但似乎有很多其他有点，比如
sun的profiler什么的。
将来的打算是只做c++,只做本地程序，部分做基于mpi的并行程序，
绝对不做java等其他程序。
不知道专业的c++程序员都用什么ide,如果有不妨推荐一下。
小弟想开始系统的掌握一个企业级软件开发用的ide.
谢谢。 |
|
w**h
发帖数: 1121 | 24 但是处理器数目就10 多个，太少了．一般并行程序作得好的话．处理速度是
线性增长，如果有10 个处理器并行，总处理速度就是10倍于单处理器的速度，
想作到实测性能千万亿次，那单个处理器得性能相当惊人才行． |
|
t*******r
发帖数: 22634 | 25 靠！啥并行程序能牛到这个地步啊？某些很容易向量并行处理的数值算法
例外 ………… |
|
g****e
发帖数: 1829 | 26 应该是在通讯上浪费的时间太多。多核运算最好使用并行程序。前面有人讲矩阵之类可
能无所谓，因为矩阵运算相对简单，可以被很容易的被matlab并行化。 |
|
a***n
发帖数: 404 | 27 rrdw
有没有啥开源的软件可以将局域网内的很多电脑搭建成一个并行计算的环境，从而可以
跑MPI程序？
谢谢~~ |
|
g****n
发帖数: 18 | 28 我有一个client和server编程上的问题，在程序中有两个client
socket,比如说socket_1和socket_2在client中，同样在server一边有两个对应的socket
，server_socket_1和server_socket_2,
现在要求socket_1和server_socket_1通信，用single
thread，socket_2和server_socket_2通信，用multithread，做不同的事情，问题是怎么
样让这两个通信并行工作(这两个通信不是synchronized) ？
非常感谢！ |
|
y**b
发帖数: 10166 | 29 用openmp并行化一个模拟程序，发现：
计算只要运行足够步长，openmp每次运行给出的结果都不一样，
而串行运算的结果始终一样。这正常吗？
直觉上openmp由于每次运行都采用不同的计算顺序(各线程的
先后顺序是随机的)，从而可能改变误差的积累方式，一般怎么
处理这类问题？谢谢。 |
|
d******c
发帖数: 2407 | 30 谁说apply是并行了？哪里来的snowball？正确的package是parallel，在snow基础上改
进的
python GIL是无法解决的本质问题，路边新闻不能证明任何东西，你道听途说，一知半
解的东西太多了。
我也没有鼓吹R高性能并行，你立稻草人靶子已经成了习惯，逻辑问题太多。 |
|
发帖数: 1 | 31
易学性其实真的不是大问题
性能和效率的确是问题、
现在鼓吹函数编程最大的好处，就是并行，但是并行要求你的函数编程是纯的。。
然后纯的函数编程是很烂的
所以... |
|
a******s
发帖数: 232 | 32 来自主题: Computation版 - 并行的算法 原来的程序是TDMA求解poisson方程的，现在如果换成并行的算法，有什么好
的算法改TDMA的？不想对原来的code做太大的改动。
thanks |
|
o******d
发帖数: 1552 | 33 来自主题: Computation版 - 并行的算法 看你是什么层次的平行了。你把它从pentium 1 防到pentium 3 or 4,你什么事情
都不用作，那个叫做instruction-level parallelism. 你要是该程序，得看
你是用threading,还是用process, 后者可以用MPI，前者只好用Windows上的
或者UNIX上的API, 俄essentially, 你必须识别你先有解法有多少可以并行的成分
,如果data dependency或者control dependency太多,那就没戏! |
|
f*****s
发帖数: 8 | 34 我就是自己从头编的，几年之前是FORTRAN 77，后来改成C，再后来加上MPI
改成并行。自己编的好处就是对MD的每一个细节都清清楚楚，分析数据的时候
知道什么是artifact，什么是真正的结果。当然缺点也是显而易见的，就是太花时
间。建议楼主还是用LAMMPS吧，它的并行算法是最好的， 自己编太费劲了。
and |
|
f*****s
发帖数: 8 | 35 最简单的就是用 atom decomposition，有精力再搞搞space decomposition.
我用的并行函数并不多，大概如下一些：
MPI_Init(&argc, &argv);
MPI_Comm_rank(MPI_COMM_WORLD, &node);
MPI_Comm_size(MPI_COMM_WORLD, &nprocs);
MPI_Allreduce(*****);
MPI_Wtime(********)；
MPI_Allgatherv(********);
MPI_Bcast(****)；
MPI_Barrier(MPI_COMM_WORLD);
MPI_Finalize();
至于MPI_Send, MPI_Recv就根本没有用过。
关键要清楚什么地方需要并行。 |
|
j**u
发帖数: 6059 | 36 来自主题: Computation版 - 请教个问题 什么并行？multithreads 还是multi processors?
调试的时侯是哪一步allocate内存的？
俺虽然不懂fortran，如果是并行程序，希望可以帮上一点忙。 |
|
F***d
发帖数: 63 | 37 这个能不能详细说说，我也想知道。mcc怎么用，能编译成并行程序么，并行效率咋样？ |
|
c******k
发帖数: 1140 | 38 再弱问下：只有matlab 2009a or b 以上的version才有这个parallel computing
toolbox. 我希望用系里的CPU batch system去并行计算，那么我是要求学校在系里的
服务器上装matlab 2009，还是在我们实验室的local PC上装matlab 2009就行？ 实在
不懂，谢谢 |
|
l********a
发帖数: 1154 | 39 从这个需求看可以并行的
把a-g先做成一个矩阵,然后做成根据cpu数量做成cell数组,
直接parfor就行,每个u会拿到跟自己id对应的部分进行运算
并将计算结果写入结果矩阵的对应位置
最后你自己sort结果,拿出前10个数就可以了 |
|
e********r
发帖数: 2352 | 40 这个本来就是给并行的一个节点写的，再并行一下结构太复杂了哈，谢谢建议哈. |
|
e********5
发帖数: 422 | 41 我也有一模一样的问题 我坐过不少GPU的并行
写这东西基本就是C 写起程序来跟C++差的很远 全都是算法级别的东西
不过速度确实快 如果算法合适的话 100X的加速是很现实的目标 如果算法不大合适 比
如FFT或者系数矩阵的那些 大概10X-20X吧 就用普通的游戏卡
我现在也想某个公司看中我这个经验把我收去做个intern什么 不过仿佛看重这个的
finance方面的公司不多啊~~自然科学已经很多地方跃跃欲试了 中国日本都搭了带GPU
的超级计算机了 |
|
s******r
发帖数: 5309 | 42 嗯，用过一点DOE的机器，但没有上过titan，也没有用过DOD。
其实现在有不少top的机器用很多GPU，这个东西理论上很快，但实际比较没用。因为大
部分数值计算程序都是从单CPU改的，并行程序都假定所有的CPU core都一样。 要想用
这种CPU，GPU混搭需要大改code，这很不实际，尤其是不少code是花了十多年才开发出
来的，改起来谈何容易。 |
|
g******t
发帖数: 11249 | 43 程序也不复杂
一亿个点跑kmeans
跑了一个周末，今早被管理员杀了
这玩意容易改成并行程序么 |
|
b****5
发帖数: 449 | 44 小程序至于吗……难道这个还要矩阵运算+并行运算？lol
老实说backtest随便怎么写，只要开心不慢得离谱都可以了。我programming现在确实
不如本科扎实了。 |
|
发帖数: 1 | 45 据我所知没有排期的NIW或者EB1a的i140是可以和i485一起递交的，可以并行加快处理
。但是没有CP的相关内容。
如果140和CP可以一起递交的话，可以加快进程。不然CP要6到12个月，远远比美国境内
的485慢啊~
PS：CP就是 领事馆移民签证程序 (Consular processing)，可以在美国境外的使馆提
交类似485的正式移民申请
谢过了 |
|
e***d
发帖数: 8248 | 46 除了末尾稍稍有点狗血，牛的。
看护娃的间隙弄了个初稿就很厉害。
对场景的描画，有声有色，不慌不乱，语不厌繁，语不厌精——耐心极好的人
观察敏锐细致，描述贴切，用图像思维——科学家
世界线程频繁切换，转承自然，有条不紊——善于写并行程序，多线程程序，逻辑自洽
形式上可以再牛点，像投 MEMS / Mirofluidics 刊物一样重视段落安排，
人为加入一些强制性的段落间隔，控制阅读节奏，增加效果。
初稿牛的，哈，挺好玩。
事： |
|
|
c******n
发帖数: 16666 | 48 你果然之前就埋了伏笔
我没注意到。。。
====
当然了，这些科技不难实现。他技术的关键在于电脑里的那个程序，决定怎样把互联网
信息进行转化，来产生正确的电磁场调制。
如果王秀才进入这个年轻人，只有两种可能：要么有个和自己一样的头盔，要么他
就真的生活在网络里。
====
我有个没想对的就是这个大量数据传输的问题。老张拿头盔直连，数据链接肯定有保证
，但是没提到数据带宽的问题。
只是程序源代码的话，可能传输起来流量都没netflix看个4k电影大，或者军方早就改
造了二房除入户最后一米以外的全部线路，甚至直接在那楼边上造了个HQ (The Lives
of Others)，
然后传输时候直接带宽最大化，那样也就过一会就传完了。
头盔既然都有镜片，那无论是oled小屏幕还是神经直接无线传输，光视觉这块本身信息
量就不小吧？而且无论是在老张那边做服务器端渲染（纯画面传输）还是接收方本地渲
染（纯数据传输，但是本地渲染的引擎也得下载吧），应该都会有不小的数据传输。
当然也可以解释为 初代灵机网 连上去和MUD或者早期动画聊天室差不多
对老张而言，假设王秀才真是AI，而且是只有几个月成长的AI... 阅读全帖 |
|
j***h
发帖数: 130 | 49 我最近有一大堆小东西要计算，用的是别人编译好的Fortran程序（在win7 上CPU编译
的），请问大家，这个exe文件能直接在GPU上运行么？我不需要并行，我的想法是GPU
上有很多个小核心，这样一次就可以算很多个了。不知道可行么？谢谢！ |
|
o**2
发帖数: 168 | 50 我在mitbbs上混了几个月了，一直是码工本色，用代码说话，你没有注意到吗？那我还
要再多写代码才行。
这是很简单的应用producer/consumer的例子，虽然很多行，但概念很简单，十分钟就
可以写一个这样的程序。由于主要是给楼主参考借鉴用的，所以也没有检查所有的
thread interleaving的地方，也许会有错。
这个例子也展示了直接用thread写并发程序的困难性：新手入手难，熟手也不能完全保
证正确性。我个人认为楼主的上策应该是选用FMP，中策是选用直接的thread，下策是
thread pool。 |
|
