l***a
发帖数: 149 | 1 初次在次发帖求助，如果内容不适合本版，请删除。
我在用一个apple pro os x 10.6 运行 fortran编写的数值模式。目前需要用到mpi的
library。我注意到之前在/usr/lib 和/usr/include 路径下都有openmpi的文件夹，
但是我一时冲动自己又安装了一个openmpi-1.4.3
fortran, gcc, g++都用的是gcc的package。
但是现在的问题是用mpif90编译程序后，每次执行都会遇到问题：
mca: base: component_find: unable to open /usr/lib/openmpi/mca_ras_dash_host
(ignored)
mca: base: component_find: unable to open /usr/lib/openmpi/mca_ras_
gridengine: perhaps a missing symbol, or compiled for a different version of
Open MPI? (ignored)
mca: base: compon... 阅读全帖 |
|
c***r
发帖数: 1570 | 2 【 以下文字转载自 Computation 讨论区 】
发信人: caoer (caoer), 信区: Computation
标 题: openmpi 和mpich哪个比较好
发信站: BBS 未名空间站 (Mon Mar 8 20:39:51 2010, 美东)
小弟要用Petsc并行计算，manual上好像用mpich，openmpi据说也很好，请问那个比较
好？多谢 |
|
b******h
发帖数: 2732 | 3 Linux菜鸟，刚开始用linux＋openmpi，自己有一个C＋＋的Project,但是改写后用
mpiCC编译的时候总是报错，说是不认得其他include的 source files...不过单独的一
个source file没问题，不知道是不是用MPI的话，所有的code都必须要放在单独一个C
＋＋ source file里呢？
希望高手们能给指点一下，谢谢阿！ |
|
w***g
发帖数: 5958 | 4 openmpi有个恶心的地方，就是等消息的时候用轮询。所以一旦跑起来，不管有没有事干
，CPU都是100%。 |
|
b*****e
发帖数: 762 | 5 老板给了我一个128核的服务器的supervisor的权限，叫我跑模拟。 但是我不能正确装
软件。老板的账户ssh进去可以正常工
作，他也给了我几个环境变量：
PATH=/usr/local/bin:/usr/lib64/qt-
3.3/bin:/usr/kerberos/bin:/bin:/usr/bin:/usr/X11R6/bin:/usr/lib64/openmpi/1.
4-
gcc/bin:/usr/lib64/openmpi/1.4-gcc/lib
LD_LIBRARY_PATH=/usr/lib64/openmpi/1.4-gcc/lib
QTDIR=/usr/lib64/qt-3.3
QTINC=/usr/lib64/qt-3.3/include
QTLIB=/usr/lib64/qt-3.3/lib
MPICC=/usr/lib64/openmpi/1.4-gcc/bin/mpicc
MPIEXEC=/usr/lib64/openmpi/1.4-gcc/bin/mpiexec
LIBS=/usr/lib64/openmpi/1.4-gcc/lib/libmpi_cx... 阅读全帖 |
|
w***g
发帖数: 5958 | 6 mpich或者openmpi都行吧。我自己不喜欢openmpi，因为opnempi假设cluster中只运行一
个MPI程序，用轮询的方式等待I/O，一上去就会把CPU耗光，如果系统中同时还有别的j
ob在跑的话就惨了。
如果你目前只有裸机的话那就用rocks，凑活着还可以用。 |
|
y**b
发帖数: 10166 | 7 刚开始用军方的clusters，发现openmpi非常不受待见，好几台机器都不支持，
还说不稳定。倒是intel的都装得好好的，难道性能比openmpi好很多？ |
|
|
j******a
发帖数: 100 | 9 不解释，自己看
Running MPI tests with 2 processes
logfile /opt/opa/src/mpi_apps/logs/.24Sep15175112
Running in MPIRUN mode (OpenMPI).
Running osu-micro-benchmarks-3.8-July12/mpi/pt2pt/osu_bw ...
Using hosts list: /opt/opa/src/mpi_apps/mpi_hosts
Hosts in run:
sut1
sut2
+ /usr/mpi/gcc/openmpi-1.8.2a1-hfi/bin/mpirun -np 2 --bynode --allow-run-as-
root -machinefile /opt/opa/src/mpi_apps/mpi_hosts -mca plm_rsh_no_tree_spawn
1 osu-micro-benchmarks-3.8-July12/mpi/pt2pt/osu_bw
---------------------------------... 阅读全帖 |
|
w***g
发帖数: 5958 | 10 你这么一说我突然想起来, openMPI用的是轮询, 只要一跑上, 不管有没有算东西,
CPU都是100%. openmpi比openmp快可能和这个有关. |
|
g*******1
发帖数: 8758 | 11 haha，搜索了一下，还有OpenMPI
linux版不是给了方案吗，我试了试，
~/temp :] g++ -fopenmp -c -o mp.o mp.cpp
~/temp :] g++ -o mp mp.o -I. -g -O -fopenmp -lm
~/temp :] ./mp
Fork!
Hello World from thread = Hello World from thread = Hello World from thread
= 1 of 35 of 5
2 of 5
Hello World from thread = 4 of 5
Hello World from thread = 0 of 5
Master thread: number of threads = 5
Joint! |
|
k******y
发帖数: 1407 | 12 我试着compile一个大的MPI程序，先前已经安装了OpenMPI，调试小的MPI的test程序可以
但是现在调试：mpif90 -O3 xxx.f
[lots of outputs]
ZnSimA4.f(434): (col. 8) remark: LOOP WAS VECTORIZED.
ZnSimA4.f(436): (col. 8) remark: LOOP WAS VECTORIZED.
ZnSimA4.f(437): (col. 8) remark: LOOP WAS VECTORIZED.
ZnSimA4.f(442): (col. 14) remark: LOOP WAS VECTORIZED.
ZnSimA4.f(489): (col. 14) remark: LOOP WAS VECTORIZED.
ld: in /opt/intel/fce/10.1.017/lib/libimf.a(cbrt_gen.o),
ObjectFileAddressSpace::mappedAddress(0xFFFFFFFFFFFFFFFC) not in any section |
|
k******y
发帖数: 1407 | 13 主要是没有调试环境
Mac还好啦，可以安装OpenMPI，在自己的机器上虚拟出来20个CPU |
|
a***n
发帖数: 404 | 14 openmpi 程序以前写过，但是编译后的程序都是在学校的机器上跑，或者系里的
cluster上。
都是设置好script然后运行相应的管理程序就行了。 我想知道有没有啥开源的软件或
者方法能把几台普通的电脑(尽量不破坏现有的OS)也能构造一个运行mpi程序的环境。
俺比较弱，不过有些好奇，所以才来问问。
谢谢。
行一
的j |
|
w***g
发帖数: 5958 | 15 openmpi和mpich都是开源的，你装上就是了。 |
|
a*s
发帖数: 425 | 16 还好吧，
上次用free account起16个instances 跑openmpi
还是要比自己的台式机要快多了
看你怎么用了，好像
ec2的一个core，相当于1个core的c2d吧，可能稍微慢点 |
|
a******s
发帖数: 267 | 17 cluster是多台计算机通过网络连接进行并行计算。通常网络连接是10G以太网或
infiniband，软件层使用openMPI之类的并行运算库或者sungrid之类的网格计算软件。 |
|
y**b
发帖数: 10166 | 18 今天整理一下计算数据，吓一大跳，有很多efficiency>100%的情况。不仅如此，计算
规模越大(用到节点数越多)，该情况越显著。
小规模计算(最多使用8节点)普遍低于100%；
中等规模计算(最多使用64节点)竟然全部大于100%；
大规模(最多使用1024个节点)在32节点下效率竟然达到2000%，768节点仍然有130%，
1024节点才降到87%。
我这个计算的特点是对内存要求极低，但对cpu要求非常高。确实具备了凑巧能把数据
放进cache的可能？
另外当时做这些计算用的是自己费力不讨好编译的intel mpi(同时还编译了openmpi，
稳定性差些就没采用)，没用原机默认的mpi库(或者当时就没有，但后来os升级后又都
提供了)，会不会有啥影响，现在都重算一遍是不可能了。 |
|
y**b
发帖数: 10166 | 19 最近发现不少想买新mbp的人都听说wsl了，问我怎么样，我说不错。
我的sp3没安装wsl，没法顺手演示给他们看。
可惜我做的东西没法在笔记本上算，都是工作站和超算，
主要还是teamviewer和ssh，wsl对我似乎没啥用。
另外这个wsl对openmpi，c++boost一类的库支持怎么样？ |
|
S***w
发帖数: 1014 | 20 两台机器，我都用g++编译的，不过是openmpi wrapper 的mpic++,
mac 下，编译参数是 -O -MMD -MG
链接参数是 -O
linux服务器下，编译参数为 -O2 -funroll-loops -fstrict-aliasing -Wall -W -
Wno-uninitialized
连接参数是 -O |
|
|
b******h
发帖数: 2732 | 22 sorry，表述的有点乱，是找不到main调用的其他c++ source＆header files
谢谢啊！ |
|
S*A
发帖数: 7142 | 23 没有 -I ?
你要把编译的参数和出错信息完整贴出来，不让都是猜你到底在说什么。 |
|
w***g
发帖数: 5958 | 24 openmpi很霸道的, 等待消息的时候用的是轮询, 不管算不算东西一启动CPU占用率都是
100%. 我也见过学校实验室买了cluster雇了sysadmin然后成天让学生在上面跑python
/perl代码. 其实那东西用C++/fortran加openmp实现, 又快又干净, 估计单机性能就可
以跟一个50+node的cluster比了. |
|
y**b
发帖数: 10166 | 25 我的东东用openmpi算几天都没问题，可是用hpc.mil那些机器上的intel-mpi，一启动就
Hangup (signal 1)，真不知是怎么回事。
hpc.mil的技术支持感觉也特别差，运行环境配置得尤其糟糕，感觉远没法跟大学的比。
python |
|
y**b
发帖数: 10166 | 26 intel mpi比较糟糕，现在连个hybrid mpi/openmp的支持都有bug，而且一有
问题就让升级，感觉非常不成熟。openmpi这方面成熟自然流畅多了。
军方那些技术支持非常一般，据说工资都发不够，每周只工作几天，见了鬼了。
动就
比。 |
|
r****y
发帖数: 1437 | 27 【 以下文字转载自 Computation 讨论区 】
发信人: rossby (五十岚已夜), 信区: Computation
标 题: an error message question
发信站: BBS 未名空间站 (Sat Jan 26 00:08:12 2008), 转信
openmpi-1.0.2/pgi
Signal:8 info.si_errno:0(Success) si_code:4(FPE_FLTOVF)
Ayone has idea what could be cause of this error message? I tried
to google it but no use. Thanks in advance. |
|
c***r
发帖数: 1570 | 28 多谢，那我还是用Mpich吧，petsc好像默认也是mpich2 |
|
c***r
发帖数: 1570 | 29 想学习一下，最好是基于C++／C 的,比较容易懂，适合入门级,有介绍mpich2, openmpi
什么的。多谢！ |
|
j****i
发帖数: 305 | 30 I'm trying to debug my program on my laptop (a Macbook pro with two
processors), since it takes too long to debug on a cluster. But I have no
clue on how to launch the parallel job even for a simple test code. I have
openmpi installed, and I'm using boost.
Here's a sample code:
#include
#include
#include
#include
int main(int argc, char* argv[])
{
boost::mpi::environment env(argc, argv);
boost::mpi::communica |
|
s*****g
发帖数: 5159 | 31 vmware fusion will be a choice for you to install virtual machines.
There are other free options (openbox) for you to install virtual machines
on your mac.
After install the virtual machine hosting software, create two virtual
machines, and install your linux distribution on both of them, then assign
each of them an IP on the same subnet.
Install openmpi on both virtual machines.
Transfer all your code into the virtual machine and compile them there. Then
mpirun. |
|
y**b
发帖数: 10166 | 32 原来在GCC和OpenMPI(以及BOOST)环境下编译和运行正常的程序，在intel-compilers
和inte-mpi(以及BOOST)环境下，编译没问题，一运行就Hangup(signal 1)，也没有
其他提示。这可能是什么原因呢？
makfile里面只做了简单改动：
编译器由mpic++换成mpiicpc
openmp选项由-fopenmp换成-openmp
BOOST都是自己编译的。
是不是还有其他重要东西没注意到？ |
|
a******1
发帖数: 47 | 33 你如果用的是MPICH2 或者openmpi，那么很多数据库的读写是支持parrallel I/O的（
可能需要HDFS的支持）。至于你提到你用4个线程可以，8个线程就不行，是不是因为你
每个node只有4个CPU，而你的code只支持shared memory，不支持distributed memory？ |
|
J********9
发帖数: 36508 | 34 谢谢回复 关于数据库的 很多问题我还弄不清 我需要做些research
我刚开始只在主机上测试 主机有8个CPU 用4个run的时候可以 8个的时候就有memory问
题了
关于MPICH2如何使用内存 我也不是很清楚：
比如说 没有并行运算 需要内存256M 是不是MPICH2的时候每个CPU都需要256M？ 这样4
个就1024M 8个就2048M？
你如果用的是MPICH2 或者openmpi，那么很多数据库的读写是支持parrallel I/O的（
可能需要HDFS的支持）。至于你提到你用4个线程可以，8个线程就不行，是不是因为你
每个node只有4个CPU，而你的code只支持shared memory，不支持distributed memory？ |
|
d****i
发帖数: 4809 | 35 摩尔定律已死，现在的晶体管已经做到了极限，再说C, C++等都有OpenMP, OpenMPI等
等不是吃素的，FP没有什么市场。
FP |
|
d****i
发帖数: 4809 | 36 goodbug评价C++还算比较客观的，毕竟是见多识广的架构师。但是同样在云后端，如果
牵涉到的不仅仅是biz logic，而是很多科学计算的话，C++有巨大优势，再加上OpenMP
, OpenMPI并行库等等如虎添翼，和Java的biz logic正好绝配。C++的定位其实应该是
在系统层和C配合，在应用层和Java配合。 |
|
z****e
发帖数: 54598 | 37 当然可以
我记得yarn就有hpc的接口
但是你现在想用openmpi
那两个产品之间的集成需要你自己去处理了
一些傻瓜化的操作就没戏了 |
|
k*****u
发帖数: 136 | 38 share的好处就是 high performance
举个例子，如果你的计算机有多个core，比如说四核，那么理论上四个core可以同时进
行计算
你有一个process，你需要处理一款很大的数据，你就把这个数据没成四块，然后
create四个thread，每个线程都去计算各自的数据，然后把数据汇总到进程中。这个过
程数据从进程到线程，再由线程回进程，就是一个共享的结果
当然share的好处不局限于此
如果是自己的pc也许只有四核 八核，如果是集群可能就是几十核，几百核，有很多高
性能的技术比如openmp(shared memory) openmpi(message passing) hadoop（
mapreduce） 都是类似的进行计算，大同小异
敢问一句，楼主开始cs的东西多久了？ 说说你的打算，比起技术上的细节，最重要的
学习的方法 |
|
d****i
发帖数: 4809 | 39 不用优化，也不使上好机器的话，光是加上OpenMP或者OpenMPI的并行的话应该更快吧。
CPU |
|
d****i
发帖数: 4809 | 40 说Java并发难用的，大抵是因为基本的东西基础没有打好，没有写过POSIX thread，没
有用C写过Unix/Linux下的多线程程序，没有用过OpenMP和OpenMPI, Java的并行库的设
计和底子全部来自POSIX thread那一套思想和底子，然后加以封装。
孩的 |
|
|
l***y
发帖数: 4671 | 42 用 Rmpi + OpenMPI 做 master/slave 相当爽啊。相比之下，用 C 写 mpi 调用 R 的
主要问题是传复杂的数据结构是比较折腾。
cluster 上跑 matlab 的问题有俩：一个是很多 cluster 不支持 matlab，起码经常不
支持自己要用的那些 toolboxes；另一个是往往买不起那么多的 license，极大地限制
了并行的规模。 |
|
r****y
发帖数: 1437 | 43 openmpi-1.0.2/pgi
Signal:8 info.si_errno:0(Success) si_code:4(FPE_FLTOVF)
Ayone has idea what could be cause of this error message? I tried
to google it but no use. Thanks in advance. |
|
K*****n
发帖数: 23 | 44 why don't you install the latest version of lammps? it is much better.
I am not sure the 2001 version, but with current version, there is always
a STUBS direction when you untar it. It is designed to replace the MPI
instructions for serial edition.
If you do need to use the 2001 version, one possible solution is to install
openmpi on your machine and compile an mpi version, then just use one
processor. |
|
c***r
发帖数: 1570 | 45 a cluster machine?
1. icc or gcc or mpicxx if using c
2. the more the better
3. 1000 node
but your code should be paralleled at first, i don't think matlab can translate the paralleled c source code, you may check out the openmpi, then do some modifications on the c code. |
|
d*******2
发帖数: 340 | 46 我没有c code，只有matlab code. 谢了！
translate the paralleled c source code, you may check out the openmpi, then
do some modifications on the c code. |
|
r***e
发帖数: 2000 | 47 Old bear, may I bother you with another naïve question?
I tried to isolate a problem, so I wrote this short program to
test basic send and receive.
http://pastebin.com/CMp63hkK
It works as expected on one computer Fedora 22 with OpenMPI,
but "always" hangs on another computer with Fedora 22 with MPICH.
I tested them on localhost only in both cases, same gcc version.
If I use reduce or if I avoid send/receive same node (0),
then it works.
Is it a rule that I can't send/receive the same node ... 阅读全帖 |
|
x*x
发帖数: 365 | 48 MPI_Send has blocking semantics. It may or may not block depending on the
MPI implementation.Both OpenMPI and MPICH behaved correctly.The problem is
with the program.
The correct way is to use MPI_Isend instead. |
|
