o******1
发帖数: 1046 | 1 同样是distributed computing，我觉得mpi library比mapreduce要强大和flexible多
了。
开始以为mpi不支持java，所以大家不得不用mapreduce。最近查了一下，open mpi好像
有java interface和compiler (mpijava)。
能不能在hadoop(java)的程序中import进来open mpi的java interface，然后调用里面
的函数，比如MPI_Scatter, MPI_Send, MPI_Recv之类的函数呢？
谢谢！ |
z****e
发帖数: 54598 | 2 当然可以
我记得yarn就有hpc的接口
但是你现在想用openmpi
那两个产品之间的集成需要你自己去处理了
一些傻瓜化的操作就没戏了 |
o******1
发帖数: 1046 | 3 多谢回复！
接口集成原先没人做过吗？大家都很喜欢mapreduce这么僵化的风格吗？
【在 z****e 的大作中提到】
: 当然可以
: 我记得yarn就有hpc的接口
: 但是你现在想用openmpi
: 那两个产品之间的集成需要你自己去处理了
: 一些傻瓜化的操作就没戏了
|
g*****g
发帖数: 34805 | 4 mpi and mapreduce are for different use cases. MR is for ETL, which
typically has bottleneck on IO. MPI is more for computation intensive tasks.
【在 o******1 的大作中提到】
: 同样是distributed computing，我觉得mpi library比mapreduce要强大和flexible多
: 了。
: 开始以为mpi不支持java，所以大家不得不用mapreduce。最近查了一下，open mpi好像
: 有java interface和compiler (mpijava)。
: 能不能在hadoop(java)的程序中import进来open mpi的java interface，然后调用里面
: 的函数，比如MPI_Scatter, MPI_Send, MPI_Recv之类的函数呢？
: 谢谢！
|
o******1
发帖数: 1046 | 5 在与hard drive并行i/o的时候用mapper没问题。但是还有其它的需要啊，比如说node
i想送一段数据给node j，mapreduce唯一的办法就是node i写到hdfs上，然后node j再
去读。如果允许节点间的直接数据传输，是内存进网络再进内存，省去了硬盘的读写，
效率肯定更高啊。
tasks.
【在 g*****g 的大作中提到】
: mpi and mapreduce are for different use cases. MR is for ETL, which
: typically has bottleneck on IO. MPI is more for computation intensive tasks.
|
g*****g
发帖数: 34805 | 6 That's because node i writing to node j is not reliable. MR is designed to
work on commodity hardware where a node can fail any time.
node
【在 o******1 的大作中提到】
: 在与hard drive并行i/o的时候用mapper没问题。但是还有其它的需要啊，比如说node
: i想送一段数据给node j，mapreduce唯一的办法就是node i写到hdfs上，然后node j再
: 去读。如果允许节点间的直接数据传输，是内存进网络再进内存，省去了硬盘的读写，
: 效率肯定更高啊。
:
: tasks.
|
