p*******k
发帖数: 488 | 1 我目前正在做一个SUBPROJECT, 要求非常简单, 就是如快速地READ大的数据文件.主
PROJECT是一个大型模拟计算,中间回产生很多大的数据文件,每一步计算都要依赖上次
的计算结果.因此,我想要一个很有效的存储文件并快速的READ数据. MPI好象可以用,但
是又好象没有必要,因为并没有很多PROCESSES 间COMMUNICATION.不知道有没有其他的
开源软件可以达到这个目的.
目前PROJECT就是单机器上运行. 我的想法是利用网络,把一个大的数据文件分布到3-4
个机器上,然后同时读每个机器,那么数据读取的速度应该是大大加快.那么我应该使用
MPI-IO还是一个PVFS?
多谢不吝指教! | s**i
发帖数: 381 | 2 paraview?
4
【在 p*******k 的大作中提到】
: 我目前正在做一个SUBPROJECT, 要求非常简单, 就是如快速地READ大的数据文件.主
: PROJECT是一个大型模拟计算,中间回产生很多大的数据文件,每一步计算都要依赖上次
: 的计算结果.因此,我想要一个很有效的存储文件并快速的READ数据. MPI好象可以用,但
: 是又好象没有必要,因为并没有很多PROCESSES 间COMMUNICATION.不知道有没有其他的
: 开源软件可以达到这个目的.
: 目前PROJECT就是单机器上运行. 我的想法是利用网络,把一个大的数据文件分布到3-4
: 个机器上,然后同时读每个机器,那么数据读取的速度应该是大大加快.那么我应该使用
: MPI-IO还是一个PVFS?
: 多谢不吝指教!
| p*****e
发帖数: 310 | 3 http://www.kangye.org/google-releases-protocol-buffers/
Google推出Protocol Buffers：争夺网络时代数据格式
4
【在 p*******k 的大作中提到】
: 我目前正在做一个SUBPROJECT, 要求非常简单, 就是如快速地READ大的数据文件.主
: PROJECT是一个大型模拟计算,中间回产生很多大的数据文件,每一步计算都要依赖上次
: 的计算结果.因此,我想要一个很有效的存储文件并快速的READ数据. MPI好象可以用,但
: 是又好象没有必要,因为并没有很多PROCESSES 间COMMUNICATION.不知道有没有其他的
: 开源软件可以达到这个目的.
: 目前PROJECT就是单机器上运行. 我的想法是利用网络,把一个大的数据文件分布到3-4
: 个机器上,然后同时读每个机器,那么数据读取的速度应该是大大加快.那么我应该使用
: MPI-IO还是一个PVFS?
: 多谢不吝指教!
| p*******k
发帖数: 488 | 4 多谢指点. 我将跟我导师商量这个. :-)
【在 s**i 的大作中提到】
: paraview?
:
: 4
| p*******k
发帖数: 488 | 5 很新的东东吗? 要是遇到什么BUGS, 是不是可以很快GOOGLE到SOLUTIONS? :-)
我是绝对新手. 迄今为止, 我的基础就是CS那些接近理论的课程和低级的JAVA/C++编程
. 太新太复杂的东西对我都是灾难. 安装和CONFIGURE任何软件对我都是恶梦.:-(
谢谢你的建议. :-)
【在 p*****e 的大作中提到】
: http://www.kangye.org/google-releases-protocol-buffers/
: Google推出Protocol Buffers：争夺网络时代数据格式
:
: 4
|
|
