l***a 发帖数: 12410 | 1 是指在一台比如c2d的机器上multi-thread processing
我试了一些code,结果显示都比单流程(不用rsubmit/endrsubmit)慢,感觉主要还是
在i/o和network交换数据上的瓶颈
看到一个paper说,对于原始的code,如果cpu time大于real time的25%,parallel
processing就会提高速度。可是我试验的一个data step并不是这样(可能原因是那个
data step要从server上hash数据)
到底啥样的情况下(或者什么proc)能体现出parallel programming的速度提升? |
A*******s 发帖数: 3942 | 2 about SAS?
proc sort has thread option, you can try.
so does proc means i think, you can try it with by statement
【在 l***a 的大作中提到】 : 是指在一台比如c2d的机器上multi-thread processing : 我试了一些code,结果显示都比单流程(不用rsubmit/endrsubmit)慢,感觉主要还是 : 在i/o和network交换数据上的瓶颈 : 看到一个paper说,对于原始的code,如果cpu time大于real time的25%,parallel : processing就会提高速度。可是我试验的一个data step并不是这样(可能原因是那个 : data step要从server上hash数据) : 到底啥样的情况下(或者什么proc)能体现出parallel programming的速度提升?
|
l***a 发帖数: 12410 | 3 sort和means还有一些其它的proc号称是自动take advantage of multi-processor,我
理解就是不需要给threads=yes的option,sas就可以自动使用多线程跑这些proc吧。
如果这样的话,对于这一类优化过的proc,是不是没必要再用rsubmit/endrsubmit来人
工安排parallel processing?
【在 A*******s 的大作中提到】 : about SAS? : proc sort has thread option, you can try. : so does proc means i think, you can try it with by statement
|
A*******s 发帖数: 3942 | 4 我要是没记错的话,这些proc会自动判断是否需要multithread。如果你加上thread/
nothread option的话,就会强制(非)多线程。应该和rsubmit/endrsubmit无关
【在 l***a 的大作中提到】 : sort和means还有一些其它的proc号称是自动take advantage of multi-processor,我 : 理解就是不需要给threads=yes的option,sas就可以自动使用多线程跑这些proc吧。 : 如果这样的话,对于这一类优化过的proc,是不是没必要再用rsubmit/endrsubmit来人 : 工安排parallel processing?
|
d*******o 发帖数: 493 | 5 parallel data processing是个难题,像流行的Python都加了多核锁,禁止了这方面的
运用。我不觉得现在的SAS可以加几个参数可以实现。算法和数据结构都要改,SAS必须
要用新的procedure和跟现在不一样的数据结构。 |
c*****l 发帖数: 297 | 6 MOST OF THE ALGORITHM IS POLYNOMIAL Time,
you don't need to use paralleled computing. no significant difference
in running time
【在 l***a 的大作中提到】 : 是指在一台比如c2d的机器上multi-thread processing : 我试了一些code,结果显示都比单流程(不用rsubmit/endrsubmit)慢,感觉主要还是 : 在i/o和network交换数据上的瓶颈 : 看到一个paper说,对于原始的code,如果cpu time大于real time的25%,parallel : processing就会提高速度。可是我试验的一个data step并不是这样(可能原因是那个 : data step要从server上hash数据) : 到底啥样的情况下(或者什么proc)能体现出parallel programming的速度提升?
|
l***a 发帖数: 12410 | 7 多谢。第一句话感觉是关键,能展开说说不?
【在 c*****l 的大作中提到】 : MOST OF THE ALGORITHM IS POLYNOMIAL Time, : you don't need to use paralleled computing. no significant difference : in running time
|