k*********g
发帖数: 791 | 1 来自主题: Computation版 - 并行计算 并行计算
并行计算在科学、工程计算中是不可或缺的。通常人们认为，并行计算的瓶颈在于如何
实现不同处理器之间数据通信的时间远少于在当地处理器上的计算时间。本人的数值实
验和经验表明，这个根本不是并行计算的最大难点，这个其实这个很容易实现。假设我
们解决一个2维问题，N为一个方向上的未知数，把2维区域分成m^2个模块，每一个模块
由一个处理器管理。那么当地的计算量和N/m的平方成正比，而数据交换只跟N/m成正比
。对于典型的并行计算问题来说，N远比m要大，故通常的担忧、观点是偏颇的，没有抓
住问题要害。
数值实验表明，已经解决了人们关心的那个所谓瓶颈问题的现有软件的并行效果没有一
个是理想的。本人的研究表明，并行计算的瓶颈是，并行过程改变了原先的单处理器计
算的迭代结构，这种改变通常是往不利的方向改变的，并且跟处理器之间的数据依赖程
度有关，数据依赖程度越高，迭代的恶化程度越厉害。在有限元中，外来处理器在当地
处理器的渗透程度很高，而在谱元法中，外来处理器只允许影响本地处理器最表面的一
层。本人曾经的实验室同事的数值实验表明，谱元法能达到前所未有的并行效果。 |
|
j**u
发帖数: 6059 | 2 ☆─────────────────────────────────────☆
cityhawk (呆鹰) 于 (Mon May 23 20:38:14 2011, 美东) 提到:
Matlab程序是 for 嵌套循环：比如，
a=0.1:0.5 with spacing 0.01; b=0.1:0.6 with spacing 0.01
c=0.1:0.8 with spacing 0.01; d=0.1:0.6 with spacing 0.01
e=0.1:0.9 with spacing 0.01; f=0.1:0.7 with spacing 0.01
g=0.1:0.6 with spacing 0.01; h=0.1:0.5 with spacing 0.01
执行部分
end; end; end; end;end; end; end; end;
这个程序在普通的PC 3.6GHz, 2GB内存上运行要2个星期多，把它放在系里的服务器上
运行，结果比我们lab的这个PC还慢，网管告诉我系里服务器的单个CPU才1.8GHz，尽管
我们有近30个CPU并行和全部 2... 阅读全帖 |
|
t******0
发帖数: 629 | 3 小弟最近写东西。想找一些公认的term或者名词来准确表达我的设计。
实现的算法方是N^2的复杂度,即a1,a2,a3..ai...a100，每一个ai需要和与全部这100个
数相乘。所以总共有100x100次乘法运算。
总共算下来，如果只用一个乘法器，一共要10000个周期。
（1）已有的大部分同样领域的VLSI文章：
它们号称有parallel computing，实现方法是用100个乘法器并行地算出每个ai和100数
相乘的乘积，那么只需要100周期就能全部完成。
（2）我们的设计是这样的：
也要号称有parallel computing, 实现方法是事先把100个数分成5个小的数据集，对于
每一个小的数据集用一个乘法器来实现ai与此集中全部20个数相乘，由于这5个乘法器
是并行执行的，所以总共需要20个周期就可以。
这里我没写错，的确是20个周期，而且总共的计算量是20x20x5次乘法，不需要10000次
了。数学算法比较难解释，但是最后需要的结果，以上两种方法的确是一样的，这是我
们这个邪门算法的bonus。
回到正题，VLSI实现中，
（1）是一个Core，这种设计依靠这个c... 阅读全帖 |
|
t****l
发帖数: 236 | 4 计算机系在系统级芯片并行性研究上取得可喜成绩
近日，由计算机系研究生胡向辉和导师华蓓副教授及校友唐锡南博士合作的论文“
High-performance IPv6 Forwarding Algorithm for Multi-core and Multithreaded
Network Processors”被国际并行处理一流会议，ACM SIGPLAN Symposium on
Principles and Practice of Parallel Programming 2006年（PPoPP?2006）发表。唐锡
南和胡向辉参加了在纽约召开的国际会议，并于3月31号在大会上宣读此论文。这是该会
自1988年创办以来首次录用中国大陆高校和科研单位的论文。
ACM PPoPP 是计算机系统领域的一流国际会议之一，会议的主题包括并行编程原理、
并行编程工具、以及并行编程应用等。由于它是计算机并行处理方面最高级别的国际会议
之一，论文录取的竞争是异常激烈和富有挑战。从1988年到2005年，除美国外，其他国家
和地区在PPoPP上发表的学术论文各自最多不超过6篇，中国台 |
|
U********a
发帖数: 75 | 5 版内有做并行计算的吗？小弟编了一个程序，打算先在多核处理器上并行计算，以小弟
有限的经验，只知道openmp和mpi可以做并行处理，不知道这种多核处理器上的并行计
算用什么并行语言比较合适呢？个人觉得openmp是不是比mpi简单一些喃？还有其他的
方法么？另外有经验的大侠点评一下多核处理器并行有效果吗？小弟对此不是很懂，想
了解一些，请各位大侠多多指导！先谢了！ |
|
c***r
发帖数: 1570 | 6 来自主题: Computation版 - 并行计算 任何并行算法都是要事先计算 O_comm() 和O_comp（）的大小的，
然后再动手编程，
当O_comp大于 O_comm 时，并行效果越好，
当O_comm 小于 O_comp时，并行效果越差，
这是做并行的常识。
并行算法要具体问题具体分析，
以上只适用于基于Mpi的并行。
shared memory的和 gpu fermi的下次有空再聊。 |
|
U********a
发帖数: 75 | 7 版内有做并行计算的吗？小弟编了一个程序，打算先在多核处理器上并行计算，以小弟
有限的经验，只知道openmp和mpi可以做并行处理，不知道这种多核处理器上的并行计
算用什么并行语言比较合适呢？个人觉得openmp是不是比mpi简单一些喃？还有其他的
方法么？另外有经验的大侠点评一下多核处理器并行有效果吗？小弟对此不是很懂，想
了解一些，请各位大侠多多指导！先谢了！ |
|
g********r
发帖数: 8017 | 8 这些人多数不是搞并行的。只是用并行的。真搞并行还是挺高深地。要是哪天R的解释
器能自动并行，不用自己写并行code，那是多美好的一件事啊。 |
|
j********e
发帖数: 12 | 9 IBM GPFS组在中国逐渐扩张，GPFS中国团队目前在整个GPFS全球研发处于非常重要的地
位。IBM的Big Data Strategy的最核心组件GPFS-SNC(GPFS-Shared Nothing Cluster)
从架构设计和后续全部的开发都由中国团队这边完成。现在希望从北美招几名资深的开
发和测试研发人员，需要linux Kernel + 分布式/并行算法方面senior的经验，职位在
北京，有想回国的技术牛牛可以考虑这个职位。
项目组的内容很核心，我们和IBM Almaden Research Lab的同事一起研发这个并行文件
系统，它基于linux内核和AIX内核进行开发的，在OS内核以及分布式底层系统实现方面
需要有深入的理解和开发能力。另外作为一个Global R&D Project，平时开会英语使用
频繁，因此我们对英语听有较高的要求。
工作内容很有挑战，如果您不是一个喜欢挑战并且愿意沉下心研究核心技术的人，请勿
投简历。
项目组主要涉及的技术有： Distributed Lock and Token，Distri... 阅读全帖 |
|
j********e
发帖数: 12 | 10 IBM GPFS组在中国逐渐扩张，GPFS中国团队目前在整个GPFS全球研发处于非常核心的地
位，IBM的Big Data Strategy的最核心组件GPFS-SNC(GPFS-Shared Nothing Cluster)
从架构设计和后续全部的开发都由中国团队这边完成。现在希望从北美招几名资深的开
发和测试研发人员，需要linux Kernel + 分布式/并行算法方面senior的经验，职位在
北京，有想回国的技术牛牛可以考虑这个职位。
项目组的内容很核心，我们和IBM Almaden Research Lab的同事一起研发这个并行文件
系统，它基于linux内核和AIX内核进行开发的，在OS内核以及分布式底层系统实现方面
需要有深入的理解和开发能力。另外作为一个Global R&D Project，平时开会英语使用
频繁，因此我们对英语听有较高的要求。
工作内容很有挑战，如果您不是一个喜欢挑战并且愿意沉下心研究核心技术的人，请勿
投简历。
项目组主要涉及的技术有： Distributed Lock and Token，Distri... 阅读全帖 |
|
d****f
发帖数: 313 | 11 工作中牵涉到一个稍微复杂一点的线程同步问题，问题描述如下：
有两个thread：t1和t2
1、t1做N个时间步，t2做一个时间步（都是差分时间步），换句话说每个t2和N个t1同步
2、同步时，t1和t2要交换一下数据，t1先传1个链表tL1给t2,t2用这个tL1算两个链表
值(DataProcess)，tL2a,tL2b,一个要回传给t1（tL2a，之后t1的N步都要用到这个tL2a
）,另一个tL2b是t2下一步自己计算要用到的，这个过程是串行（原来并行的强制串行
）.
3、交换完数据，t1和t2各自完成自己时间步计算，这个过程中t1做一个积分（N步），
t2解一个方程，无论哪个先完成，都需要等到双方都完成了，才能开始下一轮的计算（
也就是回到2），这个过程是并行的.
我贴了一个简单的框架，只是保证t1做一步，t2做一步，因为刚开始接触并行内容，所
以请各位大牛指点一下，这个每轮先串行后并行的过程如何实现，比如是不是需要两个
mutex,两个condition variable，等等，希望我已经描述清楚了, 谢谢！
#include
#include |
|
d****f
发帖数: 313 | 12 工作中牵涉到一个稍微复杂一点的线程同步问题，问题描述如下：
有两个thread：t1和t2
1、t1做N个时间步，t2做一个时间步（都是差分时间步），换句话说每个t2和N个t1同步
2、同步时，t1和t2要交换一下数据，t1先传1个链表tL1给t2,t2用这个tL1算两个链表
值(DataProcess)，tL2a,tL2b,一个要回传给t1（tL2a，之后t1的N步都要用到这个tL2a
）,另一个tL2b是t2下一步自己计算要用到的，这个过程是串行（原来并行的强制串行
）.
3、交换完数据，t1和t2各自完成自己时间步计算，这个过程中t1做一个积分（N步），
t2解一个方程，无论哪个先完成，都需要等到双方都完成了，才能开始下一轮的计算（
也就是回到2），这个过程是并行的.
我贴了一个简单的框架，只是保证t1做一步，t2做一步，因为刚开始接触并行内容，所
以请各位大牛指点一下，这个每轮先串行后并行的过程如何实现，比如是不是需要两个
mutex,两个condition variable，等等，希望我已经描述清楚了, 谢谢！稍微有点提示也非常欢迎!
#include
# |
|
d****f
发帖数: 313 | 13 工作中牵涉到一个稍微复杂一点的线程同步问题，问题描述如下：
有两个thread：t1和t2
1、t1做N个时间步，t2做一个时间步（都是差分时间步），换句话说每个t2和N个t1同步
2、同步时，t1和t2要交换一下数据，t1先传1个链表tL1给t2,t2用这个tL1算两个链表
值(DataProcess)，tL2a,tL2b,一个要回传给t1（tL2a，之后t1的N步都要用到这个tL2a
）,另一个tL2b是t2下一步自己计算要用到的，这个过程是串行（原来并行的强制串行
）.
3、交换完数据，t1和t2各自完成自己时间步计算，这个过程中t1做一个积分（N步），
t2解一个方程，无论哪个先完成，都需要等到双方都完成了，才能开始下一轮的计算（
也就是回到2），这个过程是并行的.
我贴了一个简单的框架，只是保证t1做一步，t2做一步，因为刚开始接触并行内容，所
以请各位大牛指点一下，这个每轮先串行后并行的过程如何实现，比如是不是需要两个
mutex,两个condition variable，等等，希望我已经描述清楚了, 谢谢！
//------------------------------ |
|
发帖数: 1 | 14 看版上讨论python3.x，有点动心。
我还在用python2的原因：
一是力求跟旧系统兼容，
二是最看重的并行计算部分，python3似乎并没有太好的解决方案，缺少动力换成3.
那个充满非议的GIL还在那里。
目前大部分并行方案都是基于process的，虽然能用，但是跟thread比还是太重，而且
涉及到内存共享和数据交换等，就很麻烦。
有没有谁用过python3搞并行算法，比2能快多少？
我知道python只是作为胶水语言，但是现在越来越多用来处理数据，不得不考虑并行的
性能。 |
|
l*c
发帖数: 1 | 15 并行计算的能力不会超过图灵机， 因此一定可以用单CPU模拟
其实直觉上并行性并不能提供高于递归函数的能力，任何属于
递归可枚举(且非递归）或其上的函数（语言）直觉上在加入并行性后仍
不可计算，各种不可计算的判定问题显然不可能通过加入
并行性来解决 |
|
b*****d
发帖数: 61690 | 16 新华网平壤4月22日电(记者张利 杜白羽) 据朝中社22日报道，朝鲜近日举行内阁全
体扩大会议，讨论了经济建设问题，决定贯彻“经济建设和核武力建设并行路线”。
朝鲜内阁总理朴凤柱就贯彻朝鲜劳动党的“经济建设和核武力建设并行路线”作了
工作报告。内阁副总理全胜勋总结了今年第一季度国民经济发展计划执行情况，提出了
完成第二季度国民经济发展计划的对策措施。报告说，朝鲜今年第一季度国家预算收入
比去年同期增长6.6%。
会议还提出了贯彻“经济建设和核武力建设并行路线”的具体课题和方法，讨论了
加强经济强国建设、提高人民生活水平的问题。会议决定，将抓紧煤炭工业和金属工业
建设，集中力量发展农业和轻工业，稳定地提高人民生活水平。会议指出，将动员全部
力量提高粮食产量，无条件完成今年粮食生产计划，决定性地解决人民吃饭问题和粮食
问题。 |
|
n****r
发帖数: 5801 | 17 昨晚差点出车祸。。。
加州60号高速，车不算多，我离前边的车有很大一段距离，所以提了一下速正准备往前
冲（70迈），左边lane和我并行的一辆车突然进入到我的lane，我情急之下急打方向盘
向右，结果车差点失控，往几乎是正右冲了一段被我拧着又往近乎正左冲，车运行得就
像心电图的轨迹，我差点以为要撞墙了。。。还好终于回到原轨道。也还好后面车有些
距离没给撞上。NND，晚上都开着车灯的，并行车辆不应该不知道旁边有车呀。。。
请教各位，高速并行车辆突然转入你的lane，到底该怎么处理才正确？当时不打方向盘
肯定就撞上了。。。 |
|
j********e
发帖数: 12 | 18 IBM GPFS（General Parallel File System）组里现在要招2个Developer，职位在北京
，有想回国的技术牛牛可以考虑这个职位。
技术方面需要linux Kernel + 分布式/并行算法 方面的能力，项目组做的内容很核心
，我们和IBM Almaden Research一起从事该并行文件系统的设计开发等工作。
工作内容很有挑战，如果您不是一个喜欢挑战并且愿意沉下心研究核心技术的人，请勿
投简历。
项目组主要涉及的或者你进来可以学到的技术有： 分布式锁和Token，分布式日志，
Quota，Snapshot， IO（分布式DIO，AIO，MmapIO etc）， Memory Buffer
management， Parallel FS cache等模块的实现细节。
如果您研究过开源的分布式/并行文件系统的代码实现或者您在北美的公司里从事过内
核/文件系统相关的研发工作，非常欢迎过来跟我们交流。
我们的待遇可以给到band9及以上。 (大概50到100W RMB)
工作地点：北京。
如果您想了解更多关于GPFS的信... 阅读全帖 |
|
j********e
发帖数: 12 | 19 IBM GPFS（General Parallel File System）组里现在要招2个Developer，职位在北京
，有想回国的技术牛牛可以考虑这个职位。
技术方面需要linux Kernel + 分布式/并行算法 方面的能力，项目组做的内容很核心
，我们和IBM Almaden Research一起从事该并行文件系统的设计开发等工作。
工作内容很有挑战，如果您不是一个喜欢挑战并且愿意沉下心研究核心技术的人，请勿
投简历。
项目组主要涉及的或者你进来可以学到的技术有： 分布式锁和Token，分布式日志，
Quota，Snapshot， IO（分布式DIO，AIO，MmapIO etc）， Memory Buffer
management， Parallel FS cache等模块的实现细节。
如果您研究过开源的分布式/并行文件系统的代码实现或者您在北美的公司里从事过内
核/文件系统相关的研发工作，非常欢迎过来跟我们交流。
我们的待遇可以给到band9及以上。
工作地点：北京。
如果您想了解更多关于GPFS的信息，可以查看 http://ww... 阅读全帖 |
|
n****r
发帖数: 5801 | 20 昨晚差点出车祸。。。
60号高速，车不算多，我离前边的车有很大一段距离，所以提了一下速正准备往前冲（
70迈），左边lane和我并行的一辆车突然进入到我的lane，我情急之下急打方向盘向右
，结果车差点失控，往几乎是正右冲了一段被我拧着又往近乎正左冲，车运行得就像心
电图的轨迹，我差点以为要撞墙了。。。还好终于回到原轨道。也还好后面车有些距离
没给撞上。NND，晚上都开着车灯的，并行车辆不应该不知道旁边有车呀。。。
请教各位，高速并行车辆突然转入你的lane，到底该怎么处理才正确？当时不打方向盘
肯定就撞上了。。。 |
|
c*******t
发帖数: 1095 | 21 因为最近要做并行计算，想找点可完全并行的workload来测试，就像最简单的两个矩阵相加，每个元素都跟周围的无关，可完全拆开并行。请问图像处理中应该有很多独立的workload吧，能帮忙列举些有实际意义的么？
谢谢 |
|
c*******t
发帖数: 1095 | 22 因为最近要做并行计算，想找点可完全并行的workload来测试，就像最简单的两个矩阵
相加，每个元素都跟周围的无关，可完全拆开并行。请问有其他有实际意义的这种独立
的workload么，能帮忙列举些么？
谢谢 |
|
y**b
发帖数: 10166 | 23 多谢两位回复！
我这个问题本来就不存在一个deterministic order, 所以串行的结果一样并不能说明
串行的结果就比并行的结果更正确。还好并行的误差并不离谱，而且输出的结果明显
看出是舍入误差的累积，一位一位地放大。看intel的报告很多大型模型如天气模型会
因为舍入误差累积而达到量级差别，吓了一跳！
最近狠狠研究了几天并行和浮点consistency的问题，发现这个问题还不是一般的普遍，
各位做数值尤其是高精度高频率领域比如碰撞和爆炸可能会有些经验，欢迎指点。
我自己的思路是：
1. 先从gcc跳到icc试一下，毕竟icc提供80bits register extended precision和很多
浮点调控选项如-fp-model, 我试验了一下，发现icc不仅比gcc慢，也不能解决这个
consistency问题。(也说明gcc性能还是很牛的)。
2. GCC quad precision math lib, 这玩意比较新，_float128和sinq()等能提供大约
33位十进制进度，而double和long double只能提供15位精度。我的程序非常依赖这些
三... 阅读全帖 |
|
h*******u
发帖数: 15326 | 24 非并行算法改成并行，用gpu，也算有点贡献。
并行算法直接上gpu那算个毛啊 |
|
c***r
发帖数: 1570 | 25 来自主题: Computation版 - 并行计算 并行能有多复杂？
线代系统不就是矩阵分块, 建立halo和ghost node吗，然后在allgather么，
unstructured mesh稍微麻烦点，也不见得多复杂。
粒子系统不就是求大质心么换算么，顶多来电quadtree什么的玩意。
图像处理的并行，就不说了，dependent相对少很多。
这些都是能求O（f(n)）的.
“原先的好迭代结构被破坏了” -- 迭代结构是可以改的，mpi并行的迭代当然要用并
行的迭代方式。“第一手的数值实验结果+分析”的结果 -- 恐怕只是某几个 非计算密
集型的实验，以偏盖全，以特殊代表广义是最可怕的研究方式。
以上只是说mpi的。 |
|
c******k
发帖数: 1140 | 26 Matlab程序是 for 嵌套循环：比如，
a=0.1:0.5 with spacing 0.01; b=0.1:0.6 with spacing 0.01
c=0.1:0.8 with spacing 0.01; d=0.1:0.6 with spacing 0.01
e=0.1:0.9 with spacing 0.01; f=0.1:0.7 with spacing 0.01
g=0.1:0.6 with spacing 0.01; h=0.1:0.5 with spacing 0.01
执行部分
end; end; end; end;end; end; end; end;
这个程序在普通的PC 3.6GHz, 2GB内存上运行要2个星期多，把它放在系里的服务器上
运行，结果比我们lab的这个PC还慢，网管告诉我系里服务器的单个CPU才1.8GHz，尽管
我们有近30个CPU并行和全部 24GB ram也没用。建议把这个程序编成并行处理，但是不
知道如何把嵌套循环程序给并行处理？谢谢 |
|
F********d
发帖数: 19 | 27 基于服务器的并行计算，有CLUSTER, CLOUD, GRID等。
基于个人机的并行计算，除了GPU平行， 还有基于多内核的,如Intel的Parallel
Studio (Cilk++，etc)， Microsoft VS2010的PPL, OpenPM等。这类方法随着多内核个
人机的普及日渐流行。首先他们实现起来比较简单，尤其对于蒙特卡洛类的算法，通常
只需在原有CODE基础上做少量改动，而且容易从不同层级实现并行。但是这类加速跟内
核数目有直接关系，比如四内核的机器加速上限也就是4左右。一两年前微软貌似展示
过最多16内核的机器,估计到普及还要一两年时间。 |
|
j********2
发帖数: 4438 | 28 defensive driving，不要和别人并行。车多不是借口，一般车多到头尾相接的话，速
度必定不会太快，和堵车的情况差不多。一般情况下高速上的车距都足够让你错开和对
方并行了。 |
|
r**********g
发帖数: 22734 | 29 merge sort并行性能很好，quicksort 不是那么好并行滴 |
|
r**********g
发帖数: 22734 | 30 merge sort并行性能很好，quicksort 不是那么好并行滴 |
|
l***d
发帖数: 396 | 31 【 以下文字转载自 Military 讨论区 】
发信人: CatchGodLine (捆仙绳), 信区: Military
标 题: 从并行计算谈谈前戏的重要性
发信站: BBS 未名空间站 (Tue Mar 17 16:51:18 2015, 美东)
最近跑了几个大型并行计算程序 时常在改变tolerance时收敛出错
也没有找到太好的解决办法
后来让这些nodes运行了几个前戏热身程序
我戳戳你的G点缓冲区 你甜甜我的冠状敏感带
然后再运行 结果都是一气呵成 融会贯通
运算过程不出错 计算结果出奇地好
连计算机都知道前戏的重要性
一时 我陷入了深深地沉思
大家虽然都知道在体育运动前要大量地热身才能取得好成绩
但在性生活中却往往忽视了这一点
华男经常喜欢 穿山越岭 一往无前 缺乏足够的前戏
却往往忽视了 循循善诱 曲径通幽的道理
常常鸡飞蛋打 人去楼空
一个国家的发展也是这样
任何太激进 急风暴雨般的政策或者改革
都往往是一地鸡毛 残砖断瓦的结果
必须循序渐进 摸索总结
才能亦步亦趋 达到一个又一个的高潮 |
|
c********l
发帖数: 8138 | 32 小弟现在的水平：
如果是那种绿道比较缓的坡，可以基本上做到两个膝并拢，ski并行
但是turn的半径比较大
如果是绿道，接近蓝道的那种坡度，一上去就不得不用wedge，
大家有什么决窍？如何开始学并行？ |
|
o****k
发帖数: 401 | 33 系里的机器没法并行处理matlab，我就改改参数同时submit了好几个matlab程序，不过
好象有的时候有的程序就卡住不动了。程序写的有虫还是这样的假并行互相影响了？ |
|
b*****e
发帖数: 2511 | 34 【 以下文字转载自 Hardware 讨论区 】
发信人: bechone (被抽呢), 信区: Hardware
标 题: 想买一块并行计算的GPU，求建议
发信站: BBS 未名空间站 (Fri Jul 18 23:06:46 2014, 美东)
1000刀以上是不是就只有 GTX Titan这个选择了？1000刀一下的游戏卡可以做并行吗？
效果怎么样？ 谢谢大家 |
|
b*****e
发帖数: 2511 | 35 你的意思是 游戏卡做并行计算 还是不如专门的并行计算卡？两个具体差别在哪里呢？
核都是一样的 |
|
n******7
发帖数: 12463 | 36 【 以下文字转载自 Programming 讨论区 】
发信人: nowhere7 (折腾), 信区: Programming
标 题: 并行可以降低计算复杂度？？
发信站: BBS 未名空间站 (Mon May 4 17:53:30 2015, 美东)
最近看一篇文章，GPU计算的
用的deep learning
其中提到NN的计算复杂度是O(MN+LN^2)
M是输入的unit，N是所有layer的hidden unit，L是layer数
然后用GPU并行之后，就是M，N的linear时间复杂度了？
说原因是，计算两个N dimension vector的内积，用CPU是O(N)的，用GPU是O(1)
这是鬼扯吧？
我怀疑实际原因是，他们的GPU平台有近3K个core，计算中M在2000左右，N在几千数量级
所以他们是用core的数量K 抵消的一个N的复杂度
大家看是不是这样？ |
|
d****i
发帖数: 1038 | 37 两个人各写一段，并行发展，最后汇合或者不汇合，思路都很棒。我也想过很多次类似
的手法，比如一章写白天发生的故事，一章写晚上在梦里并行的故事，一章是当代，一
章是穿越的古代，最后互相影响，可惜有心无力 |
|
j*******7
发帖数: 6300 | 38 【 以下文字转载自 BibleStudy 俱乐部 】
发信人: jmsma2007 (James), 信区: BibleStudy
标 题: 司布真：信心和生活必须并行
发信站: BBS 未名空间站 (Wed Sep 18 14:45:27 2013, 美东)
我们若是靠圣灵得生，就当靠圣灵行事。（加5：25）
因信得生和因信行事是我们所信圣道的两件重要的事。能正确了解这两件事的人，
便是实验神学的大师，否则也相去不远了，因为这是作基督徒的两个要点。没有真正的
虔敬就不会有真正的信心；从另一方面说，真正圣洁的生活都是藉着活泼的信心在基督
的义上扎根的。顾此失彼的人有祸了！有的人单使信心增长，而忘了圣洁，他们在道理
上的造诣虽然很深，但所受的刑罚也必很大，“因为他们行不义，阻挡真道”；也有人
徒重生活的圣洁，而否认信心，正像从前的法利赛人一样，主说他们是“粉饰的坟墓”。
我们必须有信心，因为这是基础；我们必须有圣洁的生活，因为这是上层建筑。当
风暴来时在这基础上所建造的房屋对人有什么帮助呢？他能躲藏在里面吗?他希望有一
所根基稳固的房子来庇护他。当我们在犹疑之时... 阅读全帖 |
|
A***l
发帖数: 461 | 39 pixel level的譬如去噪，矫正等等。
还有在频域的，譬如通过滤波器将图像分为高频，低频等等再分在不同processor处理
，譬如
contourlet transform可以被并行处理。
阵相加，
每个元素都跟周围的无关，可完全拆开并行。请问图像处理中应该有很多独立的
workload吧，能
帮忙列举些有实际意义的么？ |
|
f*****s
发帖数: 115 | 40 有经验的兄弟请指点小弟。
老板想买三台普通PC让偶试试做并行计算应用，要我列出需要买的东东。
偶的问题如下：
1，买DELL3000或4700回来自己下载Linux装行吗？（还是买带的Linux Enterprise 3的系
列？） 用linux哪个版本好一些？
2，买一个很便宜的100Mb交换机（newegg，20$）够用吗？三台机器怎么连有讲究吗？
电脑需要弄成双网卡吗？
3，准备用mosix和MPI，各自哪个版本比较合适，可免费下载吗？
4，还有没有什么软件或硬件是必须的？
5，原先的单机上的计算程序是否要修改很多才能进行并行计算？
这方面完全是新手，急需高手指点，感激不尽！谢谢了！ |
|
I***a
发帖数: 704 | 41 我正在用CUDA做并行随机数生成器，包括LCG, LFG2种
并行的方法主要有:
1. LeapFrog
适用LCG,
2. Sequence Splittiing
适用LCG, LFG
3. Independent Sequences
适用LFG
有谁了解这方面吗？想交流下, Thanks. |
|
p******e
发帖数: 528 | 42 比方说我要运行某种计算程序，但那不是个并行程序。请问在这种轻快下用I7和I5
的差别大吗？（我知道I7可以有HT，但是对于一个非并行程序，这个有用吗？）
谢谢！ |
|
s*********d
发帖数: 2406 | 43 【 以下文字转载自 Computation 讨论区 】
发信人: sandyfriend (superman), 信区: Computation
标 题: 【包子】学校的机子都是cluster，用java 编程 如何并行
发信站: BBS 未名空间站 (Tue Sep 18 17:30:45 2012, 美东)
那些packet 支持？ 并行
都是millions 以上的 network |
|
h********w
发帖数: 221 | 44 菜鸟问个问题，关于C#的程序，
1,用什么并行花，
2,像cuda这种技术可以并行C#程序么
3,可以在多个cluster上跑么？而不只是在单机。
多谢！ |
|
l***d
发帖数: 396 | 45 【 以下文字转载自 Military 讨论区 】
发信人: CatchGodLine (捆仙绳), 信区: Military
标 题: 从并行计算谈谈前戏的重要性
发信站: BBS 未名空间站 (Tue Mar 17 16:51:18 2015, 美东)
最近跑了几个大型并行计算程序 时常在改变tolerance时收敛出错
也没有找到太好的解决办法
后来让这些nodes运行了几个前戏热身程序
我戳戳你的G点缓冲区 你甜甜我的冠状敏感带
然后再运行 结果都是一气呵成 融会贯通
运算过程不出错 计算结果出奇地好
连计算机都知道前戏的重要性
一时 我陷入了深深地沉思
大家虽然都知道在体育运动前要大量地热身才能取得好成绩
但在性生活中却往往忽视了这一点
华男经常喜欢 穿山越岭 一往无前 缺乏足够的前戏
却往往忽视了 循循善诱 曲径通幽的道理
常常鸡飞蛋打 人去楼空
一个国家的发展也是这样
任何太激进 急风暴雨般的政策或者改革
都往往是一地鸡毛 残砖断瓦的结果
必须循序渐进 摸索总结
才能亦步亦趋 达到一个又一个的高潮 |
|
b********6
发帖数: 195 | 46 有关并行算法的简单问题，请大侠们帮忙看看，不胜感激
1。 我怎么判断我的计算机上有几个processor?
2.如果一个源程序，它内部的算法已经被设计为并行算法，它是不是只能在有多个
processpor的机器上运行？
有没有可能这个源程序也能在只有一个processor的机器上运行？ |
|
g*****u
发帖数: 14294 | 47 你可能得先琢磨一下LU分解算法可不可并行。这东西因为很基础很重要，所以从理论到
实践论述很多。你不妨检索一下。
一个特例是Cholesky分解，用得很多。你看看Cholesky分解并行算法里的Multi-
frontal类方法对你LU分解是否有启发。
这只是我的一点皮毛拙见，仅供参考。 |
|
i****p
发帖数: 76 | 48 我不觉得用matlab 并行处理好。
建议你看看MPI,这个是很普遍的并行处理库。而且MATRIX MULTIPILCATION已经有现成
的程序了。你装个库，写个小的C程序，运行起来很容易。
如果你们系里有BATCH SYSTEM,我觉得他们应该有这个库。你上来说说你们系里是什么
系统？ |
|
X***o
发帖数: 125 | 49 先写几个试验程式，看看集群的并行延展性。俺的经验是，很多问题的并行解决方案在
集群上的性能提升极其有限。 |
|
