现在的deep learning的kernel算法是data parallel还是model parallel - Programming版 - 未名存档

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Programming版 - 现在的deep learning的kernel算法是data parallel还是model parallel

相关主题
● 问一个machine learning/SVM 问题	● 请问大牛做科学计算用什么语言合适？
● C++ delete	● 现在到底啥行业未死？
● openMP or boost::thread (pthread) for multithreading ?	● 牛b不牛b的唯一标准
● C++ OO approach to use multi-dim array for HPC	● 其实智商高马工就是非常轻松的工作，跟科班没有一点关系
● double转换int的问题	● high performance computer architecture 这课有啥大意义吗
● server side language 统计，java:.Net = 1:5	● 内推机会：HPC Cuda in a medical device company in Fremont, CA
● Is there anyone familiar with NTP Time Synchronization?	● java真不错，但是好像没有numpy/scipy这样的package？
● 爪哇就是黑穆三	● 高度不平衡数据，你们做所谓‘平衡’数据这个步骤吗？

相关话题的讨论汇总
话题: parallel话题: model话题: data话题: 算法话题: kernel

进入Programming版参与讨论

1

(共1页)

f******2 发帖数: 2455	1 （如果是data parallel那当然好，搞搞hadoop这类的东西就可以无限加速了）在data parallel模型下，每个batch的大小对model的accuracy有影响吗？对收敛速度有影响吗？如果核心算法只能搞model parallel才能实现，那么，将来搞HPC的人就又有职业第二春了。哪位专家出来分析一下吧？
f******2 发帖数: 2455	2 自顶。请大妞不吝赐教

1

(共1页)

进入Programming版参与讨论

相关主题
● 高度不平衡数据，你们做所谓‘平衡’数据这个步骤吗？	● double转换int的问题
● tensorflow lstm 的traing accuracy 总是under 0.1	● server side language 统计，java:.Net = 1:5
● [R问题][classification] 你们模型cutoff value都怎么取? .5 吗？	● Is there anyone familiar with NTP Time Synchronization?
● 看了一点kafka	● 爪哇就是黑穆三
● 问一个machine learning/SVM 问题	● 请问大牛做科学计算用什么语言合适？
● C++ delete	● 现在到底啥行业未死？
● openMP or boost::thread (pthread) for multithreading ?	● 牛b不牛b的唯一标准
● C++ OO approach to use multi-dim array for HPC	● 其实智商高马工就是非常轻松的工作，跟科班没有一点关系

相关话题的讨论汇总
话题: parallel话题: model话题: data话题: 算法话题: kernel

未名新帖统计// 7月16日

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)