g******t
发帖数: 11249 | 1 程序也不复杂
一亿个点跑kmeans
跑了一个周末，今早被管理员杀了
这玩意容易改成并行程序么 |
h*****2
发帖数: 154 | 2 并行跟memory没必然关系。
10个T也没多少
【在 g******t 的大作中提到】
: 程序也不复杂
: 一亿个点跑kmeans
: 跑了一个周末，今早被管理员杀了
: 这玩意容易改成并行程序么
|
g**a
发帖数: 2129 | 3 .........1亿个点，distance matrix得1亿*1亿的matrix，谁给你的gut来跑这个的？
挖草，本来还以为碰到了同行，看来不是。 |
g******t
发帖数: 11249 | 4 不懂，这个matrix很大吗？
这只是采样，也就几G
SAS不是能分析上百G的数据么
【在 g**a 的大作中提到】
: .........1亿个点，distance matrix得1亿*1亿的matrix，谁给你的gut来跑这个的？
: 挖草，本来还以为碰到了同行，看来不是。
|
m********e
发帖数: 177 | 5 一个人用十几个T内存没多少？你以为是硬盘？
【在 h*****2 的大作中提到】
: 并行跟memory没必然关系。
: 10个T也没多少
|
s*****r
发帖数: 43070 | 6 10几T是总资源，把部分机器搞的OOM，完全可能
集群资源配置不上k8s吗 |
m********e
发帖数: 177 | 7 肯定没怎么细分加限制，不然也不需要管理员手动kill了
【在 s*****r 的大作中提到】
: 10几T是总资源，把部分机器搞的OOM，完全可能
: 集群资源配置不上k8s吗
|
e****w
发帖数: 1565 | 8 K8s你个鸡吧 你听过哪个超算用过k8
: 10几T是总资源，把部分机器搞的OOM，完全可能
: 集群资源配置不上k8s吗
【在 s*****r 的大作中提到】
: 10几T是总资源，把部分机器搞的OOM，完全可能
: 集群资源配置不上k8s吗
|
g******t
发帖数: 11249 | 9 感觉很不方便
以后还是自己机器上小数据量写算法
交给合作伙伴在集群上测试吧
【在 s*****r 的大作中提到】
: 10几T是总资源，把部分机器搞的OOM，完全可能
: 集群资源配置不上k8s吗
|
e****w
发帖数: 1565 | |
|
|
s*****r
发帖数: 43070 | 11 要跟进技术潮流啊，大数据计算在k8s上面转，kubeflow听说过吗
【在 e****w 的大作中提到】
: K8s你个鸡吧 你听过哪个超算用过k8
:
:
: 10几T是总资源，把部分机器搞的OOM，完全可能
:
: 集群资源配置不上k8s吗
:
|
n********g
发帖数: 6504 | 12 研究代码几十年工匠和半路出家发考题的区别
刷题转码，包裹加倍，睡白牛，人生高峰
【在 g******t 的大作中提到】
: 程序也不复杂
: 一亿个点跑kmeans
: 跑了一个周末，今早被管理员杀了
: 这玩意容易改成并行程序么
|
s***h
发帖数: 487 | 13 哈哈，属实！！！！！！
: 研究代码几十年工匠和半路出家发考题的区别
: 刷题转码，包裹加倍，睡白牛，人生高峰
【在 n********g 的大作中提到】
: 研究代码几十年工匠和半路出家发考题的区别
: 刷题转码，包裹加倍，睡白牛，人生高峰
|
m**********e
发帖数: 12525 | 14 搞笑,科学计算的问题跟你码农的问题不一样
它是需要计算几亿尺寸的矩阵的乘法,它的做法是把几个矩阵数据一次调入内存,
然后在内存运算,所以占了天量内存,但是计算量并不大,
著名的numerical receipt这本垃圾书也是这样教人写程序的,要计算10亿个点,
丫就开10亿dim的array
这样的方法是错的,正确的办法是数据按矩阵block存在硬盘上,按block调入内存计算,
得预估计算速度以确定block大小
【在 s*****r 的大作中提到】
: 要跟进技术潮流啊，大数据计算在k8s上面转，kubeflow听说过吗
|
l*******t
发帖数: 1430 | |
