m********o 发帖数: 143 | 1 有两台各有 48 cores 的 compute nodes,结果 1G 的 ethernet 成了瓶颈。10G 的
switch 太贵了,现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡,
然后在两台 compute nodes 上各装一个 10GBase-T 的网卡,直连。通过设置
iptables 把路由搞定。这样可行么?因为手里还没有 10GBase-T 的网卡,没有办法测
试,跑上来问问~ |
a*****s 发帖数: 2663 | |
s******u 发帖数: 501 | 3 都48core的node了还不搞infiniband?
【在 m********o 的大作中提到】 : 有两台各有 48 cores 的 compute nodes,结果 1G 的 ethernet 成了瓶颈。10G 的 : switch 太贵了,现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡, : 然后在两台 compute nodes 上各装一个 10GBase-T 的网卡,直连。通过设置 : iptables 把路由搞定。这样可行么?因为手里还没有 10GBase-T 的网卡,没有办法测 : 试,跑上来问问~
|
t****t 发帖数: 6806 | 4 可以是可以的, 但是48个core共享一个10GBase-T效果不见得很好.
【在 m********o 的大作中提到】 : 有两台各有 48 cores 的 compute nodes,结果 1G 的 ethernet 成了瓶颈。10G 的 : switch 太贵了,现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡, : 然后在两台 compute nodes 上各装一个 10GBase-T 的网卡,直连。通过设置 : iptables 把路由搞定。这样可行么?因为手里还没有 10GBase-T 的网卡,没有办法测 : 试,跑上来问问~
|
P****S 发帖数: 2286 | 5 iptables 不知会引入多少overhead.
48 core的server怎么也有4个1Gbps port吧。用bonding就行了。
【在 m********o 的大作中提到】 : 有两台各有 48 cores 的 compute nodes,结果 1G 的 ethernet 成了瓶颈。10G 的 : switch 太贵了,现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡, : 然后在两台 compute nodes 上各装一个 10GBase-T 的网卡,直连。通过设置 : iptables 把路由搞定。这样可行么?因为手里还没有 10GBase-T 的网卡,没有办法测 : 试,跑上来问问~
|
j*a 发帖数: 14423 | 6 我感觉可以,不会比专用的switch慢多少
【在 m********o 的大作中提到】 : 有两台各有 48 cores 的 compute nodes,结果 1G 的 ethernet 成了瓶颈。10G 的 : switch 太贵了,现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡, : 然后在两台 compute nodes 上各装一个 10GBase-T 的网卡,直连。通过设置 : iptables 把路由搞定。这样可行么?因为手里还没有 10GBase-T 的网卡,没有办法测 : 试,跑上来问问~
|
t****t 发帖数: 6806 | 7 当然比用switch快了, 怎么会慢呢.
【在 j*a 的大作中提到】 : 我感觉可以,不会比专用的switch慢多少
|
j*a 发帖数: 14423 | 8 我理解lz是三个node,c-h-c这样连,h非常可能比专用的switch慢,怎么不是了呢?
【在 t****t 的大作中提到】 : 当然比用switch快了, 怎么会慢呢.
|
|
t****t 发帖数: 6806 | 9 哦, 那是...如果C-C的连接很重要的话, 不如弄个三角形了.
【在 j*a 的大作中提到】 : 我理解lz是三个node,c-h-c这样连,h非常可能比专用的switch慢,怎么不是了呢?
|
m********o 发帖数: 143 | 10 感谢这么多人回复~
现在是 48 cores 共享一个 1G 网口……那叫一个挤破头啊……机器是 dell 的 C6145
,两台 48 core 的机器只占 2U,所以也没那么多网口做 bonding。确实是希望做成
C1-H-C2,C1 C2 之间基本没通信,所以不需要弄成三角。10G 的 switch 都嫌贵,就
不要提 infiniband 了,呵呵~
那我先 order 10G 的网卡,等到 iptables 设置不明白再回来求帮助:) |
j*a 发帖数: 14423 | 11 你需要bridge-utils。要是再深点还需要第二个工具
bridge-utils - Utilities for configuring the Linux Ethernet bridge
ebtables - Ethernet bridge frame table administration
C6145
【在 m********o 的大作中提到】 : 感谢这么多人回复~ : 现在是 48 cores 共享一个 1G 网口……那叫一个挤破头啊……机器是 dell 的 C6145 : ,两台 48 core 的机器只占 2U,所以也没那么多网口做 bonding。确实是希望做成 : C1-H-C2,C1 C2 之间基本没通信,所以不需要弄成三角。10G 的 switch 都嫌贵,就 : 不要提 infiniband 了,呵呵~ : 那我先 order 10G 的网卡,等到 iptables 设置不明白再回来求帮助:)
|