m********o
发帖数: 143 | 1 有两台各有 48 cores 的 compute nodes，结果 1G 的 ethernet 成了瓶颈。10G 的
switch 太贵了，现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡，
然后在两台 compute nodes 上各装一个 10GBase-T 的网卡，直连。通过设置
iptables 把路由搞定。这样可行么？因为手里还没有 10GBase-T 的网卡，没有办法测
试，跑上来问问～ |
a*****s
发帖数: 2663 | |
s******u
发帖数: 501 | 3 都48core的node了还不搞infiniband？
【在 m********o 的大作中提到】
: 有两台各有 48 cores 的 compute nodes，结果 1G 的 ethernet 成了瓶颈。10G 的
: switch 太贵了，现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡，
: 然后在两台 compute nodes 上各装一个 10GBase-T 的网卡，直连。通过设置
: iptables 把路由搞定。这样可行么？因为手里还没有 10GBase-T 的网卡，没有办法测
: 试，跑上来问问～
|
t****t
发帖数: 6806 | 4 可以是可以的, 但是48个core共享一个10GBase-T效果不见得很好.
【在 m********o 的大作中提到】
: 有两台各有 48 cores 的 compute nodes，结果 1G 的 ethernet 成了瓶颈。10G 的
: switch 太贵了，现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡，
: 然后在两台 compute nodes 上各装一个 10GBase-T 的网卡，直连。通过设置
: iptables 把路由搞定。这样可行么？因为手里还没有 10GBase-T 的网卡，没有办法测
: 试，跑上来问问～
|
P****S
发帖数: 2286 | 5 iptables 不知会引入多少overhead.
48 core的server怎么也有4个1Gbps port吧。用bonding就行了。
【在 m********o 的大作中提到】
: 有两台各有 48 cores 的 compute nodes，结果 1G 的 ethernet 成了瓶颈。10G 的
: switch 太贵了，现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡，
: 然后在两台 compute nodes 上各装一个 10GBase-T 的网卡，直连。通过设置
: iptables 把路由搞定。这样可行么？因为手里还没有 10GBase-T 的网卡，没有办法测
: 试，跑上来问问～
|
j*a
发帖数: 14423 | 6 我感觉可以，不会比专用的switch慢多少
【在 m********o 的大作中提到】
: 有两台各有 48 cores 的 compute nodes，结果 1G 的 ethernet 成了瓶颈。10G 的
: switch 太贵了，现在的想法是在 head node 上装一个有两个口的 10GBase-T 网卡，
: 然后在两台 compute nodes 上各装一个 10GBase-T 的网卡，直连。通过设置
: iptables 把路由搞定。这样可行么？因为手里还没有 10GBase-T 的网卡，没有办法测
: 试，跑上来问问～
|
t****t
发帖数: 6806 | 7 当然比用switch快了, 怎么会慢呢.
【在 j*a 的大作中提到】
: 我感觉可以，不会比专用的switch慢多少
|
j*a
发帖数: 14423 | 8 我理解lz是三个node，c-h-c这样连，h非常可能比专用的switch慢，怎么不是了呢？
【在 t****t 的大作中提到】
: 当然比用switch快了, 怎么会慢呢.
|
|
t****t
发帖数: 6806 | 9 哦, 那是...如果C-C的连接很重要的话, 不如弄个三角形了.
【在 j*a 的大作中提到】
: 我理解lz是三个node，c-h-c这样连，h非常可能比专用的switch慢，怎么不是了呢？
|
m********o
发帖数: 143 | 10 感谢这么多人回复～
现在是 48 cores 共享一个 1G 网口……那叫一个挤破头啊……机器是 dell 的 C6145
，两台 48 core 的机器只占 2U，所以也没那么多网口做 bonding。确实是希望做成
C1-H-C2，C1 C2 之间基本没通信，所以不需要弄成三角。10G 的 switch 都嫌贵，就
不要提 infiniband 了，呵呵～
那我先 order 10G 的网卡，等到 iptables 设置不明白再回来求帮助：） |
j*a
发帖数: 14423 | 11 你需要bridge-utils。要是再深点还需要第二个工具
bridge-utils - Utilities for configuring the Linux Ethernet bridge
ebtables - Ethernet bridge frame table administration
C6145
【在 m********o 的大作中提到】
: 感谢这么多人回复～
: 现在是 48 cores 共享一个 1G 网口……那叫一个挤破头啊……机器是 dell 的 C6145
: ，两台 48 core 的机器只占 2U，所以也没那么多网口做 bonding。确实是希望做成
: C1-H-C2，C1 C2 之间基本没通信，所以不需要弄成三角。10G 的 switch 都嫌贵，就
: 不要提 infiniband 了，呵呵～
: 那我先 order 10G 的网卡，等到 iptables 设置不明白再回来求帮助：）
|
