z*******o
发帖数: 4773 | 1 传一个大文件到几个数据中心，每个中心上千台机器。
好像在哪里看过用类似bt之类的算法。 |
s********l
发帖数: 998 | 2 是不是用distributed message queue
scribe之类的？
【在 z*******o 的大作中提到】
: 传一个大文件到几个数据中心，每个中心上千台机器。
: 好像在哪里看过用类似bt之类的算法。
|
j**********3
发帖数: 3211 | |
f*******t
发帖数: 7549 | |
s********l
发帖数: 998 | 5 你说的BT是BitTorrent?
【在 f*******t 的大作中提到】
: BT
|
d******v
发帖数: 801 | |
w*********e
发帖数: 49 | 7 我觉得这题的考察点是distributed system的理论知识
这是一个经典topological aware gossip模型，重点是要调整标准gossip模型以保证
data center间的带宽负荷仍是O(1)
这里有个UIUC ppt讲这个的
https://courses.engr.illinois.edu/cs425/fa2014/L8.fa14.pptx
【在 z*******o 的大作中提到】
: 传一个大文件到几个数据中心，每个中心上千台机器。
: 好像在哪里看过用类似bt之类的算法。
|
f*********l
发帖数: 46 | 8 和gossip没关，那玩意是用来维护membership的... BitTorrent,看看twitter的murder
，估计fb内部也是这么干的，听说他们就是一个超大可执行文件(只是听说) |
k******a
发帖数: 44 | 9 感觉还是gossip啊，
不一定只能用gossip维护membership。
如果将超大文件分割成N个部分，每个部分当做一个message, 有message id。然后在数
据中心中节点间用gossip的模型传递。节点之间就像人群传谣言一样，某个节点传递消
息给它知道的周边邻居节点。然后，eventually文件传递完成。
数据中心之间的传递是必须得么？从数据的源头直接发到各个数据中心的某些节点就可
以了吧。 |
s********l
发帖数: 998 | 10 用gossip传大文件 network traffic会不会太大了啊？
而且 是不是还要加个机制保证order啊~
【在 k******a 的大作中提到】
: 感觉还是gossip啊，
: 不一定只能用gossip维护membership。
: 如果将超大文件分割成N个部分，每个部分当做一个message, 有message id。然后在数
: 据中心中节点间用gossip的模型传递。节点之间就像人群传谣言一样，某个节点传递消
: 息给它知道的周边邻居节点。然后，eventually文件传递完成。
: 数据中心之间的传递是必须得么？从数据的源头直接发到各个数据中心的某些节点就可
: 以了吧。
|
|
|
z*******o
发帖数: 4773 | 11 觉得bt，或者稍微变形够了，
tracker， seeder，peers，稍微吹吹够了。
gossip有点过，over kill
murder
【在 f*********l 的大作中提到】
: 和gossip没关，那玩意是用来维护membership的... BitTorrent,看看twitter的murder
: ，估计fb内部也是这么干的，听说他们就是一个超大可执行文件(只是听说)
|
s*******e
发帖数: 142 | |
g*****g
发帖数: 34805 | 13 一种做法是分块，并行 UDP。见 Aspera. |
z*******o
发帖数: 4773 | 14 听闻aspera是ibm的专利
【在 g*****g 的大作中提到】
: 一种做法是分块，并行 UDP。见 Aspera.
|
g*****g
发帖数: 34805 | 15 IBM收购了这个公司。
【在 z*******o 的大作中提到】
: 听闻aspera是ibm的专利
|
k******a
发帖数: 44 | 16
我的意思是用gossip的思想，
一个消息X是文件的M OUT OF N parts。
当节点A收到X，A试图将X传给它的邻居B,C。如果B已经有X，那么就不给B传。
network traffic的问题可以通过控制
1. 消息大小
2. 邻居个数
3. 同时传输的消息的个数
来mitigate。
消息达到的order不重要，只要全部parts都到了，组合成文件即可。
【在 s********l 的大作中提到】
: 用gossip传大文件 network traffic会不会太大了啊？
: 而且 是不是还要加个机制保证order啊~
|
