由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - consistent hashing实际应用
相关主题
真心请教,究竟怎么设计才能处理每秒100万次的写操作问个hash函数问题
Re: 请教一道题目有人set up过 多个node的Cassandra 么? (转载)
请教一个 F的message设计问题, 不能理解Cassandra 里的 partition
问个小问题Interview questions about hash function
算法题一个STL map
请教算法题slack got hacked, 没一个安全的
分别用LinkedList和HashMap构建字典树(Compact Trie)怎么做cassandra, rack aware/ datacenter aware replication policy 问题
Best practice for updating user data?今天碰见一个高手
相关话题的讨论汇总
话题: server话题: hashing话题: consistent话题: node话题: hash
进入Programming版参与讨论
1 (共1页)
k****i
发帖数: 128
1
每个环上的server都要maintain整个环的hash=>server mapping,如果环有变化,交换
message的量不是会很大?
p*****2
发帖数: 21240
2
问题有些奇怪

【在 k****i 的大作中提到】
: 每个环上的server都要maintain整个环的hash=>server mapping,如果环有变化,交换
: message的量不是会很大?

k****i
发帖数: 128
3
可能我理解的有问题,比如cassandra,request可以发到环上任何server,那这个
server如何知道目标在哪个server上?所以每个server都要maintain整个环上hash
range和server的mapping吧。如果一台server down掉要重新交换信息维护这个mapping吧

【在 p*****2 的大作中提到】
: 问题有些奇怪
g*****g
发帖数: 34805
4
当然不会很大,不就是A 1-100 现在1-50了,哪有什么数据量。

【在 k****i 的大作中提到】
: 每个环上的server都要maintain整个环的hash=>server mapping,如果环有变化,交换
: message的量不是会很大?

w**z
发帖数: 8232
5
Cassandra 2.X 有了virtual node, 稍微复杂一点。1.X 就很简单了,根据hash值就知
道在哪个node 上了。存这信息的数据量是很小的。 replace node,的话,stream data
的量就很可观了。vnode 的好处之一就是大大加快了bootstrap.所有node 都会参与
stream.

mapping吧

【在 k****i 的大作中提到】
: 可能我理解的有问题,比如cassandra,request可以发到环上任何server,那这个
: server如何知道目标在哪个server上?所以每个server都要maintain整个环上hash
: range和server的mapping吧。如果一台server down掉要重新交换信息维护这个mapping吧

g*****g
发帖数: 34805
6
consistent hash 需要重新hash的部分很少,就是1/N。

data

【在 w**z 的大作中提到】
: Cassandra 2.X 有了virtual node, 稍微复杂一点。1.X 就很简单了,根据hash值就知
: 道在哪个node 上了。存这信息的数据量是很小的。 replace node,的话,stream data
: 的量就很可观了。vnode 的好处之一就是大大加快了bootstrap.所有node 都会参与
: stream.
:
: mapping吧

k****i
发帖数: 128
7
主要是所有node都要更新环的信息

【在 g*****g 的大作中提到】
: consistent hash 需要重新hash的部分很少,就是1/N。
:
: data

w**z
发帖数: 8232
8
node change 不经常发生,而且每个节点default 只有256个vnode. 就算更新环的信
息,也很快。和data replicates 相比, it is nothing.

【在 k****i 的大作中提到】
: 主要是所有node都要更新环的信息
g*****g
发帖数: 34805
9
环的信息很少,一条消息就搞定了。主要流量在于新node从其他节点复制一部分,这个
本身也是distributed的。

【在 k****i 的大作中提到】
: 主要是所有node都要更新环的信息
1 (共1页)
进入Programming版参与讨论
相关主题
今天碰见一个高手算法题一个
some thoughts after Cassandra Summit请教算法题
Cassandra 看测试read也不算慢呢分别用LinkedList和HashMap构建字典树(Compact Trie)怎么做
cassandra的eventual consistency怎么破?Best practice for updating user data?
真心请教,究竟怎么设计才能处理每秒100万次的写操作问个hash函数问题
Re: 请教一道题目有人set up过 多个node的Cassandra 么? (转载)
请教一个 F的message设计问题, 不能理解Cassandra 里的 partition
问个小问题Interview questions about hash function
相关话题的讨论汇总
话题: server话题: hashing话题: consistent话题: node话题: hash