p*****2
发帖数: 21240 | |
d*******r
发帖数: 3299 | 2 我记得板上很多人都说MongoDB好多坑来着。
二爷你们team一个都没遇上吗？还是有坑，因为community确实大，也容易fix。
或者坑都是老版本的MongoDB了。 |
z****e
发帖数: 54598 | 3 couchdb简单啊
不过我不喜欢阿
我喜欢cassandra
【在 p*****2 的大作中提到】
: http://java.dzone.com/articles/nosql-trends-mongodb-cassandra
: zhaoce大牛看好的couchdb不行呀。
|
a***n
发帖数: 538 | 4 mongodb很不稳定啊，居然一定要奇数个服务器的。 |
d*******r
发帖数: 3299 | 5 二爷你们同事发现过这种坑...?
【在 a***n 的大作中提到】
: mongodb很不稳定啊，居然一定要奇数个服务器的。
|
g*****g
发帖数: 34805 | 6 mongo易用性没得说，但是high scalability性能有问题。这个应该是共识了。
【在 p*****2 的大作中提到】
: http://java.dzone.com/articles/nosql-trends-mongodb-cassandra
: zhaoce大牛看好的couchdb不行呀。
|
d*******r
发帖数: 3299 | 7 couchdb 之前我研究的时候看他们官网被吓到了，因为 couchdb 合并了另外一个公司
后，couchdb 一下出了 2~3 个不同的版本 -- 您这不是玩儿我们 developers 吗？不
知道 couchdb 公司内部政治情况在搞啥。
【在 z****e 的大作中提到】
: couchdb简单啊
: 不过我不喜欢阿
: 我喜欢cassandra
|
d*******r
发帖数: 3299 | 8 大牛稍微展开说说?
【在 g*****g 的大作中提到】
: mongo易用性没得说，但是high scalability性能有问题。这个应该是共识了。
|
g*****g
发帖数: 34805 | 9 http://www.datastax.com/dev/blog/2012-in-review-performance
MongoDB
MongoDB can be a great alternative to MySQL, but it’s not really
appropriate for the scale-out applications targeted by Cassandra. Still, as
early members of the NoSQL category, the two do draw comparisons.
One important limitation in MongoDB is database-level locking. That is, only
one writer may modify a given database at a time. Support for collection-
level (a set of documents, analogous to a relational table) locking is
planned. With either database- or collection-level locking, other writers or
readers are locked out. Even a small number of writes can produce stalls in
read performance.
Cassandra uses advanced concurrent structures to provide row-level isolation
without locking. Cassandra even eliminated the need for row-level locks for
index updates in the recent 1.2 release.
A more subtle MongoDB limitation is that when adding or updating a field in
a document, the entire document must be re-written. If you pre-allocate
space for each document, you can avoid the associated fragmentation, but
even with pre-allocation updating your document gets slower as it grows.
Cassandra’s storage engine only appends updated data, it never has to re-
write or re-read existing data. Thus, updates to a Cassandra row or
partition stay fast as your dataset grows.
【在 d*******r 的大作中提到】
: 大牛稍微展开说说?
|
z****e
发帖数: 54598 | 10 这些都是学ee的人搞过来的东西
包括erlang那些，没啥意思，适合给喜欢fp的人用
据说负载比tomcat大很多倍
【在 d*******r 的大作中提到】
: couchdb 之前我研究的时候看他们官网被吓到了，因为 couchdb 合并了另外一个公司
: 后，couchdb 一下出了 2~3 个不同的版本 -- 您这不是玩儿我们 developers 吗？不
: 知道 couchdb 公司内部政治情况在搞啥。
|
|
|
z****e
发帖数: 54598 | 11 还有这种奇芭的要求？
【在 a***n 的大作中提到】
: mongodb很不稳定啊，居然一定要奇数个服务器的。
|
B*****g
发帖数: 34098 | 12 主要是做replicate，芒果一定要选出一个primary，选primary是通过各个server投票
。如果偶数台server，投票容易引起tie。
解决就是如果有偶数台server，把其中一台或奇数台设置为不可投票即可。
【在 z****e 的大作中提到】
: 还有这种奇芭的要求？
|
B*****g
发帖数: 34098 | 13 顶这个。做replicate，sharding（cluster)，几秒钟的事。
【在 g*****g 的大作中提到】
: mongo易用性没得说，但是high scalability性能有问题。这个应该是共识了。
|
c*****e
发帖数: 3226 | 14 你别乱喷 erlang 了，说实在的，还没见到那个语言比它强，除开 c
【在 z****e 的大作中提到】
: 这些都是学ee的人搞过来的东西
: 包括erlang那些，没啥意思，适合给喜欢fp的人用
: 据说负载比tomcat大很多倍
|
c******o
发帖数: 1277 | 15 这些都是属于已知的吧？
我们的就是对多写的单独建一个db（还在一个instance上的）
还有对于奇数个的问题我怎么记得是多建几个voting only sever呢？
可能是我记错了？ |
c******o
发帖数: 1277 | 16 scale out mongodb的主要办法是sharding吧？
到最后只能牺牲consistence，尽量denormalization,也和其他的nosql就差不多了。
殊途同归。 |
d*******r
发帖数: 3299 | 17 One important limitation in MongoDB is database-level locking. That is, only
one writer may modify a given database at a time.
A more subtle MongoDB limitation is that when adding or updating a field in
a document, the entire document must be re-written.
记下了，多谢指点！
我记得看 mongoDB official doc 上反复说，要 performance， 请让文档小一点，多
分些文档。原来还有这个原因: "updating field entire document must be re-
written" |
d*******r
发帖数: 3299 | 18 请问你是说一个writer写一个mongo db instance吗？然后都在一个 ec2 instance 上
面？
【在 c******o 的大作中提到】
: 这些都是属于已知的吧？
: 我们的就是对多写的单独建一个db（还在一个instance上的）
: 还有对于奇数个的问题我怎么记得是多建几个voting only sever呢？
: 可能是我记错了？
|
c******o
发帖数: 1277 | 19 在一个地址的server上有好几个db, 虽然是一个instance,但是不同的db，其中一个是
主的，另外的写操作多的放在单独的db,这样只lock少，但是 就不好aggregation,
cross reference 了。
我们一大堆ec2 instance呢。
一堆mongos 下面是3个shards, 每个shard是一个replica set, 里面三个work node，
1 master, 2 slave，还有一个voting专用的arbiter。
另外还有3个replicated sharding config servers.
【在 d*******r 的大作中提到】
: 请问你是说一个writer写一个mongo db instance吗？然后都在一个 ec2 instance 上
: 面？
|
z*******3
发帖数: 13709 | 20 主流和非主流的差异
我也没有定位错误
本来就是主要给通信的人用的
【在 c*****e 的大作中提到】
: 你别乱喷 erlang 了，说实在的，还没见到那个语言比它强，除开 c
|
|
|
z*******3
发帖数: 13709 | 21 哈，投票机制的公平问题
我问过老头，老头当时回答说是
如果这样的话，就保证有返回值就是了
我的理解是，你自己设定一个比例
比如50，那么达到就认为是什么结果
如果出现50-50，设定值是50，达到了，所以取前者
但是mongodb做这种设定也的确是够奇芭的
【在 B*****g 的大作中提到】
: 主要是做replicate，芒果一定要选出一个primary，选primary是通过各个server投票
: 。如果偶数台server，投票容易引起tie。
: 解决就是如果有偶数台server，把其中一台或奇数台设置为不可投票即可。
|
d*******r
发帖数: 3299 | 22 看来你们 MongoDB 用得比较深入，请问有碰到大家说的那些问题么。
比如写 lock 严重影响效率，updating fields 慢，index 沾满内存。
我觉得 mongoDB 也好多个版本了吧，不知道现在改进得如何了。我在用，只是还没大
规模上 sharding.
mongodb 如果小心配置的话，应该还是用着不错的？
我总觉得 mongoDB 真心是 Cassandra 流行多了。还融资了上亿，看着前景还不错的样
子。
大牛能不能说说最不满意mongoDB的地方是哪里？
，
【在 c******o 的大作中提到】
: 在一个地址的server上有好几个db, 虽然是一个instance,但是不同的db，其中一个是
: 主的，另外的写操作多的放在单独的db,这样只lock少，但是 就不好aggregation,
: cross reference 了。
: 我们一大堆ec2 instance呢。
: 一堆mongos 下面是3个shards, 每个shard是一个replica set, 里面三个work node，
: 1 master, 2 slave，还有一个voting专用的arbiter。
: 另外还有3个replicated sharding config servers.
|
d*******r
发帖数: 3299 | 23 顺便问下，你们做游戏的，响应要快吧，有用 Redis 类的东西吧
，
【在 c******o 的大作中提到】
: 在一个地址的server上有好几个db, 虽然是一个instance,但是不同的db，其中一个是
: 主的，另外的写操作多的放在单独的db,这样只lock少，但是 就不好aggregation,
: cross reference 了。
: 我们一大堆ec2 instance呢。
: 一堆mongos 下面是3个shards, 每个shard是一个replica set, 里面三个work node，
: 1 master, 2 slave，还有一个voting专用的arbiter。
: 另外还有3个replicated sharding config servers.
|
c******o
发帖数: 1277 | 24 play自带ehcache,建个cluster. |
c******o
发帖数: 1277 | 25 shard就没事了。最后要是太大数据量，还不是就一条路？
trade consistence for scalability, denomalization
【在 d*******r 的大作中提到】
: 看来你们 MongoDB 用得比较深入，请问有碰到大家说的那些问题么。
: 比如写 lock 严重影响效率，updating fields 慢，index 沾满内存。
: 我觉得 mongoDB 也好多个版本了吧，不知道现在改进得如何了。我在用，只是还没大
: 规模上 sharding.
: mongodb 如果小心配置的话，应该还是用着不错的？
: 我总觉得 mongoDB 真心是 Cassandra 流行多了。还融资了上亿，看着前景还不错的样
: 子。
: 大牛能不能说说最不满意mongoDB的地方是哪里？
:
: ，
|
a***n
发帖数: 538 | 26 芒果的shard好像很不稳定，经常会移动。另外query时间不是很consistent，大部分时
间很快偶尔来个特别慢的。 |
c******o
发帖数: 1277 | 27 有autobalance,你最好自己config
move data cross shard is expansive.
add shard early not late.
mongodb is kind of heavily rely on in memory cached data. so depends on use
case.
【在 a***n 的大作中提到】
: 芒果的shard好像很不稳定，经常会移动。另外query时间不是很consistent，大部分时
: 间很快偶尔来个特别慢的。
|
g*****g
发帖数: 34805 | 28 http://www.datastax.com/wp-content/uploads/2013/02/WP-Benchmark
可以看看这个whitepaper, 真需要scale out, Cassandra比mongo强很多。但易用性
Mongo就强很多。 |
p*****2
发帖数: 21240 | 29
大牛一看就没用过zookeeper
【在 z*******3 的大作中提到】
: 哈，投票机制的公平问题
: 我问过老头，老头当时回答说是
: 如果这样的话，就保证有返回值就是了
: 我的理解是，你自己设定一个比例
: 比如50，那么达到就认为是什么结果
: 如果出现50-50，设定值是50，达到了，所以取前者
: 但是mongodb做这种设定也的确是够奇芭的
|
p*****2
发帖数: 21240 | 30
不知道为什么这个公司这两天在L上联系我，问我用不用Cassandra, 我说我用Mongo，
然后他就跟我说了跟你一样的话。
【在 g*****g 的大作中提到】
: http://www.datastax.com/wp-content/uploads/2013/02/WP-Benchmark
: 可以看看这个whitepaper, 真需要scale out, Cassandra比mongo强很多。但易用性
: Mongo就强很多。
|
|
|
p*****2
发帖数: 21240 | 31
你说说什么坑呀？
【在 d*******r 的大作中提到】
: 我记得板上很多人都说MongoDB好多坑来着。
: 二爷你们team一个都没遇上吗？还是有坑，因为community确实大，也容易fix。
: 或者坑都是老版本的MongoDB了。
|
p*****2
发帖数: 21240 | 32
大牛说的对。没必要一定3台。voting only server就可以了。
【在 c******o 的大作中提到】
: 这些都是属于已知的吧？
: 我们的就是对多写的单独建一个db（还在一个instance上的）
: 还有对于奇数个的问题我怎么记得是多建几个voting only sever呢？
: 可能是我记错了？
|
p*****2
发帖数: 21240 | 33
only
in
A more subtle MongoDB limitation is that when adding or updating a field in
a document, the entire document must be re-written.
瞎说八道
【在 d*******r 的大作中提到】
: One important limitation in MongoDB is database-level locking. That is, only
: one writer may modify a given database at a time.
: A more subtle MongoDB limitation is that when adding or updating a field in
: a document, the entire document must be re-written.
: 记下了，多谢指点！
: 我记得看 mongoDB official doc 上反复说，要 performance， 请让文档小一点，多
: 分些文档。原来还有这个原因: "updating field entire document must be re-
: written"
|
z*******3
发帖数: 13709 | 34 当时说的是mongodb
怎么来zookeeper啊？
【在 p*****2 的大作中提到】
:
: only
: in
: A more subtle MongoDB limitation is that when adding or updating a field in
: a document, the entire document must be re-written.
: 瞎说八道
|
c******o
发帖数: 1277 | 35 确实是，但是mongodb本身接近传统sql的用法。
【在 g*****g 的大作中提到】
: http://www.datastax.com/wp-content/uploads/2013/02/WP-Benchmark
: 可以看看这个whitepaper, 真需要scale out, Cassandra比mongo强很多。但易用性
: Mongo就强很多。
|
g*****g
发帖数: 34805 | 36 document based的这是通用做法呀，要不你来说说。
in
【在 p*****2 的大作中提到】
:
: only
: in
: A more subtle MongoDB limitation is that when adding or updating a field in
: a document, the entire document must be re-written.
: 瞎说八道
|
p*****2
发帖数: 21240 | |
g*****g
发帖数: 34805 | |
g*****g
发帖数: 34805 | 39 MongoDB uses write ahead logging to an on-disk journal to guarantee write
operation durability and to provide crash resiliency. Before applying a
change to the data files, MongoDB writes the change operation to the journal.
我觉得是整个文档写入commit log. |
p*****2
发帖数: 21240 | 40
哪句话看出来的？
【在 g*****g 的大作中提到】
: 我觉得你错了，这是API，不是底层实现。
: http://docs.mongodb.org/manual/core/write-operations/
: 我觉得这个意思就是更新就重写整个document.
|
|
|
a***n
发帖数: 538 | 41 http://docs.mongodb.org/manual/core/write-operations/
The db.collection.update() method either updates specific fields in the
existing document or replaces the document. See db.collection.update() for
details.
When performing update operations that increase the document size beyond the
allocated space for that document, the update operation relocates the
document on disk and may reorder the document fields depending on the type
of update.
The db.collection.save() method replaces a document and can only update a
single document. See db.collection.save() and Insert Documents for more
information
mongodb是整个doc保存一个bson，怎么in place改一个field? |
p*****2
发帖数: 21240 | 42
journal.
这个我真没看出来。
【在 g*****g 的大作中提到】
: MongoDB uses write ahead logging to an on-disk journal to guarantee write
: operation durability and to provide crash resiliency. Before applying a
: change to the data files, MongoDB writes the change operation to the journal.
: 我觉得是整个文档写入commit log.
|
p*****2
发帖数: 21240 | 43
the
data都在内存吧？
【在 a***n 的大作中提到】
: http://docs.mongodb.org/manual/core/write-operations/
: The db.collection.update() method either updates specific fields in the
: existing document or replaces the document. See db.collection.update() for
: details.
: When performing update operations that increase the document size beyond the
: allocated space for that document, the update operation relocates the
: document on disk and may reorder the document fields depending on the type
: of update.
: The db.collection.save() method replaces a document and can only update a
: single document. See db.collection.save() and Insert Documents for more
|
a***n
发帖数: 538 | 44
bson的serialize就慢的要死了。
【在 p*****2 的大作中提到】
:
: the
: data都在内存吧？
|
p*****2
发帖数: 21240 | 45
好吧。我回头研究一下。
【在 a***n 的大作中提到】
:
: bson的serialize就慢的要死了。
|
p*****2
发帖数: 21240 | |
a***n
发帖数: 538 | 47 是不是inPlace挺复杂的，看line 1999。新的field大小一样的时候是inplace的。
https://github.com/mongodb/mongo/blob/
67253d75220d44a967a7ccdcead25bc37319136a/src/mongo/bson/mutable/document.cpp |
p*****2
发帖数: 21240 | 48
cpp
那不得了。
【在 a***n 的大作中提到】
: 是不是inPlace挺复杂的，看line 1999。新的field大小一样的时候是inplace的。
: https://github.com/mongodb/mongo/blob/
: 67253d75220d44a967a7ccdcead25bc37319136a/src/mongo/bson/mutable/document.cpp
|
g*****g
发帖数: 34805 | 49 这个size compatible是怎么定义的。我修改个字符串，多了一个字节会怎样？
cpp
【在 a***n 的大作中提到】
: 是不是inPlace挺复杂的，看line 1999。新的field大小一样的时候是inplace的。
: https://github.com/mongodb/mongo/blob/
: 67253d75220d44a967a7ccdcead25bc37319136a/src/mongo/bson/mutable/document.cpp
|
a***n
发帖数: 538 | 50 size()定义在这。
https://github.com/mongodb/mongo/blob/
c8c1dfc29da5f2232f17865fb4cb0d94ed1da2da/src/mongo/bson/bson-inl.h#L522
只有完全一样长的时候才能inplace吧。
【在 g*****g 的大作中提到】
: 这个size compatible是怎么定义的。我修改个字符串，多了一个字节会怎样？
:
: cpp
|
|
|
g*****g
发帖数: 34805 | 51 那还有啥说的，改个字符串，就得重写整个文件。
【在 a***n 的大作中提到】
: size()定义在这。
: https://github.com/mongodb/mongo/blob/
: c8c1dfc29da5f2232f17865fb4cb0d94ed1da2da/src/mongo/bson/bson-inl.h#L522
: 只有完全一样长的时候才能inplace吧。
|
d*******r
发帖数: 3299 | |
c******o
发帖数: 1277 | 53 好像不是“重写整个文件”, mongodb file grow unbounded. you can adjust
padding factor to optimize.
当然，最后需要 compaction (which have to be offline per collection, which
sucks)
我们最大的devops问题在于那几个sharding config servers, implementation 完全不
make sense.
【在 g*****g 的大作中提到】
: 那还有啥说的，改个字符串，就得重写整个文件。
|
a***n
发帖数: 538 | 54 他的文件是指doc吧。
【在 c******o 的大作中提到】
: 好像不是“重写整个文件”, mongodb file grow unbounded. you can adjust
: padding factor to optimize.
: 当然，最后需要 compaction (which have to be offline per collection, which
: sucks)
: 我们最大的devops问题在于那几个sharding config servers, implementation 完全不
: make sense.
|
c******o
发帖数: 1277 | 55 把 padding factor调大一点，要是你知道你会经常expand 这个collection.
重写就少了。
【在 a***n 的大作中提到】
: 他的文件是指doc吧。
|
g*****g
发帖数: 34805 | 56 RDBMS确定string上限，string具体值尾部append，然后更新一下指针就行。
你无schema的怎么做？
【在 c******o 的大作中提到】
: 好像不是“重写整个文件”, mongodb file grow unbounded. you can adjust
: padding factor to optimize.
: 当然，最后需要 compaction (which have to be offline per collection, which
: sucks)
: 我们最大的devops问题在于那几个sharding config servers, implementation 完全不
: make sense.
|
c******o
发帖数: 1277 | 57 如果你说的是那个documentation in collection, 好像那个documentation超出了就会
放到文件的尾巴上，原来的地方成了一个“空洞”。每个collection都至少有一个
index的，更新那个就行了。
重写了那一个documentation，但是不是文件。我以为你说的是文件。
过后compact 倒是很麻烦。
【在 g*****g 的大作中提到】
: RDBMS确定string上限，string具体值尾部append，然后更新一下指针就行。
: 你无schema的怎么做？
|
a***n
发帖数: 538 | 58 不是inplace的，就算doc位置不变，但是整个bsonobj还是要重新serialize，那块
mmap内存就要重写了，对应的disk也要重写。
【在 c******o 的大作中提到】
: 把 padding factor调大一点，要是你知道你会经常expand 这个collection.
: 重写就少了。
|
c******o
发帖数: 1277 | 59 这个难道还有别的办法？
可变schema都是这样的吧？我没觉得是缺点，就是特点罢了。
【在 a***n 的大作中提到】
: 不是inplace的，就算doc位置不变，但是整个bsonobj还是要重新serialize，那块
: mmap内存就要重写了，对应的disk也要重写。
|
g*****g
发帖数: 34805 | 60 喔，我说的就是document，我拿的那个datastax的文章说修改要重写整个document.
看来至少在size不compatible的时候是事实。
【在 c******o 的大作中提到】
: 如果你说的是那个documentation in collection, 好像那个documentation超出了就会
: 放到文件的尾巴上，原来的地方成了一个“空洞”。每个collection都至少有一个
: index的，更新那个就行了。
: 重写了那一个documentation，但是不是文件。我以为你说的是文件。
: 过后compact 倒是很麻烦。
|
|
|
d*******r
发帖数: 3299 | 61 请问这个
“我们最大的devops问题在于那几个sharding config servers, implementation 完全不
make sense.”
具体指什么?
【在 c******o 的大作中提到】
: 好像不是“重写整个文件”, mongodb file grow unbounded. you can adjust
: padding factor to optimize.
: 当然，最后需要 compaction (which have to be offline per collection, which
: sucks)
: 我们最大的devops问题在于那几个sharding config servers, implementation 完全不
: make sense.
|
