p*****2
发帖数: 21240 | 1
mongo要用内存，数据量大了放不下，performance有问题呀
mongo有global lock，concurrency有问题呀
mongo HA至少需要3台machine，也很昂贵。
感觉写log cassandra，hbase是更好的选择吧？为了log没必要用昂贵的mongo吧？ |
|
z****e
发帖数: 54598 | 2 感觉自从spark出来之后，感觉mongo和couch的两拨人马都萧条了很多
接口不一致，没有人买他们的服务了，apache太猛了
cassandra如火如荼啊，我们也准备淘汰couchbase了
所以想看看coltzhao的公司，是不是还保留有mongo
如果是的话，如何让spark的rdd用上mongo呢？
rdd好像目前搞个cassandra都挺麻烦的，但是不是不能搞
还是可以搞的，mongo和couch我就不知道怎么搞了 |
|
l***3
发帖数: 367 | 3 【 以下文字转载自 Database 讨论区 】
发信人: lv123 (lv123), 信区: Database
标 题: DBA position (Oracle/MySQL/Mongo) in Los Angeles, CA
关键字: DBA,mysql,oracle,mongo
发信站: BBS 未名空间站 (Wed Jun 11 19:18:50 2014, 美东)
My company (a sport media company in West Los Angeles ) is looking for a
senior or junior DBA.
Oracle 11g RAC(primary database), MySQL (new products are starting with
MySQL) and MongoDB (we are very new to Mongo, so it is not mandatory, better
have some knowledge) are used.
No oncall needed, work load is OK,... 阅读全帖 |
|
l***3
发帖数: 367 | 4 【 以下文字转载自 Database 讨论区 】
发信人: lv123 (lv123), 信区: Database
标 题: DBA position (Oracle/MySQL/Mongo) in Los Angeles, CA
关键字: DBA,mysql,oracle,mongo
发信站: BBS 未名空间站 (Wed Jun 11 19:18:50 2014, 美东)
My company (a sport media company in West Los Angeles ) is looking for a
senior or junior DBA.
Oracle 11g RAC(primary database), MySQL (new products are starting with
MySQL) and MongoDB (we are very new to Mongo, so it is not mandatory, better
have some knowledge) are used.
No oncall needed, work load is OK,... 阅读全帖 |
|
l***3
发帖数: 367 | 5 【 以下文字转载自 Database 讨论区 】
发信人: lv123 (lv123), 信区: Database
标 题: DBA position (Oracle/MySQL/Mongo) in Los Angeles, CA
关键字: DBA,mysql,oracle,mongo
发信站: BBS 未名空间站 (Wed Jun 11 19:18:50 2014, 美东)
My company (a sport media company in West Los Angeles ) is looking for a
senior or junior DBA.
Oracle 11g RAC(primary database), MySQL (new products are starting with
MySQL) and MongoDB (we are very new to Mongo, so it is not mandatory, better
have some knowledge) are used.
No oncall needed, work load is OK,... 阅读全帖 |
|
l***3
发帖数: 367 | 6 【 以下文字转载自 Database 讨论区 】
发信人: lv123 (lv123), 信区: Database
标 题: DBA position (Oracle/MySQL/Mongo) in Los Angeles, CA
关键字: DBA,mysql,oracle,mongo
发信站: BBS 未名空间站 (Wed Jun 11 19:18:50 2014, 美东)
My company (a sport media company in West Los Angeles ) is looking for a
senior or junior DBA.
Oracle 11g RAC(primary database), MySQL (new products are starting with
MySQL) and MongoDB (we are very new to Mongo, so it is not mandatory, better
have some knowledge) are used.
No oncall needed, work load is OK,... 阅读全帖 |
|
l***3
发帖数: 367 | 7 【 以下文字转载自 Database 讨论区 】
发信人: lv123 (lv123), 信区: Database
标 题: DBA position (Oracle/MySQL/Mongo) in Los Angeles, CA
关键字: DBA,mysql,oracle,mongo
发信站: BBS 未名空间站 (Wed Jun 11 19:18:50 2014, 美东)
My company (a sport media company in West Los Angeles ) is looking for a
senior or junior DBA.
Oracle 11g RAC(primary database), MySQL (new products are starting with
MySQL) and MongoDB (we are very new to Mongo, so it is not mandatory, better
have some knowledge) are used.
No oncall needed, work load is OK,... 阅读全帖 |
|
h*****a
发帖数: 1718 | 8 In the use case I mentioned, mysql does save money and is easier to maintain.
I used mongo for data ranged from 10GB to 400GB, and the experience was not
good when data was 400GB. We then switched to using Elastic Search, which
shows to be much better.
For our current architecture, for the largest data set, mysql is working
totally fine with about 100 shards. It is not easy to handle such a big data
size with mongo.
Certainly, I agree, mongo has its own use case, but scalability is not its
advan... 阅读全帖 |
|
l***3
发帖数: 367 | 9 【 以下文字转载自 Database 讨论区 】
发信人: lv123 (lv123), 信区: Database
标 题: DBA position (Oracle/MySQL/Mongo) in Los Angeles, CA
关键字: DBA,mysql,oracle,mongo
发信站: BBS 未名空间站 (Wed Jun 11 19:18:50 2014, 美东)
My company (a sport media company in West Los Angeles ) is looking for a
senior or junior DBA.
Oracle 11g RAC(primary database), MySQL (new products are starting with
MySQL) and MongoDB (we are very new to Mongo, so it is not mandatory, better
have some knowledge) are used.
No oncall needed, work load is OK,... 阅读全帖 |
|
p*****2
发帖数: 21240 | 10 mongo网站上说mongo很适合做logging，有大牛谈谈吗？我怎么感觉很不适合呢。 |
|
c****e
发帖数: 1453 | 11 "mongo要用内存，数据量大了放不下"
Log is append-only, not a big issue here regarding memory. It’s true
replica set in Mongo is quite expensive but you cannot really get away if
you want availability.
Efficient logging requires hierarchical design. You can aggregate warning/
errors/metrics to centralized storage while leaving many verbose ones on
node. It's not necessary to put everything on persistent storage and it's
expensive anyway. As long as you can search across nodes or even have global
tracing, debug... 阅读全帖 |
|
p*****2
发帖数: 21240 | 12
hadoop/
大牛。不是我折腾。是我老板觉得mongo特别适合做logging。我现在是想找理由说服
team放弃mongo用Logstash。 |
|
m******t
发帖数: 635 | 13 从里面摘了一段，比较经典
- what will I miss if i use Mongo?
no transactions
no joins (you can reference a record A in record B, but you join them
manually in your code)
This makes Mongo DB not ready to work with some critical tasks, but not our
case. social networking data aren’t that critical. if we will deal with
critical data in the future like money, I think we will need to implement
that part using an RDBMS like MySQL. |
|
p*****2
发帖数: 21240 | 14
our
是这样呀。如果需要join，transaction这些上mongo就有些病态了。
大牛你上次还没有好好说说你用mongo到底出啥问题了。 |
|
h*****a
发帖数: 1718 | 15 你没理解我说的上限的意思。现在比较好的机器一个mongo instance 64G memory。这
样一个大规模网站10T的data可能需要100-200个shard，而对应的mysql就不需要这么多
。实际上很多网站的data要大于10T，所以这样的use case下mysql更scalable.
如果scale比较小，mongo确实不是太大的问题。但这种情况下elastic search也是不错
的选择。
mongodb |
|
h*****a
发帖数: 1718 | 16 机器多了当然maintanence的work更多，至少要有failover的工作。Mysql的failover和
maintain和mongo比更加成熟，毕竟是20年的技术积淀，而且市场人招到熟悉mysql的
engineer或者DBA非常容易。
当然，或说回来，mongo的maintainence并不是问题。主要的问题还是cost. |
|
p*****2
发帖数: 21240 | 17
我也觉得数据量大了确实比较费机器。你觉得有什么好的选择？我觉得应该可以考虑
Redis做cache，postgres／mysql做persistence。因为其他NoSQL都没有Mongo这么强大
的query。当然主要看应用了。
Mongo的schemaless感觉还是比SQL要方便很多。用习惯了，想想SQL的alter table心里
就发怵。 |
|
p*****2
发帖数: 21240 | 18
是。那你们当时用mongo是用mongo的regular expression的query吗？for text search
？ |
|
b********e
发帖数: 595 | 19 两个我们都使过，一个是第三方选的，一个是内部使的。couchbase是memcache+erlang
做的持久化，开始的版本不太稳定，后来的稍微好点。
mongo完全自己从头用c++写的，以前版本的bug非常多，各种原因的crash, 不过我们还
好，使用的比较简单，主要是个分析系统在使，有几次crash是因为数据来的没有过滤
，加了objcheck = true基本稳定了。另外容易遇到连接未释放的情况，不过那些都是
node.js和python那边的问题。
另外据说mongo的锁是个大问题，不过我们基本都是几个节点，一个写，几个读。其他
的就是放aws上的存储，数据量不大放ebs上没问题，不过官方都不推荐，备份什么的用
mongodump数据都是非一致性的,想保持一致需要用10gen的mms服务。
大牛曾经力推Riak, 结果还没上线大牛被lay off了，不了了之。最后生产上用的最多
的还是aws的memcache cluster, 公司自己写的后台把数据持久化到rds上。 |
|
g*******o
发帖数: 156 | 20 最近的mongo days上，mongodb公司已经有了mongo-spark-connector了。
2.8还会把collection level lock变成document－level lock，performance会大幅改
进。
应该还能活跃一段时间吧～～～ |
|
z****e
发帖数: 54598 | 21 俺对databricks融资多少钱一点意见没有
你想啊，mongodb有啥东西？
基本上是把以前db做的东西重新做一遍
分布式其实本质就是，这个玩意以前不能分布，要分布
必然有tradeoff，那么就看牺牲哪一块而已了
db主要问题是尾大不掉，什么都做了
完全没考虑到分布式的场景，那现在要改，改起来就痛苦了
nosql的公司就抓住这个机会，重新把轮子造一遍，其实没啥新意
你看mongo忽悠了多少钱去，现在市值都12亿了
databricks用的数学比mongo这些nosql公司深多了
才50m，太少了
主要是你不能用mapreduce那个眼光看这家公司
你要看到machine learning，这个是多火爆的一个topic
这代表了future，databaricks融资五千万都不为过
因为这个东西站在时代的前沿，这个东西，别人没做过
才有得搞，今年炸药生理卫生奖给了John O'Keefe
这个就是做神经网络的Hebb的学生的学生
spark的mllib做下去，就会接轨Hebb的那些理论
很快就有那种science的感觉了
apply |
|
|
d****n
发帖数: 1637 | 23 所有field 都index了么？
mongo就不用节省硬盘了吧 |
|
p*********g
发帖数: 2998 | 24 求一个mongo money的referral code |
|
l***3
发帖数: 367 | 25 My company (a sport media company in West Los Angeles ) is looking for a
senior or junior DBA.
Oracle 11g RAC(primary database), MySQL (new products are starting with
MySQL) and MongoDB (we are very new to Mongo, so it is not mandatory, better
have some knowledge) are used.
No oncall needed, work load is OK, few or no overtime, but need gameday/
event onsite support.
Salary is based on experience, with bonus and pension.
Interested people can contact me for more details. |
|
p*****2
发帖数: 21240 | 26
global
log 是 append的，但是query 的时候就有问题了吧？mongo aggreate只能支持16M，数
据大了根本没法用，mapreduce也很慢。感觉数据量大了，performance总是有问题。如
果不做dynamic query的话，那不如放其他地方了。
另外跟cassandra, hbase比有什么优势呢？从写log来说。 |
|
|
p*****2
发帖数: 21240 | 28
mongo sharding之后对performance影响有多大？ |
|
p*****2
发帖数: 21240 | 29
你们的mongo cluster有多少server呀？多少个shards? |
|
c******o
发帖数: 1277 | 30 3 shards, each shard is a replica set contain 3 machines (there maybe other
utility machines in the set also)
and 3 config servers and some number of mongos server.
All on AWS
It is a total waste at beginning, do not know why they need so many. |
|
p*****2
发帖数: 21240 | 31
other
每个shard多少data呀？你们app server到mongo还需要cache吗？ |
|
h*****a
发帖数: 1718 | 32 Mongo的主要问题还是scale吧，data超过了mem size之后performance比较差。这一点
上来说mysql通过sharding解决scale的问题比较成熟。
our |
|
h*****a
发帖数: 1718 | 33 如果说每个Mongo instance能hold的data的上限是memory的size的话，它的
scalability当然比mysql要差。
现在很多公司用mysql根本不用任何join，就是当NoSql来用，所以没什么coupling的
问题。 |
|
p*****2
发帖数: 21240 | 34
maintain.
not
data
400G有做sharding吗？mongo data 超过memory之后performance下降到什么程度？
Elastic Search好在哪里？更容易scale吗？ |
|
p*****2
发帖数: 21240 | 35
我也觉得要fit memory的搞才行。主要的好处就是fit memory的情况下performance巨
好，不然mysql上边一般还要建一层cache。所以你说的对，mongo就是很容易用。 |
|
p*****2
发帖数: 21240 | 36 其实我还真找了找，还没找到能替换mongo的东西。貌似Riak还行，但是好像
replication cross data center要交钱。 |
|
p*****2
发帖数: 21240 | 37
来很
interesting. 你们主要是什么scenario呢？需要full text search吗？
我上次简单测了一下，发现ES的perf比mongo慢十倍。当然是数据能fit memory的情况
。感觉如果需要full text search，并且perf要求不高，尤其是没有concurrent write
的时候用ES还是很合适的。 |
|
h*****a
发帖数: 1718 | 38 我们需要full text search。mongo全在memory里面，快是正常的。所以适用与否主要
看performance的要求和data的scale.
write |
|
|
p*****2
发帖数: 21240 | 40
我没有用sharding，而且我实时部分不用mongo。 |
|
|
p*****2
发帖数: 21240 | 42
多谢.local的mongo应该是0.1ms |
|
|
p*****2
发帖数: 21240 | 44 可以把mongo数据先导到hdfs
cassandra connnector 已经算容易用得了 相对来说 spark 还是太早期 |
|
t**r
发帖数: 3428 | 45 mongo,dynamo,cassandra,hbase 谁会是赢家，谁会落寞？ |
|
p*****2
发帖数: 21240 | 46 c*
hbase会输
mongo startup专用 |
|
t**r
发帖数: 3428 | 47 why mongo for startup?
they have lot of good tools |
|
|
g*****g
发帖数: 34805 | 49 小项目显然不如MySQL方便。Mongo的甜区其实比较狭窄。对MySQL的主要优势是
schemaless和对Json的支持，适合快糙猛。 |
|
p*****2
发帖数: 21240 | 50 cassandra要配es或者spark 跟mongo比要heavy很多了 不大不小看数据量多大了 想
scale到什么程度了 |
|
