d*******r
发帖数: 3299 | 1 对于分布式的backend servers，做一般性的logging，实时要求不高，要能scale out
，在logging里面搜索要方便。
请问大牛们，这2个哪个比较好。
貌似 ElasticSearch 那一套看着很完善了： logstash (JRuby) -> ElasticSearch ->
kibana (GUI)
http://www.elasticsearch.org/overview/
用的话, 不需要去折腾 Ruby gems 什么的吧，我看了下，好像不需要折腾 Ruby
ElasticSearch 这一套看官网介绍，还能跑 hadoop?
另外，ElasticSearch 公司哪些服务要收钱的?
Cassandra 的话，写效率高
请板上大牛们评比下这2个轮子哪个做一般 log 比较好 |
p*****2
发帖数: 21240 | 2 先写cassandra再倒入到elastic search也可以吧？ |
d*******r
发帖数: 3299 | 3 那二爷你是把 cassandra 当 buffer 用咯？ |
p*****2
发帖数: 21240 | |
d*******r
发帖数: 3299 | 5 我也想知道，而且 ElasticSearch 官网上号称它这一套是 real time 的东西，不知道
用起来的 latency 如何
【在 p*****2 的大作中提到】
: ES的throughput如何呀？
|
p*****2
发帖数: 21240 | 6
我原来测过，ES写比Mongo慢10倍。
【在 d*******r 的大作中提到】
: 我也想知道，而且 ElasticSearch 官网上号称它这一套是 real time 的东西，不知道
: 用起来的 latency 如何
|
d*******r
发帖数: 3299 | 7 那你先写到 Cassandra, 再写到 ElasticSearch, 瓶颈不还是在 ElasticSearch 吗
【在 p*****2 的大作中提到】
:
: 我原来测过，ES写比Mongo慢10倍。
|
g*****g
发帖数: 34805 | 8 ES挺好，fully scale out. 数据多了不会慢。
【在 d*******r 的大作中提到】
: 我也想知道，而且 ElasticSearch 官网上号称它这一套是 real time 的东西，不知道
: 用起来的 latency 如何
|
p*****2
发帖数: 21240 | 9
不影响real time。
【在 d*******r 的大作中提到】
: 那你先写到 Cassandra, 再写到 ElasticSearch, 瓶颈不还是在 ElasticSearch 吗
|
p*****2
发帖数: 21240 | 10
latency什么情况？
【在 g*****g 的大作中提到】
: ES挺好，fully scale out. 数据多了不会慢。
|
|
|
g*****g
发帖数: 34805 | 11 你指update latency? 我觉得实时就够呛，但基本上准实时还是有的。
【在 p*****2 的大作中提到】
:
: latency什么情况？
|
p*****2
发帖数: 21240 | 12
读是啥情况呀？
【在 g*****g 的大作中提到】
: 你指update latency? 我觉得实时就够呛，但基本上准实时还是有的。
|
g*****g
发帖数: 34805 | 13 搜索挺快。
【在 p*****2 的大作中提到】
:
: 读是啥情况呀？
|
d*******r
发帖数: 3299 | 14 大牛所谓“准时”大概 latency 如何，
比如从开始写log，到从 elasticsearch 上可以 search 出来，到从他自带的 GUI
kibana 可以显示出来，大概多少 latency？几秒，十几秒，几十秒 或者 1 min?
我看你们 Netflix 也用
http://www.elasticsearch.org/videos/netflix-using-elasticsearch
【在 g*****g 的大作中提到】
: 你指update latency? 我觉得实时就够呛，但基本上准实时还是有的。
|
d*******r
发帖数: 3299 | 15 我看都在 ES 前架上 Redis
http://logstash.net/docs/1.3.3/tutorials/getting-started-centra
http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kiban
主要是怕直接写到 ES 太慢?
大牛有 ES 和 Cassandra 一起用的 scenario 吗, 像 二爷说的，把 Cassandra 架在
ES 前面 ?
【在 g*****g 的大作中提到】
: ES挺好，fully scale out. 数据多了不会慢。
|
a***n
发帖数: 538 | 16 es好像没有备份工具？我跟我的同事吵了好几次了，我要用es存数据，他就是不同意找
出一堆借口。
【在 d*******r 的大作中提到】
: 我看都在 ES 前架上 Redis
: http://logstash.net/docs/1.3.3/tutorials/getting-started-centra
: http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kiban
: 主要是怕直接写到 ES 太慢?
: 大牛有 ES 和 Cassandra 一起用的 scenario 吗, 像 二爷说的，把 Cassandra 架在
: ES 前面 ?
|
p*****2
发帖数: 21240 | 17
放couchdb怎么样呀？
【在 d*******r 的大作中提到】
: 我看都在 ES 前架上 Redis
: http://logstash.net/docs/1.3.3/tutorials/getting-started-centra
: http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kiban
: 主要是怕直接写到 ES 太慢?
: 大牛有 ES 和 Cassandra 一起用的 scenario 吗, 像 二爷说的，把 Cassandra 架在
: ES 前面 ?
|
g*****g
发帖数: 34805 | 18 我们team有个service就是干这个，我只是用client, 具体延迟多少我还真不清楚。
【在 d*******r 的大作中提到】
: 大牛所谓“准时”大概 latency 如何，
: 比如从开始写log，到从 elasticsearch 上可以 search 出来，到从他自带的 GUI
: kibana 可以显示出来，大概多少 latency？几秒，十几秒，几十秒 或者 1 min?
: 我看你们 Netflix 也用
: http://www.elasticsearch.org/videos/netflix-using-elasticsearch
|
g*****g
发帖数: 34805 | 19 我见过的不是为了ES去选DB, 而是DB的选择跟着你的商业逻辑需要来。然后service在
写DB的时候同时产生一个event, 把更新发给ES. 所以用什么数据库其实无关。我们用
的MySQL, Cassandra都有。其他team也有用MongoDB的。
【在 d*******r 的大作中提到】
: 我看都在 ES 前架上 Redis
: http://logstash.net/docs/1.3.3/tutorials/getting-started-centra
: http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kiban
: 主要是怕直接写到 ES 太慢?
: 大牛有 ES 和 Cassandra 一起用的 scenario 吗, 像 二爷说的，把 Cassandra 架在
: ES 前面 ?
|
d*******r
发帖数: 3299 | 20 其实我主要是怕写log拖慢service的运行速度，log system 能支持 异步 或者 non-
blocking 的 write 吗。
也就是说，要写log了，就 call 一下 write_to_log_system(buffer_containinng_
log_info), 然后立马就返回了，反正 log 写成功没也不是非常非常重要。 或者这种
功能需要自己包装一下才有。
【在 g*****g 的大作中提到】
: 我见过的不是为了ES去选DB, 而是DB的选择跟着你的商业逻辑需要来。然后service在
: 写DB的时候同时产生一个event, 把更新发给ES. 所以用什么数据库其实无关。我们用
: 的MySQL, Cassandra都有。其他team也有用MongoDB的。
|
g*****g
发帖数: 34805 | 21 Sure, if it's not critical, you can always do aayc call on client side.
【在 d*******r 的大作中提到】
: 其实我主要是怕写log拖慢service的运行速度，log system 能支持 异步 或者 non-
: blocking 的 write 吗。
: 也就是说，要写log了，就 call 一下 write_to_log_system(buffer_containinng_
: log_info), 然后立马就返回了，反正 log 写成功没也不是非常非常重要。 或者这种
: 功能需要自己包装一下才有。
|
d*******r
发帖数: 3299 | 22 今天设置了下 ElasticSearch 那一套，非常容易跑起来，GUI看着还挺不错的.
多谢之前你推荐了 ElasticSearch，虽然不能用来做实时系统，做做log还挺好的。多
谢多谢！
【在 g*****g 的大作中提到】
: Sure, if it's not critical, you can always do aayc call on client side.
|
