p*****2
发帖数: 21240 | 1 有大牛谈谈吗
还有es做cache会好用吗
es做推荐系统算是common case吗 |
p*****2
发帖数: 21240 | 2 我先说吧 以前测试write throughput不强
【在 p*****2 的大作中提到】
: 有大牛谈谈吗
: 还有es做cache会好用吗
: es做推荐系统算是common case吗
|
g*****g
发帖数: 34805 | 3 这东西是对读优化的，又是准实时，如果你需要写的量很大，可以缓冲批量进行。
【在 p*****2 的大作中提到】
: 我先说吧 以前测试write throughput不强
|
d*******r
发帖数: 3299 | 4 ES 的 write 确实不是特别给力，连 scale out 都不是很方便
http://www.mitbbs.com/article/Programming/31380149_0.html
【在 p*****2 的大作中提到】
: 我先说吧 以前测试write throughput不强
|
d*******r
发帖数: 3299 | 5 还有，官方文档说，你大量 bulk write 时候，可以暂时关闭 indexing,
写完后，再打开，这样 write throughput 估计会好一些
【在 p*****2 的大作中提到】
: 我先说吧 以前测试write throughput不强
|
d*******r
发帖数: 3299 | 6 我看 ES 官方文档说，建议上 16G~64G 内存的机器，建议分配一半机器内存给 ES, 其
余让 Lucene 吃掉.
我想问问 goodbug 和 二爷，JVM 的这种 service 都比较吃内存的，是吧？
Cassandra 理想的内存大小和分配是怎样的. 估计好不少，因为是 write 优化的？
【在 g*****g 的大作中提到】
: 这东西是对读优化的，又是准实时，如果你需要写的量很大，可以缓冲批量进行。
|
z****e
发帖数: 54598 | 7 为什么你们会有把es做写服务的想法呢？
这玩意我要是用了，绝对不用来写
search么，顾名思义，当然只读是王道
【在 d*******r 的大作中提到】
: ES 的 write 确实不是特别给力，连 scale out 都不是很方便
: http://www.mitbbs.com/article/Programming/31380149_0.html
|
p*****2
发帖数: 21240 | 8
C＊好像建议是8G吧。
【在 d*******r 的大作中提到】
: 我看 ES 官方文档说，建议上 16G~64G 内存的机器，建议分配一半机器内存给 ES, 其
: 余让 Lucene 吃掉.
: 我想问问 goodbug 和 二爷，JVM 的这种 service 都比较吃内存的，是吧？
: Cassandra 理想的内存大小和分配是怎样的. 估计好不少，因为是 write 优化的？
|
p*****2
发帖数: 21240 | 9
ES跟logstash配合的话，貌似写应该比较heavy吧。
【在 z****e 的大作中提到】
: 为什么你们会有把es做写服务的想法呢？
: 这玩意我要是用了，绝对不用来写
: search么，顾名思义，当然只读是王道
|
d*******r
发帖数: 3299 | 10 是的，我觉得要考虑大量 write 的问题。
琢磨半天觉得还是要上 Kafka，做一个大的 persistent buffer 用。
但是轻量级的 logstash sender, logstash-forwarder 不支持 kafka 做 output，
而且 logstash 作者觉得没有必要，我觉得他是不对的...
https://github.com/elasticsearch/logstash-forwarder/issues/258
logstash-forwarder 使用的 sending protocol (Lumberjack Protocol) , 好像不能
对 logstash receiver (indexer) 做 equally load distributed. Lumberjack
protocol 好像是保持一个long live TCP connection 到一个 logstash receiver.
https://github.com/elasticsearch/logstash-forwarder/blob/master/PROTOCOL.md
那一个 logstash receiver 可能就会非常 busy.
【在 p*****2 的大作中提到】
:
: ES跟logstash配合的话，貌似写应该比较heavy吧。
|
p*****2
发帖数: 21240 | 11 我昨天试了试1.4 run不起来
问community没人理 大牛碰到过类似问题吗
md
【在 d*******r 的大作中提到】
: 是的，我觉得要考虑大量 write 的问题。
: 琢磨半天觉得还是要上 Kafka，做一个大的 persistent buffer 用。
: 但是轻量级的 logstash sender, logstash-forwarder 不支持 kafka 做 output，
: 而且 logstash 作者觉得没有必要，我觉得他是不对的...
: https://github.com/elasticsearch/logstash-forwarder/issues/258
: logstash-forwarder 使用的 sending protocol (Lumberjack Protocol) , 好像不能
: 对 logstash receiver (indexer) 做 equally load distributed. Lumberjack
: protocol 好像是保持一个long live TCP connection 到一个 logstash receiver.
: https://github.com/elasticsearch/logstash-forwarder/blob/master/PROTOCOL.md
: 那一个 logstash receiver 可能就会非常 busy.
|
d*******r
发帖数: 3299 | 12 二爷你说的是 ElasticSearch, 还是 logstash, 还是 logstash-forwarder?
【在 p*****2 的大作中提到】
: 我昨天试了试1.4 run不起来
: 问community没人理 大牛碰到过类似问题吗
:
: md
|
p*****2
发帖数: 21240 | 13
ES
【在 d*******r 的大作中提到】
: 二爷你说的是 ElasticSearch, 还是 logstash, 还是 logstash-forwarder?
|
d*******r
发帖数: 3299 | 14 我才装了 1.4，没问题, 我是用 .deb 装在 server 的 Linux 上的
你查查 error log 呢
【在 p*****2 的大作中提到】
:
: ES
|
