d****n
发帖数: 12461 | 1 不知道你学习到啥阶段了，是0.9还是0.10还是0.11阶段。你说的performance好像0.8
就达到了，但是现在的kafka已经不是以前的kafka了。
0.9和之前的kafka，就是个distributed mq；
0.10加入了kafka stream和ktable；
0.11要加入transaction。
其实都是在走rdbms的老路。某一天像spark和storm一样搞出kql我也觉得不奇怪。
1.0准备搞exactly once semantics。 |
|
b**********h
发帖数: 419 | 2 我只学了mq，算是0.9
: 不知道你学习到啥阶段了，是0.9还是0.10还是0.11阶段。你说的performance好
像0.8
: 就达到了，但是现在的kafka已经不是以前的kafka了。
: 0.9和之前的kafka，就是个distributed mq；
: 0.10加入了kafka stream和ktable；
: 0.11要加入transaction。
: 其实都是在走rdbms的老路。某一天像spark和storm一样搞出kql我也觉得不奇怪。
: 1.0准备搞exactly once semantics。
|
|
c******o
发帖数: 1277 | 3 看看kafka的source code, 哪儿像scala?
https://github.com/apache/kafka/blob/0.8.2/core/src/main/scala/kafka/api/
ApiUtils.scala
def readShortString(buffer: ByteBuffer): String = {
val size: Int = buffer.getShort()
if(size < 0)
return null
val bytes = new Array[Byte](size)
buffer.get(bytes)
new String(bytes, ProtocolEncoding)
}
def writeShortString(buffer: ByteBuffer, string: String) {
if(string == null) {
buffer.putShort(-1)
} else {
val encodedString ... 阅读全帖 |
|
k****r
发帖数: 807 | 4 这里大侠多，有个Kafka的问题请教一下：
我现在用python的kafka api实现一个consumer，可是每次启动consumer都会读到之前
所以的msgs。。。
请问Kafka怎样可以不去读之前的东西，只读到启动之后producer发出的msg呢？
谢谢， |
|
m***h
发帖数: 77 | 5 我有这么一个问题拿不定主意。
在一个team/group/organization里sell这个big data最好的方式就是在不动
production或用最小的cost的前提下提供现系统不能提供的feature。譬如，我们一个
大app，一堆API，一堆server，每个API都写很多（大部分是垃圾）到本地的log files
。可以想象一个login API，当一个user login后，一个thread会产生如下的log （实
际的log各种花样没这么简单）
［2015-10-11 02:00:00］ TP－123 com.xyz.api.login INFO BEGIN
［2015-10-111 02:00:00］ TP－123 com.xyz.api.login INFO user abcd is in
［2015-10-11 02:00:00］ TP－123 com.xyz.api.login INFO use is from IP 1.2.3
.4
［2015-10-11 02:00:00］ TP－123 com.xyz.api.login INFO user has ... 阅读全帖 |
|
d*******r
发帖数: 3299 | 6 fluentd 是 log parser and collector
kafka 是 big message queue
比如, 你把 fluentd 安装在你要搜集 log 的 server 机器上.
每个 fluentd 搜集的 log 可以一股脑扔到 kafka 里面.
kafka 扛住大流量后，再扔到各种下游的 service, 比如 elasticsearch. |
|
p*****2
发帖数: 21240 | 7
zookeeper
多谢大牛共享。cassandra是zhaoce大牛的最爱。
kafka是用的akka吗？
感觉kafka和storme是绝配呀 |
|
|
p*****2
发帖数: 21240 | 9
Kafka
多谢大牛。有时间好好看看kafka。你scala代码看的如何了？ |
|
p*****2
发帖数: 21240 | 10
to
kafka就是通过consumer id来纪录的是吧？如果两个程序用同样的id，是不是就各得一
半得数据了呢？
kafka等所有得consumer都得到event就清除吗？如果有consumer长期不得event怎么办
？有个timeout把consumer exclude吗？ |
|
l*****t
发帖数: 2019 | 11 你不是搞kafka几个月了么？怎么还没懂。去subscribe kafka user group 吧。想问啥
问啥。Jun, Jay, Neha都在。 |
|
f*****C
发帖数: 84 | 12 L家还问这个啊？
confluent不算自己单搞了吗？
用kafka的角度估计不难答，不过要是问如何实现server操作的话就挺难了
其实觉得如果不是面confluent，L家内部也是kafka的client，问的话应该是在应用层
次问吧 |
|
l*****t
发帖数: 2019 | 13 kafka就是log shipping，不算mq。只不过有个pub-sub的架势。如果是low latency的
mq，估计考虑一下zeromq，kafka的paper上好像说zero是rabbit高一倍的throughput。
你看看、试试吧。 |
|
T******7
发帖数: 1419 | 14 【 以下文字转载自 JobHunting 讨论区 】
发信人: taar (taar), 信区: JobHunting
标 题: 利用kafka 幫助不同进程见传输数据靠谱么
发信站: BBS 未名空间站 (Tue Jul 28 22:58:40 2015, 美东)
利用kafka 幫助不同进程见传输数据靠谱么
不同进程是不同语言实现。
卡福卡提供了java cPP的客户端。利用这些特点实现高性能ＩＰＣ，这个设计有問題么 |
|
f********x
发帖数: 99 | 15 说了一大堆，不知道你到底想问什么问题？ collectd => Kafka => Flink or Spark
Streaming => Kafka => C* or other NoSQL可能是你需要的架构。
了)
Tag |
|
l******n
发帖数: 9344 | 16 发msg到aws的kafka，一直出错。我用的ABC ip登陆([email protected]/* */)，broker-list用ABC:
9092
错误信息是：
ip-XXXX.us-west-1.compute.internal:9092/0: Failed to resolve 'ip-XXX.us-west
-1.compute.internal:9092': Name or service not known
AWS的kafka是没有问题，我自己produce,consumer都没有问题。ports也是开了的。好
像还是broker的问题。那位遇到过？谢谢 |
|
N*****m
发帖数: 42603 | 17 啥叫aws的kafka?
aws的kafka叫kinesis
ABC:
west |
|
d*******r
发帖数: 3299 | 18 fluentd 用过, 设计和可靠性比 logstash 这个垃圾好很多.
不过流量大了，我记得 fluentd 扛不住, 应该不如 kafka.
fluentd 和 kafka 这2个使用场景不一样. |
|
n*w
发帖数: 3393 | 19 准备在aws上弄个系统。想用Kafka在stream load 数据。
系统想搞个micro services结构，能不能顺便把Kafka作为esb用？ |
|
|
s*****r
发帖数: 43070 | 21 感觉kafka就是个更灵活的logging system，可以随便定义appender，logging的entry
本身就是object，方便consumer使用。 |
|
|
w**z
发帖数: 8232 | 23 我们准备上Kafka当message queue 用，难道不是？ |
|
|
w**z
发帖数: 8232 | 25 activemq, rabbitmq, zeromq, 我们用rabbitmq, 量大有问题。性能下降很快。Kafka
has much big throughput . |
|
w**z
发帖数: 8232 | 26 Rabbit has to remember each message state, so big overhead. Kafka writes to
disk, zookeeper keeps track of offset of each consumer. 花了两天时间搞了下
scala, 感觉是用Scala写Java, 对 FP 没感觉。 |
|
|
b**m
发帖数: 1466 | 28 没用过kafka，但hornetq得dev team 非常defensive。
有些明显的但难以重现的bug他们都是直接close了事。 |
|
w**z
发帖数: 8232 | 29 刚成立，应该还行。都是Kafka 主要committer. 俺倒是想看 source code，可是看不
懂。 |
|
|
g*****g
发帖数: 34805 | 31 不像，Kafka的replication更像HBase。Master-Slave. |
|
t**r
发帖数: 3428 | 32 linkedin backend组面试问kafka, zookeeper一般都问到什么地步，问哪些问题？谢谢
了 |
|
T******7
发帖数: 1419 | 33 面试会问storm, zookeeper, hadoop, kafka这些高端货么？
看过这些基本的论文，写过简单的你好世界，但是没用过在工作中，能写在简历上么？ |
|
t**r
发帖数: 3428 | 34 利用kafka 幫助不同进程见传输数据靠谱么
不同进程是不同语言实现。
卡福卡提供了java cPP的客户端。利用这些特点实现高性能ＩＰＣ，这个设计有問題么 |
|
g*****g
发帖数: 34805 | 35 kafka就是个MQ，用来做异步传输是可以的。 |
|
N*****m
发帖数: 42603 | 36 当然可以，问题是你的系统多大，能不能充分利用kafka的特点 |
|
i*****h
发帖数: 1534 | 37 【 以下文字转载自 Programming 讨论区 】
发信人: icefish (哆拉A梦), 信区: Programming
标 题: 求推荐：学习cassandra和 kafka的资料
发信站: BBS 未名空间站 (Tue Oct 20 02:56:28 2015, 美东)
RT, 谁能推荐些学习资料，由浅入深的那种，有空想自学一下。非常感谢啊！ |
|
r**o
发帖数: 430 | 38 明天要跟老板谈开始后的project，估计应该是做Hbase或者Kafka(或者有可能是spark
，看cover的范围)，请问应该选哪个比较好些呢？多谢哈。 |
|
f*******t
发帖数: 7549 | 39 选hbase能学到更多的东西，kafka毕竟结构简单多了。但hbase是昨日黄花，尽量学一
整套生态系统比较好（比如加上spark） |
|
r**o
发帖数: 430 | 40 能不能细说下hbase为甚是昨日黄花了？kafka涉及的东西少很多啊，spark的话好些从
系统角度考虑没什么东西。 |
|
|
g*****g
发帖数: 34805 | 42 redis 是DB, kafka是MQ，差得挺多吧。 |
|
p*****2
发帖数: 21240 | 43
两个东西很不同。kafka scale很牛，latency 高。
怎么用，看你的需求了。 |
|
f******2
发帖数: 2455 | 44 latency高是啥概念啊？
另外，啥情况下kafka会和rabbitmq考虑优劣啊？ |
|
p*****2
发帖数: 21240 | 45 rabbit不熟
但是一般需要low latency可能就不能用kafka了 |
|
l*****t
发帖数: 2019 | 46 我老的组用kafka把rabbitmq换了，我们的rabbit问题多多。不过我的use case是cep，
你如果是其他use case，就不知道了。 |
|
w**z
发帖数: 8232 | 47 我们的RabbitMQ 也老是有问题，如果consumer 太慢，message 一多，就挂了。Kafka
scales much better, 也想换，就不知道头愿不愿意花时间和人力了。 |
|
f******2
发帖数: 2455 | 48 Cep apps usually have the highest latency req.
ppl above mentioned that Kafka is not good
for latency sensitive apps. What is your experience
and insight? |
|
l*****t
发帖数: 2019 | 49 我们不是DSP或RTB, 就是cep给analytics提供干净的数据的load就data warehouse之类
，latency不是问题。几分钟的latency嘛都没问题。
如果用kafka做纯real time的话，我觉得也就做做news feed， garbage in garbage
out那种还行。 |
|
h*****4
发帖数: 4219 | 50 为毛我看主页说ActiveMQ是最流行？Active跟kafka也不是一个等级的吧 |
|
