T******7
发帖数: 1419 | 1 storm和spark, maprduce比有什么优势？ |
z****e
发帖数: 54598 | 2 苹果橘子了
storm在streaming上目前还没有竞争对手
唯一麻烦的就是clojure
随着java8开始出现streaming api
storm的优势也在被逐渐蚕食
flink出来以后这两个对比会更清楚一点
flink的streaming和dataset处理是分离的api |
b**********5
发帖数: 7881 | 3 java8 的streaming和storm的streaming不一样把。java8的streaming是在一个机器上
， storm的streaming可是在不同机器上的。 bolt里的logic，too complex for java
8 streaming functions
【在 z****e 的大作中提到】
: 苹果橘子了
: storm在streaming上目前还没有竞争对手
: 唯一麻烦的就是clojure
: 随着java8开始出现streaming api
: storm的优势也在被逐渐蚕食
: flink出来以后这两个对比会更清楚一点
: flink的streaming和dataset处理是分离的api
|
a******3
发帖数: 170 | 4 Mapreduce 一般用来批处理存在分布式文件系统里的大文件
storm 是用来实时处理流数据。
Map/Reduce 有个缺点是过于依赖文件来存储中间结果，后果是运算turnaround 的时间
很长。Spark 的设计目标之一是解决这个问题，spark 里所有的运算都在内存里进行，
所以速度快很多，尤其是对于需要多个iteration 的运算。Spark 的另外一个优点是它
采用了functional programming 的编程模式，写程序要比MapReduce 简洁很多，和其
他(ML, graph process) libraries 的接口做得很好。Spark 的缺点是可靠性暂时还
比不上 Hadoop. |
z****e
发帖数: 54598 | 5 牛肉姐，如果是跨机的，用rxjava等streaming framework
一般跨机要看网络协议，纯java的可以用序列化，跨语言用json这些
真要做其实不难，不过现在主要是用rxjava
java
【在 b**********5 的大作中提到】
: java8 的streaming和storm的streaming不一样把。java8的streaming是在一个机器上
: ， storm的streaming可是在不同机器上的。 bolt里的logic，too complex for java
: 8 streaming functions
|
l*****n
发帖数: 199 | 6 上班用过一年storm,曾以为走在了科技的前沿，后来一去twitter面试，里面一个大牛
和我说Twitter已经抛弃Storm了，还说觉得storm不好scale，听完我整个人都不好了。
。。 |
S**********5
发帖数: 896 | 7 看了你好几个帖子，你怎么什么都知道，这些你平时都用吗？如果想知道这些平时该怎
么学习呢？谢谢啊
【在 z****e 的大作中提到】
: 苹果橘子了
: storm在streaming上目前还没有竞争对手
: 唯一麻烦的就是clojure
: 随着java8开始出现streaming api
: storm的优势也在被逐渐蚕食
: flink出来以后这两个对比会更清楚一点
: flink的streaming和dataset处理是分离的api
|
l*n
发帖数: 529 | 8 大神，Java Stream，rxJava以及Spark Streaming是三回事儿啊，别因为共用一个
Stream单词就乱了。
Spark和MapReduce这些分布式框架最重要一点是内置好failure的处理和重计算。
【在 z****e 的大作中提到】
: 牛肉姐，如果是跨机的，用rxjava等streaming framework
: 一般跨机要看网络协议，纯java的可以用序列化，跨语言用json这些
: 真要做其实不难，不过现在主要是用rxjava
:
: java
|
N*D
发帖数: 3641 | 9 realtime vs batch
online vs offline
【在 T******7 的大作中提到】
: storm和spark, maprduce比有什么优势？
|
z****e
发帖数: 54598 | 10 没有说是一回事啊
一开始就说了是苹果和橘子
后面说的是牛肉姐的具体需求未必需要用spark呀
【在 l*n 的大作中提到】
: 大神，Java Stream，rxJava以及Spark Streaming是三回事儿啊，别因为共用一个
: Stream单词就乱了。
: Spark和MapReduce这些分布式框架最重要一点是内置好failure的处理和重计算。
|
z****e
发帖数: 54598 | 11
什么都知道那是古德霸，涉及os等底层的部分我已经还给老师了
学过早忘了，我从需求出发学习技能
每天就琢磨有什么东西我还不会做，解决不了的
如何解决，原理是啥，然后有什么轮子正在解决这些问题
然后剩下就是熟悉api的问题了
【在 S**********5 的大作中提到】
: 看了你好几个帖子，你怎么什么都知道，这些你平时都用吗？如果想知道这些平时该怎
: 么学习呢？谢谢啊
|
