由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - Hadoop/HBase/HDFS三驾马车过时了吗?
相关主题
感觉nosql那个什么三驾马车完全是以讹传讹为什么大牛说hbase是strong consistency的?
Hadoop运行时是不是用命令行执行的?Hadoop和Java有什么联系?学Hadoop还是spark
搞不懂为什么大牛说Hbase不如C*?Scala的AKKA很惨淡
Why You Should Never Use MongoDB关于 SPARK, 问二爷peking2 和其他大牛一问题
想更新一下有点过时的知识体系,大家给开个单子吧Hadoop 和Python的数据分析包哪个更值得学习?
怎样schedule spark application感觉flink出来之后,hadoop就显得不怎么再需要了
NOSQL排名关于big data
Nosql is not for everyone.大牛能不能讨论下cassandra, Hbase, MongoDB的对比
相关话题的讨论汇总
话题: hdfs话题: hadoop话题: hbase话题: 过时话题: mature
进入Programming版参与讨论
1 (共1页)
A*******e
发帖数: 2419
1
现在还有多少公司用?
g*********e
发帖数: 14401
2
spark不也基于hdfs么

【在 A*******e 的大作中提到】
: 现在还有多少公司用?
z*******3
发帖数: 13709
3

你被忽悠了
理论上这种东西就是一个computing framework
跟persistence是啥,在哪,理论上是无关的
只不过hdfs做得比较大,所以用hdfs的人还是很多
但是不用其实也没啥大不了的,我用c*就用得好好的
关键就是一个接口的问题,hadoop毕竟是很成功的
但是并不代表这个东西就是必需的
随着nosql的数量的增加,以后会越来越多
最后估计会像当年jdbc一样,做成一个标准api
到时候用标准api就好了,当然也有可能像c++一样
永远都无法诞生一个像样的标准api,那这个对于开发人员来说就苦逼了

【在 g*********e 的大作中提到】
: spark不也基于hdfs么
z*******3
发帖数: 13709
4
过时是不会的
就像db,你觉得db过时了吗?
没有嘛,到处都还在用
这种nosql以及处理nosql的frameworks
现在还在大面积使用,但是市场上将来会有更多的竞争者加入
也很正常,java世界就是这样,里面什么都有
是不是很好玩?
n*****3
发帖数: 1584
5
I think HBASE is about the same market share as C*, C* is rising though.
Hadoop/HDFS is mature, a lot of new tech will choose to live on top of them.

【在 z*******3 的大作中提到】
: 过时是不会的
: 就像db,你觉得db过时了吗?
: 没有嘛,到处都还在用
: 这种nosql以及处理nosql的frameworks
: 现在还在大面积使用,但是市场上将来会有更多的竞争者加入
: 也很正常,java世界就是这样,里面什么都有
: 是不是很好玩?

z*******3
发帖数: 13709
6
hadoop mature了吗?
需要定义mature
在我看来整个nosql market都很不mature
如果mature的话,那很多东西就不用做了
hdfs也许还ok,但是hbase的market就一塌糊涂了
c*理论上是跟hbase有一定交集,而非file system,比如hdfs
而c*是ap系统,ap可以tune成cp,但是反过来,cp要想tune成ap
就困难异常,我怀疑能不能做到,从这一点上说
c*的设计有天然的优势,天然就是cp系统的超集
hadoop是先行者,就像当年的ejb一样
但是jvm世界里后来居上反嗜的大有人在,比如spring
我同样看好vert.x干掉akka,以及c*干掉hbase
实际上这两个已经隐隐约约有这种迹象了,需要的只是时间
到时候现在做得一切系统都会被legacy化,到时候维护都是问题
然后一堆startup靠着这些新兴简单的技术来参与市场竞争
历史总是会这样重复

them.

【在 n*****3 的大作中提到】
: I think HBASE is about the same market share as C*, C* is rising though.
: Hadoop/HDFS is mature, a lot of new tech will choose to live on top of them.

z*******3
发帖数: 13709
7
akka和hadoop给我的感觉就像当年的ejb一样复杂难懂
各种乱七八糟的概念满天飞,好像很fashion,其实也就是那么一回事
相比之下,vert.x,c*的哲学我很喜欢
不跟你扯概念,扯理论,从最简单的入手,慢慢作难起来
还有就是hadoop是一个很大的eco,应该具体问题具体分析
hadoop mapreduce就已经被取代了,虽然over yarn还是很多人用
但是这个就犹如隔靴扰痒痒,很不爽的说
其实很多frameworks都太复杂了,包括akka
一些很简单的概念,被说得复杂异常
从历史上看,simplicity always wins
更不要说新生代的东西,更加兼容
就比如ap可以tune成cp,反过来就不行,那显然ap系统前景广阔
同样的,vert.x可以当akka&node用,反过来就不行
这就是区别,简单是一回事,兼容性是另外一回事
一般这两个方面同时占据上风的话,后面就很容易想了
其他的,gradle对于maven也是如此,android studio就用了gradle,而非maven
简单不仅仅是对于用户是种需求,对于开发人员同样也是需求
f******2
发帖数: 2455
8
赵老师你在澳大利亚?(怎么感觉时间不对呀?)你这个经验的在湾区随便出去转一圈
儿就能收3~5个30万的offer,没考虑动动?

【在 z*******3 的大作中提到】
: akka和hadoop给我的感觉就像当年的ejb一样复杂难懂
: 各种乱七八糟的概念满天飞,好像很fashion,其实也就是那么一回事
: 相比之下,vert.x,c*的哲学我很喜欢
: 不跟你扯概念,扯理论,从最简单的入手,慢慢作难起来
: 还有就是hadoop是一个很大的eco,应该具体问题具体分析
: hadoop mapreduce就已经被取代了,虽然over yarn还是很多人用
: 但是这个就犹如隔靴扰痒痒,很不爽的说
: 其实很多frameworks都太复杂了,包括akka
: 一些很简单的概念,被说得复杂异常
: 从历史上看,simplicity always wins

l*******m
发帖数: 1096
9
30万对于有经验的实在太一般了吧,再说澳洲工资也很高

【在 f******2 的大作中提到】
: 赵老师你在澳大利亚?(怎么感觉时间不对呀?)你这个经验的在湾区随便出去转一圈
: 儿就能收3~5个30万的offer,没考虑动动?

1 (共1页)
进入Programming版参与讨论
相关主题
大牛能不能讨论下cassandra, Hbase, MongoDB的对比想更新一下有点过时的知识体系,大家给开个单子吧
谁能讲讲sbt?怎样schedule spark application
dart对于js来说NOSQL排名
大牛给推荐个fp语言Nosql is not for everyone.
感觉nosql那个什么三驾马车完全是以讹传讹为什么大牛说hbase是strong consistency的?
Hadoop运行时是不是用命令行执行的?Hadoop和Java有什么联系?学Hadoop还是spark
搞不懂为什么大牛说Hbase不如C*?Scala的AKKA很惨淡
Why You Should Never Use MongoDB关于 SPARK, 问二爷peking2 和其他大牛一问题
相关话题的讨论汇总
话题: hdfs话题: hadoop话题: hbase话题: 过时话题: mature