由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 可以建公司内部的HDFS吗?
相关主题
关于big data能不能在hadoop中用open mpi?
Hadoop/HBase真的落伍了吗?解密hadoop文件系统数据存储方式
怎么自学cloud/big data programmingHadoop 和Python的数据分析包哪个更值得学习?
c++程序员不要把头埋在沙子里了在不同版本的hdfs之间copy大量文件
学scala和spark需要什么pre req?大牛能不能讨论下cassandra, Hbase, MongoDB的对比
试了下spark,不过如此啊转行做data warehouse的问个学习大数据的问题
Hadoop运行时是不是用命令行执行的?Hadoop和Java有什么联系?Flink Sparks Next Wave of Distributed Data Processing
关于 SPARK, 问二爷peking2 和其他大牛一问题感觉flink出来之后,hadoop就显得不怎么再需要了
相关话题的讨论汇总
话题: hdfs话题: system话题: erp话题: db话题: oracle
进入Programming版参与讨论
1 (共1页)
C********g
发帖数: 1548
1
比如,一个大学,40,000 enrollment.200 servers (99% are Solaris).可不可以建自
己内部的HDFS,运行所有的软件系统包括Oracle DB,ERP system, student system呢
?技术上可行吗?经济上可行吗?
p*****2
发帖数: 21240
2
为什么要hdfs?

【在 C********g 的大作中提到】
: 比如,一个大学,40,000 enrollment.200 servers (99% are Solaris).可不可以建自
: 己内部的HDFS,运行所有的软件系统包括Oracle DB,ERP system, student system呢
: ?技术上可行吗?经济上可行吗?

C********g
发帖数: 1548
3
我直觉它对硬件要求低,应该可以降低cost,并且可扩展性很强。

【在 p*****2 的大作中提到】
: 为什么要hdfs?
n******t
发帖数: 4406
4
错了,hdfs是烧钱的。
你要搞什么big data之类的应用么?

【在 C********g 的大作中提到】
: 我直觉它对硬件要求低,应该可以降低cost,并且可扩展性很强。
c****e
发帖数: 1453
5
Reports said Hadoop can reduce 30% cost on data warehouse. But don't
underestimate the operation barrier.
C********g
发帖数: 1548
6
no.Is HDFS specifically for big data?

【在 n******t 的大作中提到】
: 错了,hdfs是烧钱的。
: 你要搞什么big data之类的应用么?

p*****2
发帖数: 21240
7
不如上cassandra

【在 C********g 的大作中提到】
: no.Is HDFS specifically for big data?
D*******a
发帖数: 3688
8
do you know what HDFS is for?
can you really run these stuff "Oracle DB,ERP system, student system" on
HDFS?

【在 C********g 的大作中提到】
: 比如,一个大学,40,000 enrollment.200 servers (99% are Solaris).可不可以建自
: 己内部的HDFS,运行所有的软件系统包括Oracle DB,ERP system, student system呢
: ?技术上可行吗?经济上可行吗?

h*d
发帖数: 214
9
我的理解是HDFS是应用层API,就像java IO一样,只能供特定系统使用(我就知道
hadoop)。LZ估计把HDFS误解成了OS level API可以让任何依赖文件系统的应用可以平
滑使用。如果不稍微看看paper,绝大部分人估计都会有同样的误解。
C********g
发帖数: 1548
10
谢谢指正。我确实是那么理解的。

【在 h*d 的大作中提到】
: 我的理解是HDFS是应用层API,就像java IO一样,只能供特定系统使用(我就知道
: hadoop)。LZ估计把HDFS误解成了OS level API可以让任何依赖文件系统的应用可以平
: 滑使用。如果不稍微看看paper,绝大部分人估计都会有同样的误解。

相关主题
试了下spark,不过如此啊能不能在hadoop中用open mpi?
Hadoop运行时是不是用命令行执行的?Hadoop和Java有什么联系?解密hadoop文件系统数据存储方式
关于 SPARK, 问二爷peking2 和其他大牛一问题Hadoop 和Python的数据分析包哪个更值得学习?
进入Programming版参与讨论
g*********e
发帖数: 14401
11
还可以被spark用
但都是很intuitive的计算
z****e
发帖数: 54598
12
技术上没有问题
因为都在jvm上
所以不兼容的话,你自己可以动手实现,把它变兼容
当然这样要求你比较懂java才行
但是这种enrollment system非常不合适用file system啊
这个属于不能错的东西,大量需要transaction这些
学生选课冲突了,你得回滚才对
这个属于db的领域,不推荐用file system
用postgresql倒是可以
然后弄点j2ee啊,很容易搞
估计erp里面就有大量的j2ee components
当然你要用上hdfs也可以,放一些不重要的数据在file system里面
比如学生的爱好,log,甚至照片

【在 C********g 的大作中提到】
: 比如,一个大学,40,000 enrollment.200 servers (99% are Solaris).可不可以建自
: 己内部的HDFS,运行所有的软件系统包括Oracle DB,ERP system, student system呢
: ?技术上可行吗?经济上可行吗?

z****e
发帖数: 54598
13
不过你们才40k个enrollments
这点数量,根本不需要什么erp
直接自己从php建起都能搞定
z****e
发帖数: 54598
14
hdfs跟cloud结合起来就不烧钱了
天作之合
主要是cloud上爆nodes太容易
如果自己维护服务器,反而不太合适

【在 n******t 的大作中提到】
: 错了,hdfs是烧钱的。
: 你要搞什么big data之类的应用么?

z****e
发帖数: 54598
15
你们学校有research cloud吗?
有的话,你直接在research cloud上爆nodes
然后就可以搞hdfs了,爆三个
一个做namenode,剩下两个做datanodes
然后就可以搞了
其实hdfs就是一个persistence的file system
没啥大不了的,把idea弄明白了,剩下细节其实不怎么重要
太多细节面试的人自己也记不住
1 (共1页)
进入Programming版参与讨论
相关主题
感觉flink出来之后,hadoop就显得不怎么再需要了学scala和spark需要什么pre req?
搞不懂为什么大牛说Hbase不如C*?试了下spark,不过如此啊
Hadoop/HBase/HDFS三驾马车过时了吗?Hadoop运行时是不是用命令行执行的?Hadoop和Java有什么联系?
MapReduce 的思想是怎么发明的?关于 SPARK, 问二爷peking2 和其他大牛一问题
关于big data能不能在hadoop中用open mpi?
Hadoop/HBase真的落伍了吗?解密hadoop文件系统数据存储方式
怎么自学cloud/big data programmingHadoop 和Python的数据分析包哪个更值得学习?
c++程序员不要把头埋在沙子里了在不同版本的hdfs之间copy大量文件
相关话题的讨论汇总
话题: hdfs话题: system话题: erp话题: db话题: oracle