由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - Hadoop CLUSTER部署thrid party libraries一般是怎么操作?
相关主题
一个Hadoop Cluster升级的问题关于 SPARK, 问二爷peking2 和其他大牛一问题
关于big data能不能在hadoop中用open mpi?
怎么自学cloud/big data programming解密hadoop文件系统数据存储方式
c++程序员不要把头埋在沙子里了Hadoop 和Python的数据分析包哪个更值得学习?
学scala和spark需要什么pre req?在不同版本的hdfs之间copy大量文件
试了下spark,不过如此啊大牛能不能讨论下cassandra, Hbase, MongoDB的对比
可以建公司内部的HDFS吗?转行做data warehouse的问个学习大数据的问题
Hadoop运行时是不是用命令行执行的?Hadoop和Java有什么联系?Flink Sparks Next Wave of Distributed Data Processing
相关话题的讨论汇总
话题: hadoop话题: jar话题: cluster话题: thrid话题: libraries
进入Programming版参与讨论
1 (共1页)
J****R
发帖数: 373
1
应该不是把jar 一个个copy到每个node上面吧?
l*******m
发帖数: 1096
2
HADOOP_CLASSPATH

【在 J****R 的大作中提到】
: 应该不是把jar 一个个copy到每个node上面吧?
f*******t
发帖数: 7549
3
可以存hdfs里
J****R
发帖数: 373
4
能详细说一下吗?

【在 l*******m 的大作中提到】
: HADOOP_CLASSPATH
J****R
发帖数: 373
5
你是说用distributed cache?
DistributedCache.addFileToClassPath(hdfsJar, conf);

【在 f*******t 的大作中提到】
: 可以存hdfs里
n*******2
发帖数: 89
6
可以放到nfs上然后mount到各个node

【在 J****R 的大作中提到】
: 应该不是把jar 一个个copy到每个node上面吧?
f*******t
发帖数: 7549
7
是的,能用

【在 J****R 的大作中提到】
: 你是说用distributed cache?
: DistributedCache.addFileToClassPath(hdfsJar, conf);

l*******m
发帖数: 1096
8
http://grepalex.com/2013/02/25/hadoop-libjars/

【在 J****R 的大作中提到】
: 能详细说一下吗?
J****R
发帖数: 373
9
谢谢!
总结一下,基本上就是3种途径:
1, copy jar files and config files onto all nodes in cluster.
2, fat jar
3, distributed cache.
第一种太麻烦,上production 不现实,这么搞的话operation team会疯掉.
第二种比较低效,因为fat jar size太大了,跑起来performance恐怕有问题.
第三种解决了这些问题,但也得还得在client node上面单独放上jar, config. 不然启
动Job的时候会出问题.

【在 l*******m 的大作中提到】
: http://grepalex.com/2013/02/25/hadoop-libjars/
D**u
发帖数: 288
10
借宝地问一个following question, 如果用DistributedCache.addFileToClassPath,
jar file 超过64kb 怎么办, 比如想放一个array进去, 类似好像有人问http://stackoverflow.com/questions/6570343/maximum-size-of-a-method-in-java
想听听大家意见,我只关注hadoop distributed jar files 不是general的
J****R
发帖数: 373
11
没听说jar size 64k的限制啊,要是fat jar,几十个M的都有。你的那个link里面讨论
的是limit on the a single method in the code。64k 的method,check in 以后会
被群殴的。。。。。。

【在 D**u 的大作中提到】
: 借宝地问一个following question, 如果用DistributedCache.addFileToClassPath,
: jar file 超过64kb 怎么办, 比如想放一个array进去, 类似好像有人问http://stackoverflow.com/questions/6570343/maximum-size-of-a-method-in-java
: 想听听大家意见,我只关注hadoop distributed jar files 不是general的

1 (共1页)
进入Programming版参与讨论
相关主题
Flink Sparks Next Wave of Distributed Data Processing学scala和spark需要什么pre req?
感觉flink出来之后,hadoop就显得不怎么再需要了试了下spark,不过如此啊
搞不懂为什么大牛说Hbase不如C*?可以建公司内部的HDFS吗?
怎样schedule spark applicationHadoop运行时是不是用命令行执行的?Hadoop和Java有什么联系?
一个Hadoop Cluster升级的问题关于 SPARK, 问二爷peking2 和其他大牛一问题
关于big data能不能在hadoop中用open mpi?
怎么自学cloud/big data programming解密hadoop文件系统数据存储方式
c++程序员不要把头埋在沙子里了Hadoop 和Python的数据分析包哪个更值得学习?
相关话题的讨论汇总
话题: hadoop话题: jar话题: cluster话题: thrid话题: libraries