J****R 发帖数: 373 | 1 应该不是把jar 一个个copy到每个node上面吧? |
l*******m 发帖数: 1096 | 2 HADOOP_CLASSPATH
【在 J****R 的大作中提到】 : 应该不是把jar 一个个copy到每个node上面吧?
|
f*******t 发帖数: 7549 | |
J****R 发帖数: 373 | 4 能详细说一下吗?
【在 l*******m 的大作中提到】 : HADOOP_CLASSPATH
|
J****R 发帖数: 373 | 5 你是说用distributed cache?
DistributedCache.addFileToClassPath(hdfsJar, conf);
【在 f*******t 的大作中提到】 : 可以存hdfs里
|
n*******2 发帖数: 89 | 6 可以放到nfs上然后mount到各个node
【在 J****R 的大作中提到】 : 应该不是把jar 一个个copy到每个node上面吧?
|
f*******t 发帖数: 7549 | 7 是的,能用
【在 J****R 的大作中提到】 : 你是说用distributed cache? : DistributedCache.addFileToClassPath(hdfsJar, conf);
|
l*******m 发帖数: 1096 | |
J****R 发帖数: 373 | 9 谢谢!
总结一下,基本上就是3种途径:
1, copy jar files and config files onto all nodes in cluster.
2, fat jar
3, distributed cache.
第一种太麻烦,上production 不现实,这么搞的话operation team会疯掉.
第二种比较低效,因为fat jar size太大了,跑起来performance恐怕有问题.
第三种解决了这些问题,但也得还得在client node上面单独放上jar, config. 不然启
动Job的时候会出问题.
【在 l*******m 的大作中提到】 : http://grepalex.com/2013/02/25/hadoop-libjars/
|
D**u 发帖数: 288 | 10 借宝地问一个following question, 如果用DistributedCache.addFileToClassPath,
jar file 超过64kb 怎么办, 比如想放一个array进去, 类似好像有人问http://stackoverflow.com/questions/6570343/maximum-size-of-a-method-in-java
想听听大家意见,我只关注hadoop distributed jar files 不是general的 |
J****R 发帖数: 373 | 11 没听说jar size 64k的限制啊,要是fat jar,几十个M的都有。你的那个link里面讨论
的是limit on the a single method in the code。64k 的method,check in 以后会
被群殴的。。。。。。
【在 D**u 的大作中提到】 : 借宝地问一个following question, 如果用DistributedCache.addFileToClassPath, : jar file 超过64kb 怎么办, 比如想放一个array进去, 类似好像有人问http://stackoverflow.com/questions/6570343/maximum-size-of-a-method-in-java : 想听听大家意见,我只关注hadoop distributed jar files 不是general的
|