m*****k
发帖数: 731 | 1 相应二爷号召，开始看spark，
I just checked out https://github.com/apache/spark.git
to /tmp/spark,
I set
MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"
/tmp/spark$mvn -DskipTests clean package
went well, build successful
But when I imported "examples" module as a maven project into eclipse,
I found it turned red, pom.xml is referring such as spark-core_2.10-1.2.0-
SNAPSHAT.jar which is NOT found from the repos, and I confirmed my maven
repository DO not have the referred jars after building;
Now this confuses me, how did the build of examples module pass with the
referred jars not found?
while the build at parent already passed and I DID see java classes in
examples module generated at
/tmp/spark/examples/target/scala-2.10/classes/org/apache/spark/examples
求spark大牛指点解惑一下，多谢多谢！ |
z****e
发帖数: 54598 | 2 maven的问题
不是spark的问题
那个repo没找到么
那有什么办法
换一个版本看看
把pom.xml里面的改改 |
z****e
发帖数: 54598 | 3 你看，不会java，搞这些就很痛苦
maven是java常见的工具
学java，有错吗？ |
p*****2
发帖数: 21240 | 4 我用sbt
是不是要用private repo呢
【在 m*****k 的大作中提到】
: 相应二爷号召，开始看spark，
: I just checked out https://github.com/apache/spark.git
: to /tmp/spark,
: I set
: MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"
: /tmp/spark$mvn -DskipTests clean package
: went well, build successful
: But when I imported "examples" module as a maven project into eclipse,
: I found it turned red, pom.xml is referring such as spark-core_2.10-1.2.0-
: SNAPSHAT.jar which is NOT found from the repos, and I confirmed my maven
|
m*****k
发帖数: 731 | |
z****e
发帖数: 54598 | 6 应该是eclipse的问题
eclipse识别不到
这是ide的问题
你先看看.m2里面有没有这个jar |
z****e
发帖数: 54598 | 7 看看.m2文件夹
里面都有什么jars
你可以手动去下一个那个.jar，然后放到.m2里面去
重启eclipse看看
【在 m*****k 的大作中提到】
: 那parent 咋mvn build过的？
|
z****e
发帖数: 54598 | 8 还有就是有可能版本号可能杯改了
SNAPSHAT去掉试试
然后去maven的repo上看看到底有什么版本的
然后换成那个版本，我记得我上次遇到了类似的问题 |
z****e
发帖数: 54598 | |
z****e
发帖数: 54598 | 10 不知道哈
我没有用命令行的习惯
eclipse有问题我就搞定eclipse后再做
【在 m*****k 的大作中提到】
: 那parent 咋mvn build过的？
|
|
|
z****e
发帖数: 54598 | 11 可能还需要打开eclipse看看你的.m2在哪个位置
对准了没有，别对错了 |
z****e
发帖数: 54598 | 12 http://mvnrepository.com/artifact/org.apache.spark/spark-core_2
这里面的确没有找到1.2.snapshot版本
出于某种原因被干掉了，为啥，不知道，多半问题出在创作者自身
这个文档有些凹凸或者超前了，建议改成1.1试试，估计可以通过
用软件不要用太新的版本，会有各种莫名其妙问题的 |
z****e
发帖数: 54598 | |
m*****k
发帖数: 731 | 14 多谢老赵费心，
改examples module 的pom.xml容易，我查的是
https://repository.cloudera.com/cloudera/cloudera-repos/org/apache/spark/ (
看parent pom.xml 的repositories)
所以 我的改动
1.2.0-cdh5.3.0-SNAPSHOT
能让eclipse happy
但我的疑问是：
啥都不改动时，pom refer 的jar 找不到，
为何cmd line 在parent folder build 通过了？output 也显示各module build 都
successful，
我也看到example module 的java class 都生成在target/scala-2.10/classes/org/
apache/spark/examples/ 中，
但是 .m2/repository 没有那些1.2.0-SNAPSHOT 的jar. |
z****e
发帖数: 54598 | 15 这要看maven里面spark的build脚本是怎么写的了
未必会依赖这个jar
eclipse是看pom.xml这个文件判断的
而mvn build未必会用到这个文件
maven用起来真是麻烦，还是gradle爽
gradle build脚本build.gradle可以在eclipse或者idea里面查到
【在 m*****k 的大作中提到】
: 多谢老赵费心，
: 改examples module 的pom.xml容易，我查的是
: https://repository.cloudera.com/cloudera/cloudera-repos/org/apache/spark/ (
: 看parent pom.xml 的repositories)
: 所以 我的改动
: 1.2.0-cdh5.3.0-SNAPSHOT
:
: 能让eclipse happy
: 但我的疑问是：
: 啥都不改动时，pom refer 的jar 找不到，
|
m*****k
发帖数: 731 | 16 简而言之，
这问题与eclipse 无关，
eclipse只是帮我发现了examples module 依赖的jars根本找不到，
所以我很好奇为何先前的parent build 居然过了，examples 里的java也都生成了
class file。 |
z****e
发帖数: 54598 | 17 ide会当场debug
这种错误不需要到run才发现
maven没有这种功能
maven只是一个build tool和repo的manager
而且这个严格说来不是xml的错误
是人的错误，如果build的时候不需要用到这个jar
自然也就不会去down，不会去down自然也就当这个问题不存在
但其实这个是pom.xml写错了
【在 m*****k 的大作中提到】
: 简而言之，
: 这问题与eclipse 无关，
: eclipse只是帮我发现了examples module 依赖的jars根本找不到，
: 所以我很好奇为何先前的parent build 居然过了，examples 里的java也都生成了
: class file。
|
z****e
发帖数: 54598 | 18 我怀疑你把pom.xml里面依赖这个jar那一整段删掉都不会有问题 |
z****e
发帖数: 54598 | 19 从这个可以看出，ide是多么好的一个东西
估计写spark的人没有用eclipse
导致这种错误遗留在文档里面
误导了很多人
另外maven这个.m2是个大问题
多做几个项目，.m2就会疯狂膨胀，依赖越多，.m2就越大
而idea又喜欢在启动时候把这些index全部读进来
这样启动时候就会很慢
所以你定期删一下.m2里面的jars是个好习惯
我上次.m2有2g，我说android studio怎么那么慢呢
http://www.mitbbs.com/article_t/Java/31147903.html |
d********u
发帖数: 5383 | 20 "maven是java常见的工具
学java，有错吗？"
我觉得脑补更重要一些。
【在 z****e 的大作中提到】
: 你看，不会java，搞这些就很痛苦
: maven是java常见的工具
: 学java，有错吗？
|
|
|
z****e
发帖数: 54598 | 21 lol
臭臭来了
臭臭你赶紧竞选ceo，复兴m$的大业就靠你了
【在 d********u 的大作中提到】
: "maven是java常见的工具
: 学java，有错吗？"
: 我觉得脑补更重要一些。
|
g*****g
发帖数: 34805 | 22 臭臭跪舔了阿三老板好几个人月，又交流了菊花，据说兼具了微软和苹果的气质于一身
，人类不可阻挡。
【在 z****e 的大作中提到】
: lol
: 臭臭来了
: 臭臭你赶紧竞选ceo，复兴m$的大业就靠你了
|
m*****k
发帖数: 731 | 23 actually my test shows a normal mvn project will download the jar in pom
even no class depends on it,
I faked a non-existent jar dependency in the pom and the build immediately
fails on it .
【在 z****e 的大作中提到】
: ide会当场debug
: 这种错误不需要到run才发现
: maven没有这种功能
: maven只是一个build tool和repo的manager
: 而且这个严格说来不是xml的错误
: 是人的错误，如果build的时候不需要用到这个jar
: 自然也就不会去down，不会去down自然也就当这个问题不存在
: 但其实这个是pom.xml写错了
|
z****e
发帖数: 54598 | 24 那就不知道了
你好好研究研究maven
知道为啥后记得上来说一声
immediately
【在 m*****k 的大作中提到】
: actually my test shows a normal mvn project will download the jar in pom
: even no class depends on it,
: I faked a non-existent jar dependency in the pom and the build immediately
: fails on it .
|
n*******0
发帖数: 2002 | 25 eclipse的maven plugin非常渣，你需要命令行mvn eclipse：eclipse把你的工程搞成
eclipse的形状之后，用eclipse import existing project。
【在 m*****k 的大作中提到】
: 相应二爷号召，开始看spark，
: I just checked out https://github.com/apache/spark.git
: to /tmp/spark,
: I set
: MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=1024m"
: /tmp/spark$mvn -DskipTests clean package
: went well, build successful
: But when I imported "examples" module as a maven project into eclipse,
: I found it turned red, pom.xml is referring such as spark-core_2.10-1.2.0-
: SNAPSHAT.jar which is NOT found from the repos, and I confirmed my maven
|
z****e
发帖数: 54598 | 26 这个不是eclipse的插件
是maven项目针对eclipse做的一个优化
可以说是对eclipse做的一个特殊照顾
其他ide，apache maven不给做
要想通过命令行搞，你要在maven上安装maven的插件才行
eclipse因为有了这个之后，就没有做什么特殊的plugin
倒是idea因为没有这个配合，自己去做了一个插件，还挺好用就是了
【在 n*******0 的大作中提到】
: eclipse的maven plugin非常渣，你需要命令行mvn eclipse：eclipse把你的工程搞成
: eclipse的形状之后，用eclipse import existing project。
|
l******t
发帖数: 55733 | 27 maven的依赖是递推的，你可以用depenency:tree来看是那个依赖引进来的
m2e可以替代eclipse:eclipse。
repo的位置可以在pom就设定。
sbt用的是ivy。还是mvn就是artifact写法不同。
immediately
【在 m*****k 的大作中提到】
: actually my test shows a normal mvn project will download the jar in pom
: even no class depends on it,
: I faked a non-existent jar dependency in the pom and the build immediately
: fails on it .
|
m*****k
发帖数: 731 | 28 搞定了，
原来是自己太傻被误导了，应该用
mvn -DskipTests clean install
来生成examples depend on 的 spark jars，
而不是象
https://github.com/apache/spark的readme说的
“Building Spark
Spark is built using Apache Maven. To build Spark and its example programs,
run:
mvn -DskipTests clean package
”
我先前看到的exampels 的classes 是我改动了pom.xml 后在examples folder build出
来的，parent build不产生examples的classes
老赵说得对，还是下1.1.0来玩省心。 |
n*****3
发帖数: 1584 | 29 did you try it on mac linux or window?
I guess the pre installation of hadoop is NOT necessary?
thanks.
,
【在 m*****k 的大作中提到】
: 搞定了，
: 原来是自己太傻被误导了，应该用
: mvn -DskipTests clean install
: 来生成examples depend on 的 spark jars，
: 而不是象
: https://github.com/apache/spark的readme说的
: “Building Spark
: Spark is built using Apache Maven. To build Spark and its example programs,
: run:
: mvn -DskipTests clean package
|
n*****3
发帖数: 1584 | 30 did you try it on mac linux or window?
I guess the pre installation of hadoop is NOT necessary?
thanks.
,
【在 m*****k 的大作中提到】
: 搞定了，
: 原来是自己太傻被误导了，应该用
: mvn -DskipTests clean install
: 来生成examples depend on 的 spark jars，
: 而不是象
: https://github.com/apache/spark的readme说的
: “Building Spark
: Spark is built using Apache Maven. To build Spark and its example programs,
: run:
: mvn -DskipTests clean package
|
|
|
n*****3
发帖数: 1584 | 31 do you try it on Mac, linux or window?
I guess the pre installation of hadoop is NOT necessary?
thanks.
,
【在 m*****k 的大作中提到】
: 搞定了，
: 原来是自己太傻被误导了，应该用
: mvn -DskipTests clean install
: 来生成examples depend on 的 spark jars，
: 而不是象
: https://github.com/apache/spark的readme说的
: “Building Spark
: Spark is built using Apache Maven. To build Spark and its example programs,
: run:
: mvn -DskipTests clean package
|
m*****k
发帖数: 731 | 32 mac and centOS both
I directly cloned from github src, not from its download page.
【在 n*****3 的大作中提到】
: do you try it on Mac, linux or window?
: I guess the pre installation of hadoop is NOT necessary?
: thanks.
:
: ,
|
n*****3
发帖数: 1584 | 33 got it, thanks.
I got it work in my mac air great
compiled for window7, but the interactive shell does notrub
planNed to develop locally with either Eclipse/intellij ,
but the maven dependence is challenglly annoying
【在 m*****k 的大作中提到】
: mac and centOS both
: I directly cloned from github src, not from its download page.
|
