c*****a
发帖数: 1638 | 1 研究了几天，好像无解？
貌似所有的地方都是说只能用spark-submit那个script，但是这个简直是搞笑吧
如果我有个web application，要根据具体情况提交spark job，难道必须从shell调用
这个spark-submit？
这么基础的功能都没有？或者说这么基础的API都不expose，spark这帮人在干啥啊？
在production里面，难道大家都是直接用这个shell来提交job？ |
n*****3
发帖数: 1584 | 2 我看到的git hub 例子， 好像都是 spark summit from the shell
我是在local machine generate the jar file, then ftp it to the cluster
to run with spark-summit
不知道有什么省事的procedure
【在 c*****a 的大作中提到】
: 研究了几天，好像无解？
: 貌似所有的地方都是说只能用spark-submit那个script，但是这个简直是搞笑吧
: 如果我有个web application，要根据具体情况提交spark job，难道必须从shell调用
: 这个spark-submit？
: 这么基础的功能都没有？或者说这么基础的API都不expose，spark这帮人在干啥啊？
: 在production里面，难道大家都是直接用这个shell来提交job？
|
c******f
发帖数: 243 | 3 ooyala好像有个restful api神马东西
我们这是upload file然后shell script运行的 |
c*****a
发帖数: 1638 | 4 难道真的只有这么2的方法啊
这帮学院派的人搞软件开发usability就是不太靠谱。
如果没办法，只好暂时先这么着。
关键是我要用EMR的API提交，那么只能在java的main里面再提交shell了。
【在 c******f 的大作中提到】
: ooyala好像有个restful api神马东西
: 我们这是upload file然后shell script运行的
|
n*****3
发帖数: 1584 | 5 去了spark summit， 感觉这帮 人是 acdemical guys，那个 spark streaming
是一个一年级的 phd student lead。。。。 呵呵 只能说 自古英雄出骚年
【在 c*****a 的大作中提到】
: 难道真的只有这么2的方法啊
: 这帮学院派的人搞软件开发usability就是不太靠谱。
: 如果没办法，只好暂时先这么着。
: 关键是我要用EMR的API提交，那么只能在java的main里面再提交shell了。
|
B*****g
发帖数: 34098 | 6 ding
【在 n*****3 的大作中提到】
: 去了spark summit， 感觉这帮 人是 acdemical guys，那个 spark streaming
: 是一个一年级的 phd student lead。。。。 呵呵 只能说 自古英雄出骚年
|
p*****2
发帖数: 21240 | 7 standalone应该可以吧？
【在 c*****a 的大作中提到】
: 研究了几天，好像无解？
: 貌似所有的地方都是说只能用spark-submit那个script，但是这个简直是搞笑吧
: 如果我有个web application，要根据具体情况提交spark job，难道必须从shell调用
: 这个spark-submit？
: 这么基础的功能都没有？或者说这么基础的API都不expose，spark这帮人在干啥啊？
: 在production里面，难道大家都是直接用这个shell来提交job？
|
c******f
发帖数: 243 | 8 我们是写了个EMR step（java）把jar file /bash script上传到master, 再写个step
叫execute script
之前我们是全部bash的，用aws cli tool做的
【在 c*****a 的大作中提到】
: 难道真的只有这么2的方法啊
: 这帮学院派的人搞软件开发usability就是不太靠谱。
: 如果没办法，只好暂时先这么着。
: 关键是我要用EMR的API提交，那么只能在java的main里面再提交shell了。
|
|
c*****a
发帖数: 1638 | 9 这个shell script不能执行在s3上面的jar，对吧...
这个还要下到本地...
挺麻烦的。
这个usability真要命。虽然这个spark的框架设计真的是不错。
step
【在 c******f 的大作中提到】
: 我们是写了个EMR step（java）把jar file /bash script上传到master, 再写个step
: 叫execute script
: 之前我们是全部bash的，用aws cli tool做的
|
M***r
发帖数: 79 | |
n*****3
发帖数: 1584 | 11 你觉得好用吗?
jobserver
【在 M***r 的大作中提到】
: Try ooyala's Job server: https://github.com/spark-jobserver/spark-jobserver
|
