d*******r 发帖数: 3299 | 1 Clojure Storm 用在生产环境中到底如何,简单可靠吗,坑多不多...?
我们组里讨论完,老板同意试用 Clojure Storm 来做做数据分析。
我呆在中部地区一个做Sports视频直播的小公司(农村人民特喜欢Sports, 我们还有不
少用户),公司从视频录制, 到上传到我们AWS的servers 上,再到最后分发 streaming
到 终端player,都是我们自己在写。
现在需要较快地分析大量从 终端player 软件上返回的各种信息, 比如直播效果和广告
的信息。
大家讨论说 hadoop2.0 是不是太慢太复杂,干脆去看看能用 Clojure Storm 不 --
其实我们组在这方面都是些菜菜,大家瞎折腾... :D
大牛们有在实际生产中用 Storm 相关的经验吗? 用这东西主要要注意哪些坑?还有,
我们都是些主用 Python 的菜菜,如果组里先不用 Clojure,只用 Python 能玩得动
Storm 不?
我们现在需求还有点模糊,等回头做了一阵可能再来请教大家。 |
p*****2 发帖数: 21240 | 2
streaming
-
很适合用Storm,Python写起来应该没有压力。hadoop2.0可以和storm结合来用。
【在 d*******r 的大作中提到】 : Clojure Storm 用在生产环境中到底如何,简单可靠吗,坑多不多...? : 我们组里讨论完,老板同意试用 Clojure Storm 来做做数据分析。 : 我呆在中部地区一个做Sports视频直播的小公司(农村人民特喜欢Sports, 我们还有不 : 少用户),公司从视频录制, 到上传到我们AWS的servers 上,再到最后分发 streaming : 到 终端player,都是我们自己在写。 : 现在需要较快地分析大量从 终端player 软件上返回的各种信息, 比如直播效果和广告 : 的信息。 : 大家讨论说 hadoop2.0 是不是太慢太复杂,干脆去看看能用 Clojure Storm 不 -- : 其实我们组在这方面都是些菜菜,大家瞎折腾... :D : 大牛们有在实际生产中用 Storm 相关的经验吗? 用这东西主要要注意哪些坑?还有,
|
z****e 发帖数: 54598 | 3 流式数据啊,上storm几乎是绝配
现在框架应该都无所谓使用语言,只要接口定义出来
我看了下,定义的格式是apache thrift
所以开源的几乎都能用
Adapters that implement this protocol exist for Ruby, Python, Javascript,
Perl, and PHP.
http://storm-project.net/about/multi-language.html
但是这个storm还没有毕业,所以自己摸索的时候会稍微有点苦逼
第一个吃螃蟹,多少会有点苦逼,不过这点trade off,我相信你能克服的
streaming
-
【在 d*******r 的大作中提到】 : Clojure Storm 用在生产环境中到底如何,简单可靠吗,坑多不多...? : 我们组里讨论完,老板同意试用 Clojure Storm 来做做数据分析。 : 我呆在中部地区一个做Sports视频直播的小公司(农村人民特喜欢Sports, 我们还有不 : 少用户),公司从视频录制, 到上传到我们AWS的servers 上,再到最后分发 streaming : 到 终端player,都是我们自己在写。 : 现在需要较快地分析大量从 终端player 软件上返回的各种信息, 比如直播效果和广告 : 的信息。 : 大家讨论说 hadoop2.0 是不是太慢太复杂,干脆去看看能用 Clojure Storm 不 -- : 其实我们组在这方面都是些菜菜,大家瞎折腾... :D : 大牛们有在实际生产中用 Storm 相关的经验吗? 用这东西主要要注意哪些坑?还有,
|
p*****2 发帖数: 21240 | 4
不过话说回来,storm还真的很容易上手,quality也还不错。
【在 z****e 的大作中提到】 : 流式数据啊,上storm几乎是绝配 : 现在框架应该都无所谓使用语言,只要接口定义出来 : 我看了下,定义的格式是apache thrift : 所以开源的几乎都能用 : Adapters that implement this protocol exist for Ruby, Python, Javascript, : Perl, and PHP. : http://storm-project.net/about/multi-language.html : 但是这个storm还没有毕业,所以自己摸索的时候会稍微有点苦逼 : 第一个吃螃蟹,多少会有点苦逼,不过这点trade off,我相信你能克服的 :
|
z****e 发帖数: 54598 | 5 只要有例子就不难
【在 p*****2 的大作中提到】 : : 不过话说回来,storm还真的很容易上手,quality也还不错。
|
d*******r 发帖数: 3299 | 6 多谢二爷和老赵指点,我准备去当小白鼠了
如果这个用 Storm 的方案实行了,我回头再来 update |
p*****2 发帖数: 21240 | 7
好。
【在 d*******r 的大作中提到】 : 多谢二爷和老赵指点,我准备去当小白鼠了 : 如果这个用 Storm 的方案实行了,我回头再来 update
|
z****e 发帖数: 54598 | 8 我上一个帖子里面有一个链接
里面就有一个针对python的例子
你可以先看看,对你估计很有价值
我看storm就是用在real time的分析上
尤其适合streaming data
【在 d*******r 的大作中提到】 : 多谢二爷和老赵指点,我准备去当小白鼠了 : 如果这个用 Storm 的方案实行了,我回头再来 update
|
d*******r 发帖数: 3299 | 9 没找到呢... 麻烦能再贴一个么?
【在 z****e 的大作中提到】 : 我上一个帖子里面有一个链接 : 里面就有一个针对python的例子 : 你可以先看看,对你估计很有价值 : 我看storm就是用在real time的分析上 : 尤其适合streaming data
|
z****e 发帖数: 54598 | |
d*******r 发帖数: 3299 | |