由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - Clojure Storm 用在生产环境中如何?
相关主题
Spark会干掉Storm吗?今天跟公司confirm了,没有人用Scala
中国人应该学习Clojurenode来势凶猛,已经完胜Ruby了
living social is hiring cljure engineer这次node把python也给干了
Java is back以后Web就是Node的天下了
怎么这里这么多人学python我认为JVM上的语言,老大还是Java
让机器爽还是让程序员爽,这是个问题Python和perl都属于那种很难精通的语言
Clojure真给力呀zhaoce老师,求教如何转行搞java?
storm俨然是下一个冉冉升起的新星啊groovy整个就是一个better python
相关话题的讨论汇总
话题: storm话题: clojure话题: python话题: 生产话题: sports
进入Programming版参与讨论
1 (共1页)
d*******r
发帖数: 3299
1
Clojure Storm 用在生产环境中到底如何,简单可靠吗,坑多不多...?
我们组里讨论完,老板同意试用 Clojure Storm 来做做数据分析。
我呆在中部地区一个做Sports视频直播的小公司(农村人民特喜欢Sports, 我们还有不
少用户),公司从视频录制, 到上传到我们AWS的servers 上,再到最后分发 streaming
到 终端player,都是我们自己在写。
现在需要较快地分析大量从 终端player 软件上返回的各种信息, 比如直播效果和广告
的信息。
大家讨论说 hadoop2.0 是不是太慢太复杂,干脆去看看能用 Clojure Storm 不 --
其实我们组在这方面都是些菜菜,大家瞎折腾... :D
大牛们有在实际生产中用 Storm 相关的经验吗? 用这东西主要要注意哪些坑?还有,
我们都是些主用 Python 的菜菜,如果组里先不用 Clojure,只用 Python 能玩得动
Storm 不?
我们现在需求还有点模糊,等回头做了一阵可能再来请教大家。
p*****2
发帖数: 21240
2

streaming

很适合用Storm,Python写起来应该没有压力。hadoop2.0可以和storm结合来用。

【在 d*******r 的大作中提到】
: Clojure Storm 用在生产环境中到底如何,简单可靠吗,坑多不多...?
: 我们组里讨论完,老板同意试用 Clojure Storm 来做做数据分析。
: 我呆在中部地区一个做Sports视频直播的小公司(农村人民特喜欢Sports, 我们还有不
: 少用户),公司从视频录制, 到上传到我们AWS的servers 上,再到最后分发 streaming
: 到 终端player,都是我们自己在写。
: 现在需要较快地分析大量从 终端player 软件上返回的各种信息, 比如直播效果和广告
: 的信息。
: 大家讨论说 hadoop2.0 是不是太慢太复杂,干脆去看看能用 Clojure Storm 不 --
: 其实我们组在这方面都是些菜菜,大家瞎折腾... :D
: 大牛们有在实际生产中用 Storm 相关的经验吗? 用这东西主要要注意哪些坑?还有,

z****e
发帖数: 54598
3
流式数据啊,上storm几乎是绝配
现在框架应该都无所谓使用语言,只要接口定义出来
我看了下,定义的格式是apache thrift
所以开源的几乎都能用
Adapters that implement this protocol exist for Ruby, Python, Javascript,
Perl, and PHP.
http://storm-project.net/about/multi-language.html
但是这个storm还没有毕业,所以自己摸索的时候会稍微有点苦逼
第一个吃螃蟹,多少会有点苦逼,不过这点trade off,我相信你能克服的

streaming


【在 d*******r 的大作中提到】
: Clojure Storm 用在生产环境中到底如何,简单可靠吗,坑多不多...?
: 我们组里讨论完,老板同意试用 Clojure Storm 来做做数据分析。
: 我呆在中部地区一个做Sports视频直播的小公司(农村人民特喜欢Sports, 我们还有不
: 少用户),公司从视频录制, 到上传到我们AWS的servers 上,再到最后分发 streaming
: 到 终端player,都是我们自己在写。
: 现在需要较快地分析大量从 终端player 软件上返回的各种信息, 比如直播效果和广告
: 的信息。
: 大家讨论说 hadoop2.0 是不是太慢太复杂,干脆去看看能用 Clojure Storm 不 --
: 其实我们组在这方面都是些菜菜,大家瞎折腾... :D
: 大牛们有在实际生产中用 Storm 相关的经验吗? 用这东西主要要注意哪些坑?还有,

p*****2
发帖数: 21240
4

不过话说回来,storm还真的很容易上手,quality也还不错。

【在 z****e 的大作中提到】
: 流式数据啊,上storm几乎是绝配
: 现在框架应该都无所谓使用语言,只要接口定义出来
: 我看了下,定义的格式是apache thrift
: 所以开源的几乎都能用
: Adapters that implement this protocol exist for Ruby, Python, Javascript,
: Perl, and PHP.
: http://storm-project.net/about/multi-language.html
: 但是这个storm还没有毕业,所以自己摸索的时候会稍微有点苦逼
: 第一个吃螃蟹,多少会有点苦逼,不过这点trade off,我相信你能克服的
:

z****e
发帖数: 54598
5
只要有例子就不难

【在 p*****2 的大作中提到】
:
: 不过话说回来,storm还真的很容易上手,quality也还不错。

d*******r
发帖数: 3299
6
多谢二爷和老赵指点,我准备去当小白鼠了
如果这个用 Storm 的方案实行了,我回头再来 update
p*****2
发帖数: 21240
7

好。

【在 d*******r 的大作中提到】
: 多谢二爷和老赵指点,我准备去当小白鼠了
: 如果这个用 Storm 的方案实行了,我回头再来 update

z****e
发帖数: 54598
8
我上一个帖子里面有一个链接
里面就有一个针对python的例子
你可以先看看,对你估计很有价值
我看storm就是用在real time的分析上
尤其适合streaming data

【在 d*******r 的大作中提到】
: 多谢二爷和老赵指点,我准备去当小白鼠了
: 如果这个用 Storm 的方案实行了,我回头再来 update

d*******r
发帖数: 3299
9
没找到呢... 麻烦能再贴一个么?

【在 z****e 的大作中提到】
: 我上一个帖子里面有一个链接
: 里面就有一个针对python的例子
: 你可以先看看,对你估计很有价值
: 我看storm就是用在real time的分析上
: 尤其适合streaming data

z****e
发帖数: 54598
d*******r
发帖数: 3299
1 (共1页)
进入Programming版参与讨论
相关主题
groovy整个就是一个better python怎么这里这么多人学python
Scala这次又被比下去了让机器爽还是让程序员爽,这是个问题
看一个php+python程序员的悔恨之路Clojure真给力呀
不用jvm也没啥,问题在于你有其他替代品么?storm俨然是下一个冉冉升起的新星啊
Spark会干掉Storm吗?今天跟公司confirm了,没有人用Scala
中国人应该学习Clojurenode来势凶猛,已经完胜Ruby了
living social is hiring cljure engineer这次node把python也给干了
Java is back以后Web就是Node的天下了
相关话题的讨论汇总
话题: storm话题: clojure话题: python话题: 生产话题: sports