由买买提看人间百态

topics

全部话题 - 话题: hdinsight
1 (共1页)
x****n
发帖数: 23
1
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
我来说几句以正视听。
要说微软的执行力还是不错的。原来HDInsight和Cosmos在两个大组里各自为政,前年
reorg两组直接合并成big data组,由数据库和大数据领域的大牛牵头:Raghu
Ramakrishnan。他手下两部分HDInsight和Cosmos,他一直在致力于整合这两部分把大
数据做成云端很好用的服务,所以现在两组不存在竞争关系,更多的是合作。比如
Cosmos后
台现在已经和Yarn整合。如果你看好大数据和云计算,也想来微软,这两个组都是不错
的选择。
HDInsight是要把Hadoop打包部署到Azure上,但是这不是工作的全部。你会有机会熟悉
开源项目,开发新的feature并提交到community,与Hortonworks或者Cloudera一起开
发某个feature,成为某一个领域的专家比如Storm或者Spark,了解客户为什么或者如
何用big data technologies并解决他们的实际问题。其实你就算去Hortonworks或者
Cloudera或者Databricks,也不过是做这些事情,customer service的工作... 阅读全帖
s*********p
发帖数: 130
2
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
你当时是这个HDInsight 组面的吗?我当时是SQL DS 组面的,而且hiring manager 也
是那个组的,但recruiter 告诉我是data platform 大组。
我其实也想去HDInsight 组,因为感觉有机会接触开源社区的主流技术,但也有你这样
的担心,害怕他们主要不搞 Spark 本身的开发,而是在上面加了一层,偏部署的工作
k***e
发帖数: 1931
3
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
这个组就是拿外面第三方公司做好的Hadoop发行,部署到Windows Server和Azure上,
不涉及到Hadoop和Spark的核心开发,看起来很高大上,但是就是做个外包装、部署之
类的,并不是招过去做Hadoop核心开发并反哺开源社区——至少去年秋还是这样,他们
的代码完整编译一下只要一二十分钟(可见代码量没多少)。而且这个组在微软内部的
地位很微妙,一方面微软自己想推自己的Cosmos,但是另一方面微软又想卖Azure SaaS
,不得不把Hadoop弄到Azure上,因为外面都在用这个,如果Azure上只推自家的Cosmos
,是不会有人有兴趣花钱订阅然后还要把HQL重写成Scope的。于是HDInsight组说微软
在大数据这块的盈利主要靠他们Cosmos离成熟还早的很(部分事实)我们组前景很好;
Cosmos说我们才是微软big data platform的亲儿子我们才是王道HDInsight活不长。这
两个组都在17号楼,办公区域都是跟网吧似的没有独立办公室连Cubic都不是,眼睛斜
一下就能看到隔壁屏幕知道隔壁在干什么,看你喜不喜欢这种办公环境也很重要。
Azur... 阅读全帖
m*********t
发帖数: 78
4
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
谢谢前辈回复 !
“微软是个学东西的地方,亚麻是个练习的地方” 好微妙 : ) 我可否理解为微软
更technique-driven一些,节奏稍慢一些;而amazon比较强调快节奏,开发、release
、占领市场 ?
p.s. 那位牛面试官也是隔壁组的。。。不是HDInsight的。。。
m*********t
发帖数: 78
5
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
多谢前辈回复 ! 其实我觉得这种机会也是可遇不可求,我待过的公司senior都忙得
要死。。。
隔壁大牛和这个HDInsight属于同一个大组,会在一起有一些合作

..
z*****y
发帖数: 330
6
来自主题: JobHunting版 - 求教微软offer选择
请教一下大家怎么选择,软软里面的两个组,组做的东西都是telemetry相关,加然后
分析之类的:
一个是big data service(hdinsight),这个组还做management portal,telemetry的
结果会显示给内部和外部用户。相比来说这个组更大些。好处是能接触比较多东西,ui
,service,api,telemtry,data analysis, machine
learning。product来说hadoop也比较知名,虽然hdinsight的用户可能不多。这个组是
open space,没有office。组里印度人比较多,manager是印度人,不过看起来还nice
;manager感觉工作比较疯狂,一天到晚在线,约的面谈时间不是很晚就是很早(虽然
也算时间可以改)。
另外一个组azure big compute(azure batch),这个组相对较小,基本刚开始做
telemetry,分析结果只是内部用。好处是刚起步。需要自己给product加telemetry,
所以有机会了解product code。组里的人比较balanced,各个国家的... 阅读全帖
z*****y
发帖数: 330
7
来自主题: Working版 - 请教软软offer选择
请教一下大家怎么选择,软软里面的两个组,组做的东西都是telemetry相关,加然后
分析之类的:
一个是big data service(hdinsight),这个组还做management portal,telemetry的
结果会显示给内部和外部用户。相比来说这个组更大些。好处是能接触比较多东西,ui
,service,api,telemtry,data analysis, machine
learning。product来说hadoop也比较知名,虽然hdinsight的用户可能不多。这个组是
open space,没有office。组里印度人比较多,manager是印度人,不过看起来还nice
;manager感觉工作比较疯狂,一天到晚在线,约的面谈时间不是很晚就是很早(虽然
也算时间可以改)。
另外一个组azure big compute(azure batch),这个组相对较小,基本刚开始做
telemetry,分析结果只是内部用。好处是刚起步。需要自己给product加telemetry,
所以有机会了解product code。组里的人比较balanced,各个国家的... 阅读全帖
o**********e
发帖数: 18403
8
来自主题: SanFrancisco版 - 求教微软offer选择 (转载)
【 以下文字转载自 JobHunting 讨论区 】
发信人: XXXX 信区: JobHunting
标 题: 求教微软offer选择
发信站: BBS 未名空间站 (Sat Feb 28 11:17:03 2015, 美东)
请教一下大家怎么选择,软软里面的两个组,组做的东西都是telemetry相关,加然后
分析之类的:
一个是big data service(hdinsight),这个组还做management portal,telemetry的
结果会显示给内部和外部用户。相比来说这个组更大些。好处是能接触比较多东西,ui
,service,api,telemtry,data analysis, machine
learning。product来说hadoop也比较知名,虽然hdinsight的用户可能不多。这个组是
open space,没有office。组里印度人比较多,manager是印度人,不过看起来还nice
;manager感觉工作比较疯狂,一天到晚在线,约的面谈时间不是很晚就是很早(虽然
也算时间可以改)。
另外一个组azure big compute(az... 阅读全帖
o**********e
发帖数: 18403
9
来自主题: Seattle版 - 求教微软offer选择 (转载)
【 以下文字转载自 SanFrancisco 讨论区 】
发信人: onetiemyshoe (onetiemyshoe), 信区: SanFrancisco
标 题: 求教微软offer选择 (转载)
发信站: BBS 未名空间站 (Mon Mar 2 10:53:20 2015, 美东)
发信人: XXXX 信区: JobHunting
标 题: 求教微软offer选择
发信站: BBS 未名空间站 (Sat Feb 28 11:17:03 2015, 美东)
请教一下大家怎么选择,软软里面的两个组,组做的东西都是telemetry相关,加然后
分析之类的:
一个是big data service(hdinsight),这个组还做management portal,telemetry的
结果会显示给内部和外部用户。相比来说这个组更大些。好处是能接触比较多东西,ui
,service,api,telemtry,data analysis, machine
learning。product来说hadoop也比较知名,虽然hdinsight的用户可能不多。这个组是
open sp... 阅读全帖
a****1
发帖数: 74
10
We are looking for Java dev with big data experience. The compensation will
very competitive.
Description
Big Data Cloud Staff Engineer (open from entry level to senior level)
Location: Bellevue, WA (R&D)
Responsibilities:
This position will work closely with other members of the team, he/she will
be responsible for:
· Design and implement the big data cloud service and ecosystem that are
secure and reliable at large scale.
· Understand the challenges of big data service, cloud monitoring, cloud... 阅读全帖
m*********t
发帖数: 78
11
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
小弟最近侥幸拿了微软offer,帖子在 http://www.mitbbs.com/article_t/JobHunting/33154035.html
上周和hiring manager聊,这个team大概是负责为微软azure提供类似于EMR的各种
cluster,包括在azure上部署hadoop,spark,storm,etc., 以及定制一些feature。
总之负责一切azure上的开源社区的大数据技术。 hiring manager谈到有机会深入
一个open source project,开发一些新feature,也就是打造微软内部的版本; 似乎
有点类似于hotonworks,cloudera做的事情(没拿到这两家面试,sigh... )。 面试的
时候对team的印象很好,虽然大部分印度人,但技术水平很高,有好几个都是这些项目
的贡献者。
我自己对spark,storm非常感兴趣,不过这个组还是有些看不清。不太清楚会不会变成
以部署和维护为主的偏production engineer的工作,毕竟需要定制的feature是少数。
此外,在Microsoft... 阅读全帖
h***t
发帖数: 2540
12
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
MS的Hadoop, Spark就是个joke
m*********t
发帖数: 78
13
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
前辈能展开说说吗 ?
c***z
发帖数: 6348
14
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
在我隔壁组
你的第一优先考虑是什么?
m*********t
发帖数: 78
15
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
幸会 ! 前辈请指点 ! 这儿没有比你更有发言权的人了 : )
我最希望的能参与spark的开发,并借由azure这个平台,把开发的feature提供给外部
用户。
希望集中在开发工作上而非运维。
此外我面试官里有很厉害的人,Harvard的PhD,以前是大学教授。您肯定知道 : )
我想跟他一起工作。
其他都不太重要。
谢谢 !
c***z
发帖数: 6348
16
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
我还真没什么发言权,就是隔壁而已,没有用过他们的东西,azure的问题就是大家都
做开发不做运维:p
anyway,你说了想和偶像在一起,其他的不重要,那就好办了
还有微软是个学东西的地方,亚麻是个练习的地方,应该轮着来,学而时习之
来了一起吃饭吧
c***z
发帖数: 6348
17
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
当然,你要和他们确认一下你会参与spark开发
就算这样,也没有人可以打包票
面试时说让你坐xxx,来了后让你坐yyy的事情多了去了
这也是马工地位低的体现之一
m*********t
发帖数: 78
18
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
这。。。。。。 那我写封邮件再和hiring manager确认一下。。。。。 上周电话里
她倒是说没问题。。
多谢提醒 !
s*********p
发帖数: 130
19
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
大牛能指点一下隔壁16楼的SQL DS 组咋样?氛围如何?能不能有机会做新的东西?有
机会学到分布式系统的东西?
大牛如果不方便说可以给我私信
c***z
发帖数: 6348
20
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
不是什么大牛而且不熟悉这两个组,诚惶诚恐,生怕误导大家了
这样的,个人感觉微软的文化是要 deliver,完了就不怎么care了
要做东西,要impact在哪里都是很难的,特别是你的上下游都管杀不管埋的,你就自求
多福吧
要学东西,会容易点,因为大家都要visibility,要到处说,而且很多senior很闲....
..
至于隔壁大牛,感觉有点像隔壁老王,不如直接问大牛还招不招人
e********2
发帖数: 495
21
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
还是像chaoz那样搞Data Science有趣,当用户多爽。而且经验可重复利用。
A********d
发帖数: 558
22
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
肯定是在上面加一层呀,spark本身是cloudera在搞,想去微软做热门的open source就不
要想了,凡是提到Hadoop, spark,storm这些绝对是忽悠你进来,你进去后就知道根本
不是你想的那样了。
上面那个微软内部的人说的其实很精妙:
亚麻是练习:练习的都是比较流行的技术,且做一些新的东西。
微软是学习:学习使用微软内部开发工具及环境,就是C# .Net之流。
s*********p
发帖数: 130
23
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
好吧 前辈请指示data platform 下面有哪些组能去的?我指对新人来说能学到东西,
有机会做点新的项目,技术和外面还算接轨的?并且组里氛围不错,work-life
balance 还行的?
A********d
发帖数: 558
24
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
技术和外面接轨的话,我觉得你找找java, python之类开发环境的组吧,找找运用很多
open source的组。千万尽量避开使用微软的.NET, Visual Studio, C++的话能不用就
不用,看看能不能用go替代。
微软的好处是比较闲,可以有大量时间刷题跳去FLGUAP之类,坏处是待越久技术和外面
的世界就越远,折损你的职业发展。
s*********p
发帖数: 130
25
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
大牛请明示哪些组用Java Python 已经开源技术?尤其是在azure 以及data platform
下面。我也想找这样的组。。无奈还没入职,资源不对称
l***4
发帖数: 1788
26
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
微软应该没有

platform
r*****n
发帖数: 35
27
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
不知道 最好别误导别人, cloudera 只是做spark distribution 而已

就不
r*****n
发帖数: 35
28
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
有过一点接触, 不知道是不是你要去的组, 他们应该主要做spark在windows上的包装
, 我想他们应该还是鼓励贡献开源社区的, 也有一些小patch, 但是员工有没有能力
贡献太多是另外一个问题。
而且, 到目前为止,所有spark的主要feature都是data bricks在drive的,一方面其
他公司对这个project的影响力都太小, 另一方面data bricks在spark上的talent也确
实是比其他公司都好很多。

就不
f********a
发帖数: 367
29
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
allicehead 和swtijser应该一起去开个room。。。两个不知道怎么进Google的傻逼
c***z
发帖数: 6348
30
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
re this
I actually never used their products and can only speak for MS generally
A********d
发帖数: 558
31
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
又哪里踩到你尾巴了?我们是傻逼在谷歌,你连谷歌都进不了,是不是连傻逼都不如。
c*****e
发帖数: 210
32
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
不知道为啥你spark hadoop什么的有这么大兴趣?受这个版的风气影响吗?我从来没有
被任何公司面过这些东西。
个人感觉这些就是个工具而已,没什么高深的,用的时候看看文档就行。学好C#,比学
会这些东西有用多了。想去startup工作(包括uber这样的顶级startup),与其学这些
扯淡的东西,还不如学通ruby on rails或者nodejs有用。
对于微软,我的感受如下:
1)里边的人技术不错,大牛很多。你能学不少东西,虽然这些知识和硅谷的公司不太
兼容,但设计思想上还是有帮助的。
2)微软的infrastructure比外面的公司落后,做dev ops非常痛苦。
3)pay的其实还ok。干的好钱也不少。很多人抱怨微软工资低,但是这些人要是离开了
微软,估计只能拿更少的钱。
s*********p
发帖数: 130
33
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
大牛真是火眼精金啊,一语道破问题的本质!大牛能点评一下16楼的 SQL DS 组吗?
x*******i
发帖数: 1791
34
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
42楼 cloud infrastructure operation team怎么样?infrastructure planning.
k***e
发帖数: 1931
35
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
听上去是operation team?个人认为带Operation的都不要去,做的都是运维之类的杂
活,做的都是deployment、automation什么的,做个几年把一堆内部powershell脚本、
内部工具octopus什么玩的贼拉熟有什么用?外面公司又不用。另外oncall什么的也是
痛苦,半夜出故障了第一个被弄起来的就是operation team,解决不了的再发incident
喊engineer起来搞。
另外搞infrastucture什么的也要慎重,讲得好听就是我们很关键,大家的东西都建在
我们的成果之上,讲得不好听就是visibility不高,做的东西不是product features,
是幕后英雄,论功行赏的时候吃亏,出了故障的时候倒是少不了一份责任。
x*******i
发帖数: 1791
36
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
恩恩。多谢。koote.
n*********y
发帖数: 41
37
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
感觉前辈的很多点评都很到位啊,可否点评一下微软Bing这个大组整体怎么样呢

incident
k***e
发帖数: 1931
38
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
谈不上前辈,只是个人一点想法。Bing我不太了解,一方面Bing太大了,另一方面我没
在Bing干过,具体好不好得看去哪个组,但是总体感觉和朋友反馈都比较值得去,一是
国人比例高,二是我看我以前几个同事去了BING后promotion都比较快。
n*********y
发帖数: 41
39
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
i*****d
发帖数: 178
40
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
业界有几个用hdInsigt的,除非是软软在开出一个基于hadoop的产品,而且被open
source业界所认可,加应用。
m*********t
发帖数: 78
41
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
是的。我当时的面试官都是这个组的。私信你了 : ) thanks !
m*********t
发帖数: 78
42
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
谢回复 ! 可我觉得mapR,hotonworks,cloudera也是做类似的事情吧,hadoop,
spark distribution 加一些feature。

就不
m*********t
发帖数: 78
43
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
谢回复! 前辈说得对,我问hiring manager给的答案也是这样,主要做spark,hadoop
在azure上的部署,同时也会有机会开发一些自己的feature -- 不一定是spark的主要
feature,而可能是在spark之上的一些框架。比如我知道湾区有某大公司在spark之上
开发有自己的图计算框架。 不过他们现在只有两三个人在做spark而已,没有spark
contributor。
m*********t
发帖数: 78
44
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
前辈对微软的点评很中肯,我了解到的也是这样 : ) 对我这样的新人来讲微软也是
一流的公司。 我对spark兴趣来源于几年前它刚出来的时候,那时我正好在学习分布
式系统、学习scala。 工具本身看起来不难,可是自己想要build一个类似的东西,甚
至提交一些小feature,也有无数的东西需要学习。我对这样的工作很感兴趣。
m*********t
发帖数: 78
45
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
koote前辈和楼下的xishan前辈必是内部人士,行情解释得真通透,谢谢 !
我去面试时已经看到了,跟amazon的办公区一样 : ) 我还在想,说好的独立办公室
呢。
我了解的情况也跟你说的一样,不过hiring manager告诉我,他们还是非常鼓励反哺社
区的,而且他也透露了他们正在做的两个project,不是hadoop、spark的核心feature
,是用于和这些开源产品结合的支撑框架 (比如类似于tachyon这样的)。虽然不涉及到
spark核心开发,还是蛮有趣的。
不知是不是基本避不开C# 和 .net 呢 ?

SaaS
Cosmos
m*********t
发帖数: 78
46
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
xishan前辈的观点我最认同,非常感谢 !! 前辈是在big data team吗 ?
对据hiring manager的介绍,他们确实有在做spark之上的框架,而且他说也会用java
和linux。 并不涉及spark的核心,而是类似于tachyon这类的项目。 不过不知会不会
工作的大部分都是deploy之类的operational task呢 ?

发帖数: 1
47
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
想借問一下Azure Active Directory組怎麼樣? 有在裡面的前輩嗎?
s*********p
发帖数: 130
48
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
借楼求问 SQL server 组
x****n
发帖数: 23
49
来自主题: JobHunting版 - 有前辈了解微软Azure HDInsight team吗
做cloud的哪里有不用deploy和oncall的工作呢?如果你去的是spark的组,应该没有多
少deployment的任务,你应该主要是在Linux下用scala和python,我想不会有c#的东西
。但是你自己的feature你也要负责deployment和维护,用户出问题还会找到你。在
cloud时代,没有螺丝钉一样的分工,每个人都是独当一面的角色:full stack
engineer + customer service engineer.

java
a****1
发帖数: 74
50
We are looking for Java dev with big data experience. The compensation will
very competitive.
Description
Big Data Cloud Staff Engineer (open from entry level to senior level)
Location: Bellevue, WA (R&D)
Responsibilities:
This position will work closely with other members of the team, he/she will
be responsible for:
· Design and implement the big data cloud service and ecosystem that are
secure and reliable at large scale.
· Understand the challenges of big data service, cloud monitoring, cloud... 阅读全帖
1 (共1页)