z****e
发帖数: 54598 | 1 【 以下文字转载自 JobHunting 讨论区 】
发信人: dongfeiwww (在路上), 信区: JobHunting
标 题: Hadoop Spark 学习小结[2014版]
关键字: Hadoop,Big Data,Spark
发信站: BBS 未名空间站 (Sun Aug 17 12:28:34 2014, 美东)
基于很多朋友希望更新这个学习资料，我就尽力按我的积累补充，are you ready, 享
受技术饕餮大餐
#Hadoop
Hadoop社区依然发展迅速，2014年推出了2.3，2.4, 2.5 的社区版本，比如增强
Resource Manager HA,
YARN Rest API, ACL on HDFS...
http://hadoop.apache.org/releases.html
这个是Hadoop project member and committee, 里面好多来自Hortonworks，不过也有
不少国人加入了，
都是未来的希望啊。
http://hadoop.apache.org/who.html
# Spark
Spark今年大... 阅读全帖 |
|
o**********e
发帖数: 18403 | 2 【 以下文字转载自 JobHunting 讨论区 】
发信人: dongfeiwww (在路上), 信区: JobHunting
标 题: Hadoop Spark 学习小结[2014版]
关键字: Spark,Big Data,Hadoop
发信站: BBS 未名空间站 (Sun Aug 17 12:28:34 2014, 美东)
基于很多朋友希望更新这个学习资料，我就尽力按我的积累补充，are you ready, 享
受技术饕餮大餐
#Hadoop
Hadoop社区依然发展迅速，2014年推出了2.3，2.4, 2.5 的社区版本，比如增强
Resource Manager HA,
YARN Rest API, ACL on HDFS...
http://hadoop.apache.org/releases.html
根据我的观察，主要更新在Yarn，HDFS，而Mapreduce几乎停滞了，还有一些feature
属于安全，稳定可靠性一方面也是比较稳定了，但也可以说是瓶颈了。
http://hadoop.apache.org/who.html
这个是Hadoop projec... 阅读全帖 |
|
h*****7
发帖数: 6781 | 3 别怕，python是我最喜欢的了, 语法有C和matlab的影子，而且还有package去模仿R，
有各种ide和ipython去模仿各种环境
语言学多了，python就是小菜，试一试总能写的通。
最喜欢的一点，它没有那么多语法糖，code review不至于莫名其妙被人鄙视 |
|
|
|
|
w*****m
发帖数: 51 | 7 The Cloud Data Science Process: Live Webinar with Azure Data Scientists
https://azureinfo.microsoft.com/CO-Azure-WBNR-FY15-03March-
CloudDataScienceProcess_Registration.html?ls=Email&lsd=MSInternal
Tuesday, March 17th 2015
9:00AM-10:00AM PST
The Cloud Data Science Process (CDSP) demonstrates the end-to-end data
science process in the cloud, using the full spectrum of Azure technologies,
programming languages such as Python and R, and other tools. The end-to-end
process starts from raw data, and ... 阅读全帖 |
|
|
g**********l
发帖数: 214 | 9 请问一下大牛经验
我用excel and python 做了一个POC. excel to pass in parameters into python (
via xlwings) as the backend for computation (simulation).
now i just send the xls, pyc, and csv (underlying data) files to the
business users for POC.
现在要 implement, 给大概20人用。同时要求不大，最多5个人会同时用。
请问有什么折腾比较小的建议来implement.
(最简单的就是把这几个文件丢到network drive上， one copy only. 但同时用，
excel可能不太好用?)
所以想请教大家一下经验。(like maybe use ipython notebook as the user UI and
run a python webservice?)
thanks! |
|
g**********l
发帖数: 214 | 10 hm~~, flask 没用过，Google 了一下，好像折腾一点，能用。
但想问一下这个跟ipython notebook 比有啥优势吗？
谢谢 |
|
x***u
发帖数: 297 | 11 和 ipython notebook 比较呢？
[发表自未名空间手机版 - m.mitbbs.com] |
|
Z**0
发帖数: 1119 | 12 看起来是你的这个例子，在ipython里边安装的。
%matplotlib inline
估计作者安装好这个package，就顺手给例子了。 |
|
d***e
发帖数: 193 | 13 统计master，这几个月除了复习machine learning方面的东西，还自学了python甚至
ipython notebook，动手做了几个小project，简历应该没大问题，python，sql，R，
SAS，machine learning，predictive modeling这些关键词都有，好几个recruiter都
说简历看起来很好，只是有一年多的gap，但感觉很多人都还表示可以理解。
投了简历要么没回音，要么就是据信，有一两个面试，面了之后感觉他们其实招的不是
data scientist，就是data analyst，有的是公司只招一个data scientist让新建一个
组当光杆司令，我自己没有data scientist的经验，也想去个有了几个人的组，跟有经
验的多学习，跟人表达了这个意思之后，人家可能就觉得你能力不行。
如果对方是phd还是国人，喊人家Dr XX，说觉得你是phd懂的多，可以多像你学习，结
果人家可能会觉得是拍马屁。
真的有点灰心了，想要不干脆转投data analyst吧，多积攒点业界经验好了。
大家有什么建议吗？多谢了 |
|
t****d
发帖数: 3204 | 14 data scientist都是phd，你一个master首先就不够资格
统计master，这几个月除了复习machine learning方面的东西，还自学了python甚至
ipython notebook，动手做了几个小project，简历应该没........ |
|
d***e
发帖数: 193 | 15 统计master，这几个月除了复习machine learning方面的东西，还自学了python甚至
ipython notebook，动手做了几个小project，简历应该没大问题，python，sql，R，
SAS，machine learning，predictive modeling这些关键词都有，好几个recruiter都
说简历看起来很好，只是有一年多的gap，但感觉很多人都还表示可以理解。
投了简历要么没回音，要么就是据信，有一两个面试，面了之后感觉他们其实招的不是
data scientist，就是data analyst，有的是公司只招一个data scientist让新建一个
组当光杆司令，我自己没有data scientist的经验，也想去个有了几个人的组，跟有经
验的多学习，跟人表达了这个意思之后，人家可能就觉得你能力不行。
如果对方是phd还是国人，喊人家Dr XX，说觉得你是phd懂的多，可以多像你学习，结
果人家可能会觉得是拍马屁。
真的有点灰心了，想要不干脆转投data analyst吧，多积攒点业界经验好了。
大家有什么建议吗？多谢了 |
|
t****d
发帖数: 3204 | 16 data scientist都是phd，你一个master首先就不够资格
统计master，这几个月除了复习machine learning方面的东西，还自学了python甚至
ipython notebook，动手做了几个小project，简历应该没........ |
|
|
d****n
发帖数: 12461 | 18 这本书挺好的。
对于python初学，我们现在都用jupyter notebook了(就是ipython notebook)，这个对
于学习非常方便。 |
|
|
i*****f
发帖数: 578 | 20 握手握手！！！
ipython is a better python shell |
|
e*******e
发帖数: 1837 | 21 IPython is the first one I tried. It's very easy to use, but I also want a
side window showing current variables/modules, and a integrated editor in
addition to the shell that can be used to typing code, debugging. So it wasn
't quite what I need. |
|
|
i*****f
发帖数: 578 | 23 握手握手！！！
ipython is a better python shell |
|
e*******e
发帖数: 1837 | 24 IPython is the first one I tried. It's very easy to use, but I also want a
side window showing current variables/modules, and a integrated editor in
addition to the shell that can be used to typing code, debugging. So it wasn
't quite what I need. |
|
l********a
发帖数: 1154 | 25
windows下绝对推荐wing ide
linux下好几个选择,命令行用ipython替代IDLE
编辑器弄geany,配置下一键编译就行
你要是geek,vim+pydiction也行 |
|
l********a
发帖数: 1154 | 26
windows下绝对推荐wing ide
linux下好几个选择,命令行用ipython替代IDLE
编辑器弄geany,配置下一键编译就行
你要是geek,vim+pydiction也行 |
|
