由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Statistics版 - The next data scientists
相关主题
我有什么比较好的可视化的Data 处理软件么?开源的,和power pivot类似。Cloudera Hadoop Data Analyst 培训视频 (转载)
在集成的cloudera hadoop中计算词频(wordcount)Hortonworks filed ipo
got data scientist offer, 以后要在本版多学习了湾区 Hot Big Data Startup 内推机会
学习Pig LatinIBM要买小红帽
【旧文重发】 Python and R study guidehadoop面试和学习总结
欢迎加入“机器学习实践” 俱乐部[cloudera面试] senior engineer
big data-大纽约地区聚会 (转载)[hortonworks面经] senior hadoop engineer
环境方面专业(主要是数据分析)找统计工作,求拍!这几家公司怎么样?
相关话题的讨论汇总
话题: sre话题: 数据话题: scientists话题: 公司话题: 技术
进入Statistics版参与讨论
1 (共1页)
n*********e
发帖数: 318
1
http://techcrunch.com/2016/03/02/are-site-reliability-engineers
这已经不是什么秘密,“数据科学家”是最热门的职称会之一。 DJ·帕蒂尔著名宣布
的数据科学家“ 21世纪最sexy的工作在继续加入白宫的” 第一首席数据科学家 ,美
国一旦处于少数领先的互联网公司,如LinkedIn和PayPal内部角色,数据科学至今成长
为一个全球性的现象,在许多行业影响各种规模的组织。
最近,巴齐新的职位已经从同一集团的公司出现了:该网站可靠性工程师,或SRE的。
事件将按照快速增长的数据科学家在他们面前相同的路? 在我们深入这个问题
,让我们考虑已导致建立网站可靠性工程的背景。
新的IT架构
在过去的15年中,最大的互联网性质已经悄然引领IT技术的一次革命。 原因很简单:
传统的企业数据中心的技术根本就不能有效地扩展到了需要运行像谷歌或Facebook全球
服务水平。 相反,这些公司不得不在技术堆栈的所有层,以创新,从硬件到网络应用
程序。
在许多情况下,所产生的积木已经发布为开源软件包,或有启发第三方创建他们自己的
版本。 现在,企业从初创到最大的财富500强企业都在采用这些技术为自己的目的。
这种现象的例子数不胜数。 要挑几个:
Containers :谷歌的广泛采用内部OS轻量级容器的快速增长,带动公司在这一现象
中的资金中心,以$1.62亿,并促使全行业的合作,如创建开放容器项目 。
Cluster management : 谷歌的内部博格项目同样鼓舞周围的Kubernetes和Mesos集
群资源管理框架,两个快速增长的开源社区,从而为类似的努力云计算 。
Analytics.谷歌的数据处理创新激发雅虎的早期投资到Hadoop的,这又催生了现代
的大数据技术和商业的球员 ,包括Cloudera的和Hortonworks的整个生态系统。
Microservices亚马逊和Netflix是早期的创新者和传道者在设计应用软件作为套件
的实践中独立部署的服务 ,这也是在产品等形式被广泛采用于工业的做法Lightbend的
反应平台 (以前Typsafe )。
这些技术的一个统一的主题是更高的效率和更低的成本在更大的规模。 但源代码将不
会解决孤立这些挑战。 它必须由新的管理技术,方法和工具的补充。 换句话说,需要
考虑人员和流程不亚于它的软件。
网站可靠性工程的崛起(SRE)
The rise of site reliability engineering (SRE)
有关人员和流程前端的灵感,我们同样可以期待网络规模的互联网公司。 许多早期的
创新都围绕网站可靠性工程的概念上涨。
本特雷诺形容SRE为“当一个软件工程师的任务是曾经被认为是所谓的业务会发生什么
。”在过去的十年中,这特雷诺在谷歌启动了队伍不断壮大从生产工程师超过1000的
SRE了一把。
对于IT团队到是在进行变化主动,全面地反应是很重要的。
此外,SRE的概念已经被其他主要互联网公司,包括接受的Dropbox , Airbnb,
Netflix公司等等。 工作列表网站的确现在列出数百SRE位置 。 该SRE社会现在甚至拥
有自己的会议,被称为SREcon。
安德鲁威多森,在谷歌的SRE, 涉及的学科有竞争力的汽车运动:“我们的工作就像是
世界上最激烈的坑组的一部分。 我们更改赛车的轮胎,因为它是怎么回事百英里每小
时“。
正如任何竞争赛车迷都知道,更快的发动机和底盘没有多大的意义没有一个世界级的维
修人员,配备合适的工具,技术和战略,以保持它的领先地位。 在一级方程式赛车,
赢得基于直觉比赛的日子逐渐减弱。 今天的获奖团队由实时流数据分析
这一切都很好由大型互联网公司中得到启发,但如何整合SRE纪律到现有的企业IT团队?
就像像Cloudera的公司打包早期的“部落知识”围绕数据工程,把它变成一个大众的IT
受众访问的交钥匙产品,新一批公司是包装SRE的原则,为广大人民群众。 最近推出的
卢舍那OPS就是一个例子。
卢舍那OPS为管理员了解其数据中心和应用程序的内部运作。 正如彭博终端使经纪人监
控和跨市场调查活动,卢舍那OPS使用大数据技术,具有数据可视化相结合,引导IT运
营商的任何问题的根源在其复杂的IT基础设施。 公司采用卢舍那OPS来驱动他们的IT运
营获得该网站可靠性工程师纪律的能力,没有陡峭的学习曲线。
一种激励的例子
考虑一个现代的多渠道电子商务应用的例子。 一个典型的现代企业制度可能会被包含
在斯卡拉实现核心业务逻辑,连接到传统的现成的,货架Java的订单管理系统,由多个
交易数据库(比如两个MongoDB的和Oracle),用Node.js的API支持门前层。
这个难题的一些作品可以在内部部署的数据中心进行部署,而其他组件住在像亚马逊
Web服务的公共云提供商。
会有第三方服务的依赖,以及网络端点的组合和Android原生移动应用和iOS通过API网
关与核心系统进行交互。
相关事件将按照快速增长的数据科学家在他们面前相同的路径?
现在,考虑一个典型的关键业务问题,可能突然出现:请求超时由移动应用用户驾驶的
购物车放弃。 它需要多长时间来通知开始与问题? 一旦问题被确认后,给予交互技术
,如一个复杂的网络,哪里会有人甚至开始寻找潜在的根本原因?
它是一个网络问题,数据库性能问题,或在最近的版本中推出一个应用程序错误?
用SRE启发的方法,系统日志和遥测被连续收集,在实时中,从系统的所有组成部分,
并存储在中央数据存储。 机器学习算法找出异常事件,并将其表面以IT人员的注意。
结合数据可视化丰富的Web界面引导管理员最相关的日志事件,凸显整个IT基础架构的
所有元素,无论他们居住观察其他同时代的行为变化。
新的堆栈已经渗入IT基础设施,以进行性的开发人员和IT运营商基层驱动。 鉴于此,
对于IT团队到是在进行变化主动,全面地应对是非常重要的。
1 (共1页)
进入Statistics版参与讨论
相关主题
这几家公司怎么样?【旧文重发】 Python and R study guide
hortonworks这个公司如何 (转载)欢迎加入“机器学习实践” 俱乐部
忙里偷闲,列举了各首字母脑子里第一反应的高科技公司big data-大纽约地区聚会 (转载)
讨论一下还没上市的创业公司环境方面专业(主要是数据分析)找统计工作,求拍!
我有什么比较好的可视化的Data 处理软件么?开源的,和power pivot类似。Cloudera Hadoop Data Analyst 培训视频 (转载)
在集成的cloudera hadoop中计算词频(wordcount)Hortonworks filed ipo
got data scientist offer, 以后要在本版多学习了湾区 Hot Big Data Startup 内推机会
学习Pig LatinIBM要买小红帽
相关话题的讨论汇总
话题: sre话题: 数据话题: scientists话题: 公司话题: 技术