由买买提看人间百态

topics

全部话题 - 话题: 分布式系统
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)

发帖数: 1
1
来自主题: JobHunting版 - 阿里巴巴杭州技术质量部招聘
部门: 业务平台事业部-技术质量
工作地点: 杭州市
目标招聘人数: 7人
职位类别: 技术类-质量保证
生效日期:2016-03-04
结束日期:2016-07-22
工作年限:三年以上
学历要求:本科
期望层级:P6
岗位描述:
业务平台事业部,是阿里巴巴电子商务操作系统(EOS)的基石,是阿里无线开放、移动
开放的主阵地,是阿里无线生态系统的唯一入口。为阿里电商系统提供可靠、高效、易
扩展的基础平台服务,肩负构建阿里无线体系的重任,手握电商云、百川云,坐拥交易
、商品、会员、店铺、营销、推荐系统、消息中间件、大数据分析等核心平台,拥有海
量的复杂业务场景和创新机会。沉淀技术,输出服务,引领变革,支撑未来!
1. 参与互联网软件产品测试的全流程,包括参与需求分析、设计评审,制定测试计划
,设计和执行测试用例,进行缺陷跟踪和软件质量分析等;
2. 带领其他测试开发工程师执行项目测试,包括制定测试计划,分配测试资源,构建
测试环境,执行集成测试,回归测试等;
3. 保证被测系统的质量,并通过测试流程和方法创新,努力提升研发的质量和效率。
岗位要求:
1. 工科、计算机或其他相关专业本科... 阅读全帖
l****h
发帖数: 24
2
来自主题: JobMarket版 - 华泰证券衍生品人才招聘
华泰证券金融创新部由于业务发展需要,现在上海招聘全职多名员工,开发高性能量化
交易系统和统计套利策略。团队成员将会学到量化投资的相关知识和程序化交易的核心
内容,参与自动化套利与做市交易的各个环节,有机会成长为前沿的衍生产品交易员。
要求:
系统开发岗:
(1)专业:博士/硕士毕业生;专业为计算机、电子工程、应用数学、理论物理、
概率统计学等与计算机软件、数量分析高度相关学科。
(2)精通C++(同时熟悉Java更好), 面向对象编程(OOP)和设计模式(Design
Pattern)
精通多线程(multi-thread)和实时(real-time)系统编程,内存管理和
数据结构;
精通事件驱动架构(Event-Driven Architecture), 分布式系统(
distributed system)和messaging platform;
熟练掌握网络通讯协议(UDP、 TCP)和socket 编程。
熟悉Python、Shell Script;
广泛Linux、U... 阅读全帖
l****h
发帖数: 24
3
来自主题: Computation版 - 华泰证券衍生品人才招聘 (转载)
【 以下文字转载自 JobMarket 讨论区 】
发信人: lishsh (shsh), 信区: JobMarket
标 题: 华泰证券衍生品人才招聘
发信站: BBS 未名空间站 (Fri Jul 3 02:44:02 2015, 美东)
华泰证券金融创新部由于业务发展需要,现在上海招聘全职多名员工,开发高性能量化
交易系统和统计套利策略。团队成员将会学到量化投资的相关知识和程序化交易的核心
内容,参与自动化套利与做市交易的各个环节,有机会成长为前沿的衍生产品交易员。
要求:
系统开发岗:
(1)专业:博士/硕士毕业生;专业为计算机、电子工程、应用数学、理论物理、
概率统计学等与计算机软件、数量分析高度相关学科。
(2)精通C++(同时熟悉Java更好), 面向对象编程(OOP)和设计模式(Design
Pattern)
精通多线程(multi-thread)和实时(real-time)系统编程,内存管理和
数据结构;
精通事件驱动架构(Event-Driven Architecture), 分布式系统(
distribute... 阅读全帖
l****h
发帖数: 24
4
【 以下文字转载自 JobMarket 讨论区 】
发信人: lishsh (shsh), 信区: JobMarket
标 题: 华泰证券衍生品人才招聘
发信站: BBS 未名空间站 (Fri Jul 3 02:44:02 2015, 美东)
华泰证券金融创新部由于业务发展需要,现在上海招聘全职多名员工,开发高性能量化
交易系统和统计套利策略。团队成员将会学到量化投资的相关知识和程序化交易的核心
内容,参与自动化套利与做市交易的各个环节,有机会成长为前沿的衍生产品交易员。
要求:
系统开发岗:
(1)专业:博士/硕士毕业生;专业为计算机、电子工程、应用数学、理论物理、
概率统计学等与计算机软件、数量分析高度相关学科。
(2)精通C++(同时熟悉Java更好), 面向对象编程(OOP)和设计模式(Design
Pattern)
精通多线程(multi-thread)和实时(real-time)系统编程,内存管理和
数据结构;
精通事件驱动架构(Event-Driven Architecture), 分布式系统(
distribute... 阅读全帖
s********e
发帖数: 13723
5
我国自主知识产权DCS系统成功应用于
青岛石化大型炼油联合主装置
日前,由和利时公司开发的HOLLiAS MACS分布式控制系统(DCS)成功应用于中国石化
青岛石油化工有限责任公司加工高酸原油适应性改造项目,这是我国自主知识产权的
DCS系统在大型石化炼油联合主装置项目应用上取得的又一重大突破。
该项目的DCS系统控制了六套关键重大设备,包括:500万吨/年常减压装置、1.5万标方
/小时制氢装置、160万吨/年延迟焦化装置、100万吨/年汽柴油加氢精制装置、60万吨/
年催化汽油选择性加氢脱硫装置(含锅炉除氧水工段)和2万吨/年硫磺回收及溶剂再生
装置等。本项目建设周期短,通讯网络结构复杂,各装置控制系统既可相对独立进行维
护和管理,在整体上又可成为统一的控制系统,全部的监视和控制均可在中央控制室内
完成。DCS系统成功投用3个月来,运行稳定可靠,得到了用户的充分认可。此项目的成
功实施,充分体现了中国石化集团在大力推进石化装置国产化的道路上又迈出了非常坚
实的一步。(工业和信息化部装备工业司)
f******h
发帖数: 45
6
也找工作了一段时间了,从版上学了很多,上周G家面完了,求个bless。
之前的一些都挂了,还在继续找其他的。等定下来之后一定发面经回报本版。
谢谢大家啦!!
1. http://www.mitbbs.com/article_t/JobHunting/32005597.html
1) Implement a simple calculator (+,-,*,/);
2) Implement "+1" for a large integer;
3) How to match Ads to users;
4) How to extract useful information from a forum webpage (list all
kinds of useful signal you can think of)
5) How to detect the duplicate HTML pages (large scale);
6) Find all the paths between two places on Google map;
7)... 阅读全帖
r*****3
发帖数: 143
7
中文名: 软件工程
原名: Software Engineering
作者: Sommerville
Rost
Glass
Watkins
Bernstein
Dustin
图书分类: 软件
资源格式: PDF
版本: 第9版
出版社: Addison-Wesley
书号: 0-13-703515-2
发行时间: 2011年
地区: 美国
语言: 英文
简介:
内容简介:
本书特点:
•涵盖了对所有开发过程都很基础的重要主题,包括软件工程理论与实践的
最新进展。
•将第8版中的八篇内容重构为四个部分,使教师讲授软件工程课程更加容
易。
•每一章都有30%~40%的更新,增加了敏捷软件开发和嵌入式系统等新章,
补充了模型驱动工程、开源开发、测试驱动开发、可依赖系统体系结构、静态分析和模
型检查、cots复用、服务作为软件以及敏捷规划等新内容。
•着重讨论了开发可靠的分布式系统的相关主题以及敏捷方法和软件复用。
•反映敏捷方法先进性的同时,不忘强调传统的计划驱动软件工程的作用,
阐述了两者结合构建优秀软件系统的重要性。
̶... 阅读全帖
a********e
发帖数: 16
8
来自主题: CS版 - 算法大师
四.艾兹赫尔·W·戴克斯彻(Edsger W. Dijkstra)。
1)理论物理学家转入计算机编程。
2)1956年左右,思考出最短路径算法,修改后为最短子分支树算法,发表于《数字数学
》。当时数学界几乎全在研究连续统和无穷大问题,无人关注。
3)针对资源共用问题,提出“互斥”方法,基于铁路信号系统的P(荷兰语“通过”)
、V(荷兰语“释放”)操作。
4)“哲学家的晚餐”,体现死锁问题。之后几年最成熟计算机系统MULTIX却并没有考虑
死锁问题。
5)前往美国布劳斯公司,推行编程的可验证性,提出“GOTO语句是有害的”,却阻碍了
一些程序员所喜欢的程序不确定性。
6)《程序与证明的形式开发》,拉近数学与计算机科学的距离。
7)对人工智能说不。
五.迈克尔·O·拉宾(Michael Oser Rabin)。
1)德国犹太人拉比家族(观察思考产生智慧的阶层)。
2)能够猜想的计算机:考虑有限状态机,证明非确定性有限状态机与确定性有限状态机
之间的转换关系。
2+)图灵于1935年定义“计算”的逻辑基础,设计图灵机。借助哥德尔不可判定原理,
设计停机问题,挑战希尔伯特判定性问题。
3)对计... 阅读全帖
m***r
发帖数: 359
9
来自主题: DataSciences版 - 机器学习日报2015年2月楼
机器学习日报 2015-02-13
@好东西传送门 出品, 过刊见
http://ml.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅机器学习日报
更好看的HTML版
http://ml.memect.com/archive/2015-02-13/short.html
1) 【世纪佳缘用户推荐系统的发展历史】 by @breezedeus
关键词:算法, 应用, 推荐系统
本周终于把年终总结给写完了,技术篇( [1] )主要介绍了佳缘用户推荐系统的发展
历史,反映了我们对这个推荐问题不断思考和理解的过程。里面也写了一些我这几年做
推荐的感想。另外,世纪佳缘技术研发中心有多个职位(算法、分布式系统、php工程
师)正在招聘,欢迎大家投简历。
[1] https://breezedeus.github.io/2015/01/31/breezedeus-review-for-year-2014-
tech.html
2) 【通过数据分析解读GDP系列文章】 by @爱可可-爱生活
关键词:算法, 聚类
[文章]通过数据分析... 阅读全帖
s********n
发帖数: 26222
10
过分集中,信息垄断,调控集中的总调度方式已经不适应现在复杂的地面情势, 应该
改以中心, 分局,车站, 车载4级的分布式调度方式, 严格约束各级的调度权限,
但是必须实现信息共享,各级有一定的危机自主裁决权。
这可以大大减少人为失误和系统风险。
g******t
发帖数: 11249
11
来自主题: Military版 - 我面试别人从来就是聊聊天
俺们单位数据挖掘的大牛人PI走了之后
那个项目基本就停滞要被砍了
那货一个人 分布式系统+分布式数据库+机器学习+客户需求讨论
自己全干了
s***h
发帖数: 487
12
来自主题: Military版 - 我面试别人从来就是聊聊天
把自己弄成 full stack 的,在老旧公司里野心往往不大。因为公司里往上爬,通常需
要领导报表上看得到的数据。但老旧报表数据容易被 cook,玩转老旧公司的
operation 比把自己成为 full stack 更上的去。
但 full stack 容易跳槽甚至转行,这点没得比。
也就是人生旅程的优化目标不同。
当然现在新兴公司领导看的 metrics,更强调 Business Analytics Tool,领导看的报
表要求直接从数据库里自动形成 visualization ,动态更新,Data Model 随时放在那
里,谁都可以让人 double check,对付的就是上面的情况。


: 俺们单位数据挖掘的大牛人PI走了之后

: 那个项目基本就停滞要被砍了

: 那货一个人 分布式系统 分布式数据库 机器学习 客户需求讨论

: 自己全干了


发帖数: 1
13
来自主题: Military版 - 张首晟先生死因探究
张首晟先生的大名,物理学界人尽皆知。他获得的头衔和奖项,足以让他跻身世界名
人堂。然而2018年12月1日他的意外坠落比他的任何一次获奖更让人讶异。一个正值盛
年形体健康的学者以如此悲壮的举动来完成人生的最后一跃,事情的真相究竟是啥?根
据目前收集到的信息,可归结为三种死因。
抑郁症
这是亲友们的正式回应!这也是目前一些特定对象突发死亡事件的最广泛的
通告说辞。
至亲的人有没有察觉到他的抑郁症呢?没有!张先生最近还参加了在浦东临港举办的
上海滴水湖论坛(10/29--10/31),为上海的繁荣与发展献言献策。结合他在中美两国频
繁的行程,可以相信他的家人没有察觉到他的病症,否则是不会放任一个病人在外如此
奔波劳碌的。
阴谋论
这是某些自媒体爆出的言论,它挑唆民间敌意,伤害了中美高层之间正在为消
除贸易战努力构建的互信. 还把加拿大拘押孟晚舟女士一事与之捆绑在一起,裹挟民意
为XX5G战略背书。这种与政府决策相悖的言论可以休也!
破产论
2013年张首晟与他学生谷安佳博士联合创立了丹华资本,Crunchbase数据显
示,丹华资... 阅读全帖
l******n
发帖数: 347
14
来自主题: JobHunting版 - OOD amazon questions
第一题是设计一个airport
scheduling system讨论了起飞和降落两个部分。第二题是设计一个分布式的queue。还
讨论来分布式系统cache的设计。
any idea where we can find useful information about answering questions
like this?
d**********x
发帖数: 4083
15
来自主题: JobHunting版 - T家电面一般有几轮? [UPDATE面经]
我想想。。
通俗的就是最长递增子序列,最长公共子序列,如何去掉代码中的注释,最短路径找朋
友之类
有一个人当时其实考到了n-gram的概念,可惜我当时不懂,瞎答的。。
然后我更不懂的就是如何用分布式系统统计search query的频率,如何分布式存储
一时没说明白的是如何序列化一个C++ style的tree
还有一个问题是如何快速给出任何两个人的粉丝交集。
反正,挂了。。
d**********x
发帖数: 4083
16
来自主题: JobHunting版 - T家电面一般有几轮? [UPDATE面经]
我想想。。
通俗的就是最长递增子序列,最长公共子序列,如何去掉代码中的注释,最短路径找朋
友之类
有一个人当时其实考到了n-gram的概念,可惜我当时不懂,瞎答的。。
然后我更不懂的就是如何用分布式系统统计search query的频率,如何分布式存储
一时没说明白的是如何序列化一个C++ style的tree
还有一个问题是如何快速给出任何两个人的粉丝交集。
反正,挂了。。
z****e
发帖数: 54598
17

的确算,银行的transaction量之大,非常challenging
但是,我得说,这些东西,银行自己一家的量
还是小,而且主要是大型主机在做,小型机服务器也有
但是主要是oracle db在做,这两个都没啥特别好的地方
跟分布式主流有些格格不入,因为核心不是分布式
而是db和大机,是sql和cobol,不是java,你进去就知道了
虽然还是写java,但是一堆的store procedure,你妹
但是做银行这个市场的公司,增长都比一般web公司要高很多
你自己看看两家公司,一家tableau,一家palantir
前者股价一直走得很好,现在迅速扩张,后者逼格一直很高
这两个都是做银行市场的,你要找这种给银行政府做产品的公司
这种公司比较有前途,因为银行政府需要,银行政府也有钱
w********3
发帖数: 2
18
来自主题: JobHunting版 - 腾讯招募云测试lead
云测试leader
负责腾讯云平台产品的测试管理工作,包括团队管理建设、参与云平台的全流程测试;
负责云平台产品整体的测试解决方案制定, 推动研发团队开展单元测试和自测,借助
自动化测试和全流程的持续集成建设等方式提升质量和效率。
计算机本科及以上相关专业5年以上工作经验,有后台中间件以及云计算产品测试经验
者优先考虑;
精通kvm/xen虚拟化底层技术
具备极强的工作抗压能力,善于跨团队合作沟通和问题推动,工作富有激情、追求卓越
、有很丰富的人才培养和分享培训等能力;
具备优秀的项目管理和时间管理能力;
具备丰富的后台、协议、性能等测试经验;对于大型分布式系统有很丰富的容灾容错等
测试经验;
对云计算/云服务、分布式计算、数据库等有深刻架构理解和实践;
对自动化测试有深刻理解,具备丰富且成功的自动化测试实践经验;
对C++/Java/PHP/Python等开发语言有丰富的开发经历者优先;
具备丰富的测试解决方案制定、实施、推行经验;
具备极其丰富的测试分析和评估能力,可以带领团队非常敏锐的开展各种测试。
有意请联系Wendy: [email protected]
/* *... 阅读全帖
r***u
发帖数: 83
19
分布式系统还好吧, hadoop也算分布式计算啊。
f******1
发帖数: 73
20
第五届网络和分布式计算国际会议将于今年10月份在美国MIT召开,会议诚邀请愿意做
程序委员会委员的有识之士审稿,会议会勇Easychair系统,提供正式的审稿证明邮件
以便申请绿卡时用,根据以往经验大概每个审稿委员有3-5篇文章。作为PC Chair,我
很愿意为您提供需要证明您审稿优秀的辅助性邮件(其实我本人也在申请绿卡,所以深
知其重要性)。
会议的网站做好了80%,后面还会继续完善,请参见如下链接:http://fanzhangmit.wix.com/icndc2014
请讲您的姓名,所属单位,email发到我的邮箱(f*****[email protected]),最好附上一份个
人简历这样我可以根据您的专长针对性的选择适合您审稿的文章。多谢您的关注。
D*******r
发帖数: 2323
21
来自主题: Go版 - Google如此托大?
据介绍,此次人机大战中,谷歌仍将使用单独的计算机而不会使用分布式系统,性能也
将和2015年10月与欧洲冠军、职业围棋二段樊麾比赛时的完全一致。哈萨比斯解释道:
“因为分布式对单机的胜率只有70%,所以最后还是决定使用单机参赛。”
w**a
发帖数: 3510
22
来自主题: Go版 - Google如此托大?
机器的设置会在比赛后宣布。因为要下满五盘,估计每盘棋下完都会调试设备。如果普
通设置赢不了估计要上cluster。其实就是在测试电脑的智能上限。没有规定只能用一
种设置。
[在 DeeBugger (八哥) 的大作中提到:]
:据介绍,此次人机大战中,谷歌仍将使用单独的计算机而不会使用分布式系统,性能
也将和2015年10月与欧洲冠军、职业围棋二段樊麾比赛时的完全一致。哈萨比斯解释道
:“因为分布式对单机的胜率只有70%,所以最后还是决定使用单机参赛。”
b*******g
发帖数: 603
23
来自主题: Programming版 - 分布式分票算法
你错了,我们是在讨论一个系统。它不会做分布式的,我会,性能秒杀它不是很正常吗?
如果百万人都抢的同一车次,我的性能的确不会比他的更好。但是我前端单子存起来了,
我可以慢慢搞,我没有实时要求,不会处理不了就丢单,这就是优越之处。
g*****g
发帖数: 34805
24
来自主题: Programming版 - Is Redis scalable?
所有不是从一开始就做成分布式系统的东西,再往上堆scalable的架构很难,因为向后
兼容是必须的,会有很多坑。或者虽然能分布式,但是性能比较差。
N********n
发帖数: 8363
25

QUEUE要求FIFO,元素间都是强耦合,而分布式系统最头疼就是强耦合。所
以拿分布式来做QUEUE还吹高效,一听就是基本功都不过关的胡扯蛋。
g*****y
发帖数: 7271
26
来自主题: Programming版 - 联票问题是非常简单的问题
难怪你灌水快,标题里写着都没看。
最大的优点当然是简单了,简单到LZ都能想出来。
其次,有buzz word,分布式。可以声称会做大型实时分布式系统啊。
g*****y
发帖数: 7271
27
来自主题: Programming版 - 静态计数器和订票系统的区别
整天讨论分布式,要是连数据库都同步不了,还做个屁的分布式啊?
又不是只有抢票机会crash,数据库端的机器也是会crash的,
你就不干活了?大不了从硬盘里再读一次。很难sync么?
e*******s
发帖数: 1979
28
来自主题: Programming版 - 王垠:我为什么不在乎人工智能
这年代活的冒烟的什么Deep Learning, 大部分核心的算法上个世纪60-80年代全部都搞
出来了 CNN RNN LSTM等等
神经网络真正的崛起跟AI和Machine Learning的研究基本上没半毛钱关系, 反而是硬件
牛B了 分布式系统做好了. 大规模的特别是分布式training能够快速实现了. 所以结果
就NB了.
在这期间的30年, 大部分的Machine Learning Research都在run SVM. 这东西就是在一
段时间内(90年代到2007年之前)因为结果比神经网络好, 神经网络就被彻底遗弃了. 懂
这玩意的都知道这tm太可笑了, 就捣鼓几个kernal函数, 用kernel trick把数据
project到高维空间, 有点常识的人都知道这种结构复杂度能有多少, 用什么kernel函
数也不可能获得高复杂度的智能. 可惜大家要毕业, 要发paper, 要找工作, 要混饭吃,
这些都无所谓.
作为一个搞AI Research混饭的屌丝, 我的理解是, 这一行真正搞"AI"的人没几个.
k*******d
发帖数: 1340
29
Bigdata这个词本来就被滥用了,现在凡是和统计,机器学习相关的都被称作big data
。这个概念本来在IT界的用的时候就是楼主说的,cheap hardware, huge (Petabyte),
MapReduce/Hadoop/Storm/Spark.重点在分布式系统和分布式算法。而且很多情况下处
理的不是numerical data。从google搜索的log file得出搜索词频是big data。从搜索
词频到预测股票走势很难说算不算big data,取决于方法有多复杂,不过我是觉得data
sample还是不多。
参见wiki的定义:
Big data is an all-encompassing term for any collection of data sets so
large and complex that it becomes difficult to process using on-hand data
management tools or traditional data processing applications.
这个定义可没说要有fan... 阅读全帖
w********s
发帖数: 1570
30
现在知道,这完全是不同类的技术
比如实时计算,大数据里常说的是storm,分布式流计算,latency有10秒之居
好处在于容错,和扩展性,比如down了某个节点,对计算没有影响,扩展也很容易。
很类似在分布式集群上虚拟了一个计算
公司内,即使对storm重写了一遍,latency也要有ms级别,所以latency是弱点,
throughput的话,每天处理的数据量在几十TB级别左右
当然你用storm搭trading system也可以,就是完全满足不了latency要求,但扩容非常
容易,只要加机器,而且可以在运行的过程中加。
z****e
发帖数: 54598
31
接触big data时间不长,但是随着现在big data的兴起
越来越多的人投入这个领域,加上以前是做分布式系统开发的
所以很自然地就进入了领域,一路弄下来,庆幸的是统计没白学
这个领域我的感觉,就是cs的应用统计学,这块占了80%
剩下20%是分布式算法,我觉得有几个帖子很有价值,罗列如下:
这个贴把每个大概的部分最关键的方法论全部点出来了,非常精炼
http://www.mitbbs.com/article/JobHunting/32600683_0.html
里面说到的clustering,这个可能是最新的一个比较好的option
http://www.mitbbs.com/article_t/DataSciences/6761.html
面试关键字,看东肥的贴
http://www.mitbbs.com/article_t/JobHunting/32058385.html
关于学习,我觉得apprentice00说的关于python和java的经验
跟我的感觉高度吻合,具体见这个贴
http://www.mitbbs.com/article/JobHunting/327217... 阅读全帖
b*********n
发帖数: 2975
32
赞!这个总结的很好,多谢!!

接触big data时间不长,但是随着现在big data的兴起
越来越多的人投入这个领域,加上以前是做分布式系统开发的
所以很自然地就进入了领域,一路弄下来,庆幸的是统计没白学
这个领域我的感觉,就是cs的应用统计学,这块占了80%
剩下20%是分布式算法,我觉得有几个帖子很有价值,罗列如下:
这个贴把每个大概的部分最关键的方法论全部点出来了,非常精炼
http://www.mitbbs.com/article/JobHunting/32600683_0.html
里面说到的clustering,这个可能是最新的一个比较好的option
http://www.mitbbs.com/article_t/DataSciences/6761.html
面试关键字,看东肥的贴
http://www.mitbbs.com/article_t/JobHunting/32058385.html
关于学习,我觉得apprentice00说的关于python和java的经验
跟我的感觉高度吻合,具体见这个贴
http://www.mitbbs.com/article/J... 阅读全帖
z****e
发帖数: 54598
33
接触big data时间不长,但是随着现在big data的兴起
越来越多的人投入这个领域,加上以前是做分布式系统开发的
所以很自然地就进入了领域,一路弄下来,庆幸的是统计没白学
这个领域我的感觉,就是cs的应用统计学,这块占了80%
剩下20%是分布式算法,我觉得有几个帖子很有价值,罗列如下:
这个贴把每个大概的部分最关键的方法论全部点出来了,非常精炼
http://www.mitbbs.com/article/JobHunting/32600683_0.html
里面说到的clustering,这个可能是最新的一个比较好的option
http://www.mitbbs.com/article_t/DataSciences/6761.html
http://data-sci.appspot.com/index.html
面试关键字,看东肥的贴
http://www.mitbbs.com/article_t/JobHunting/32058385.html
关于学习,我觉得apprentice00说的关于python和java的经验
跟我的感觉高度吻合,具体见这个贴
http://w... 阅读全帖
b*********n
发帖数: 2975
34
赞!这个总结的很好,多谢!!

接触big data时间不长,但是随着现在big data的兴起
越来越多的人投入这个领域,加上以前是做分布式系统开发的
所以很自然地就进入了领域,一路弄下来,庆幸的是统计没白学
这个领域我的感觉,就是cs的应用统计学,这块占了80%
剩下20%是分布式算法,我觉得有几个帖子很有价值,罗列如下:
这个贴把每个大概的部分最关键的方法论全部点出来了,非常精炼
http://www.mitbbs.com/article/JobHunting/32600683_0.html
里面说到的clustering,这个可能是最新的一个比较好的option
http://www.mitbbs.com/article_t/DataSciences/6761.html
面试关键字,看东肥的贴
http://www.mitbbs.com/article_t/JobHunting/32058385.html
关于学习,我觉得apprentice00说的关于python和java的经验
跟我的感觉高度吻合,具体见这个贴
http://www.mitbbs.com/article/J... 阅读全帖
m*******d
发帖数: 104
35
作者:黄东风 来源: 2009-06-15 16:48:35 | 字号:大 中 小
根据世界能源理事会(World Energy Counsil)的预测,为了满足能源需求和环
境保护的要求,到2050 年全球能源结构至少将由8 种能源(即煤、油、气、生物质、风
能与太阳能) 组成,其中任何一种能源的比例都不会超过30 %。因此,电力生产成为实现
这种多元化能源结构的重要手段。随着电脑、电子设备的普及应用,当今社会对电力的
需求量不断增加。国际能源署( IEA) 分析,在经济合作发展组织(OECD) 成员国中,电力
占能源市场的份额可能从1970 年的24 %上升到2020年的40 %。电力不仅是当今社会最
重要的战略基础设施,而且未来的重要性将更加突出。但是,大电厂、大电网的不断建设
依旧未解决当今电力危机中存在的两大根本问题: (1) 电力供应总是无法满足峰荷需求
; (2) 已建成的输配系统容量总是小于用户电力需求的总量。近年来,欧美地区发生的
大面积停电事故,使人们对电力供应的可靠性、安全性提出了更高的要求,而分布式能源
是解决上述问题的有效途径。电力工业重组以及
Z********n
发帖数: 300
36
因技能对口和薪酬优厚,物理学家的硅谷之路越走越宽。
奥斯卡·博伊金(Oscar Boykin)认为,现在可不是当物理学家的好时候。
他曾就读于乔治亚理工学院物理系,2002年拿到加州大学洛杉矶分校物理学博士学位。
四年前,物理学家们借助瑞士的大型强子对撞机,发现了科学家在上世纪60年代就预言
存在的一种亚原子粒子(希格斯玻色子)。
希格斯玻色子没有推翻宇宙理论模型,没有改变任何东西,因此并没有为物理学家设置
新的难关。
“只有当物理学不太理想的时候,物理学家才有用武之地,现在可供我们改进的余地并
不多,”他说,“这让人感觉很没劲。”而且,薪资也不理想。
于是,博伊金离开了物理学界,他去到硅谷,成为一名软件工程师。在他看来,做软件
工程师正当时。
博伊金就职于帮助商家在线收款的初创企业Stripe,该公司估值高达90亿美元。
他参与构建并运营从公司服务中收集数据的软件系统,他还致力于预测这些服务未来的
状况,包括诈骗交易会在何时、何地、以何种形式发生。
由于此类预测需要极强的数学和抽象思维能力,身为物理学家的博伊金便成了理想人选。
与其他物理学家不同,博伊金所处的环境还为他提供无尽的挑战... 阅读全帖

发帖数: 1
37
ZT美帝的本科计算机淘汰率很高,暴露出很多美国教育的问题
美帝的本科计算机一个学校是大二两百个学生,毕业五六十。不过大四毕业的五六十个
学生在他们大二时也就一百。也就是大概一半能够毕业。很多美国的计算机本科大一大
二gpa低就只能转别的系,据说大二选专业的时候低于3.6进不了cs。有的学校计算机本
科生修1030的时候有400人上,上到1040就200,到3170数据结构时候就40人了,读计算
机只有10% 能够毕业。
UCLA本科小孩说:其实cs本科毕业难度比研究生高多了, 研究生可以选水课. 本科os,
编译原理, 设计模式, 分布式系统, 一个都逃不了. 我们os课挂率60%. 我们os老
头特别狠, 每年重修一大半, 他脑溢血换老师了,下面全是庆祝的. 很多学生跑到别的
学校修了os转回来的. 这老头一年只给个位数A,能给B已经烧高香了. C就要重修.编译
原理也是. 本科的ml(machine learning)课, 12个作业, 没考试, 通过率50%。本科有
拿了c的课,如果重修还c,就只能换专业。研究生也一样,八门必修不能c。三门选修
的无所谓,但综合gpa不能低于3。... 阅读全帖
x***z
发帖数: 89
38
【 以下文字转载自 CS 讨论区 】
发信人: xtyoz (xtyoz), 信区: CS
标 题: 有关CS课程选择,请大牛帮忙看一下
发信站: BBS 未名空间站 (Fri Apr 26 20:05:51 2013, 美东)
MS要修10门课,下面是领域分类及其相关课程(学校提供的),请大牛帮我选十门最要
紧最实用,最容易找工作的课,谢谢!
提供课程对应的编号即可(其中中文是我自己翻译上去的):
领域一: (PFL) Programming and Formal Languages编程和形式语言:
1)ADV PROGRAMMING LANGS 高级编程语言; 2)COMPILER CONSTRUCTION编译器构造

3)SOFTWARE ENGINEERING软件工程 4)SOFTWARE MEASUREMENT 软件测试
5)OBJECT-ORIENTED PROG面向对象的编程 6)PROGRAMMING FOR GIS地理信息系
统编程
7)ONLINE DOC & HELP SYSTEMS 在线文档和帮助系统
8)XML FOR M... 阅读全帖
d********w
发帖数: 363
39
来自主题: JobHunting版 - 打造卓越团队的五项理论和实战
我们面对的系统越来越复杂,我们的软件也越来越庞大,包括我们一些技术的细分也越
分越细,在这种情况下,其实一个人很难做一个事情,往往要靠团队的这种力量去把一
个事情做好,但怎么能够把团队带起来,怎么能够比较好的建设团队,然后让团队运转
的比较高效,这其实是跟写代码还是不一样的,所需的技巧也不太一样。今日头条副总
裁谢欣,实时连线在硅谷的数据工程师董飞,分享他们在过去总结的一些管理的经验。
硅谷企业文化
我们来看一下硅谷,经常说一些巨头facebook、linkedin、谷歌,这几个大公司他们的
首字母简称FLG,当然他们都是一些技术型很强的公司。他们的福利跟待遇肯定是一流
的,除了这些之外还有文化方面的吸引,我举几个,比如说Facebook,它有一个新兵训
练营,新的工程师通过几周之内全方位的了解公司,之后就选择他感兴趣的组。创始人
Mark说过,最大的风险就是不愿意承担风险,还有一句是move fast and break things
. 如果在前进过程中没有遇到磕磕碰碰,说明不够快,这是一个快鱼吃慢鱼的时代,也
是创新的源泉。之前也在LinkedIn工作过,它比较强调的是用户第一,... 阅读全帖

发帖数: 1
40
岗位职责:
1.负责大数据相关产品设计和开发,参与需求分析,系统分析及详细设计
2 负责滴滴数据平台系统的架构&开发,系统承载数据报表、工具平台、数据服务及大
数据可视化相关项目
3.负责数据可视化及数据服务项目架构&开发
任职要求:
1. 研究生或以上学历,计算机相关专业,3年以上工作经验,1年以上大数据相关产
品研发经验
2.JAVA基础扎实,理解io、多线程、集合等基础知识,对JVM原理有一定的了解;
3.熟悉Python/shell等一种或多种脚本语言
4.熟悉大型分布式系统设计与开发,熟悉各种web缓存、消息队列技术原理。在实际项
目中使用过redis、kafka。
5.熟悉MySQL数据库原理及常用优化方法
6.具备良好的工程意识,熟悉git代码管理流程,熟悉maven项目管理工具。
7.熟悉hadoop,有MapReduce开发经验,了解YARN。
8.密切关注大数据相关技术的发展趋势,有hadoop/hbase/Kafka/flume/Zookeeper/
spark/kylin/es等相关技术研究或开发经验者优先
滴滴出行3年多时间,发展到5千人的规模,大数据作... 阅读全帖
x***z
发帖数: 89
41
MS要修10门课,下面是领域分类及其相关课程(学校提供的),请大牛帮我选十门最要
紧最实用,最容易找工作的课,谢谢!
提供课程对应的编号即可(其中中文是我自己翻译上去的):
领域一: (PFL) Programming and Formal Languages编程和形式语言:
1)ADV PROGRAMMING LANGS 高级编程语言; 2)COMPILER CONSTRUCTION编译器构造

3)SOFTWARE ENGINEERING软件工程 4)SOFTWARE MEASUREMENT 软件测试
5)OBJECT-ORIENTED PROG面向对象的编程 6)PROGRAMMING FOR GIS地理信息系
统编程
7)ONLINE DOC & HELP SYSTEMS 在线文档和帮助系统
8)XML FOR MULTILINGUAL(多语言的) APPS (=applications
9)3D GAME PROGRAMMING 10)SCIENTIFIC COMPUTING科学计算
11)FORMAL L... 阅读全帖
n*******7
发帖数: 181
42
照抄一下原文。 “主要原因”前两点就是一样道理:
在经过多次论证和POC测试后, 12306 最后选择Pivotal Gemfire作为系统改造的平台
,其主要原因如下:
1.关联数据节点设计:可以根据客户的业务逻辑特性和数据关联性,将关联性强的数据
放置于同一个服务器节点,提高系统性能,避免分布式系统服务器的频繁数据交换。
2.将数据移到内存:由于数据是放在内存里面,屏蔽传统数据库频繁访问, CPU与数据
库的交互作用,影响服务器性能。内存的数据交换速度远高于磁盘速度上千倍, 极大
提高系统性能。
r********n
发帖数: 7441
43
主要是精确(准)同步授时功能,很多系统(尤其子系统相互依赖但是地理上又很远)
依赖准确的正时系统,比如大型分布式数据中心之间数据同步,电网可能就是精确对供
电和载荷进行平衡

发帖数: 1
44
中国文化最为活跃的就是分布式系统时期,战国,三国,唐,两宋,民国。。。
所谓“此处不养爷,自有养爷处。到处不养爷,爷去投八路",这就是良性增长。一个
现代社会里,分布系统会造成寡头统治局部,但是寡头不可能统治全部。人们可以用脚
投票,如同当今的世界格局。
举例来说,这个世界上真正的独裁国家只有一个,朝鲜。但朝鲜的统治者高兴吗?不高
兴,因为统治成本太高。金三好歹也是吃过几天瑞士饭,他难道不知道太胖有害健康?
难道不知道金二是累死的,但他没办法。
之所以说唐是分布系统是因为除了太宗,武周,和玄宗前期,唐朝皇权都很弱。

发帖数: 1
45
中信数据库而已,他们自己发工资用的, dbase 2000。
各个银行交换业务可不是在这种数据库上玩的。那个交换转帐汇兑系统其实并不是现代
意义上的数据库,世界上银行商用系统除了IBM没有第二家能做。
f*****w
发帖数: 52
46
来自主题: JobHunting版 - G家面经
总体来说G的确门槛比较高。还有就是感觉会系统设计很重要,算法题过于钻研难题偏
题有点得不偿失。我起码被问到的算法题都是常见的。最后悲剧感觉主要是design不太
好。
店面:找出一个正整数的所有质数因子乘积,比如9=3*3,21=3*7。找出字符串出现最
多的字符。
onsite, 五个人,算法题都比较常见,并不难,没看到网上说的什么2d water wrap
这种档次的题目。由于我用java,很多题我都是implement comparable 然后再
collections.sort。或者就是implement hashcode和equals 再用hashset或者hashmap
。感觉貌似他们不喜欢这样。比较有意思地是设计一个系统,修改月球上100个服务器
的kernal,还有就是设计算法把长url转化为短url,这个我之前完全不知道,最后才说
了个多重hash函数。由于我简历上面写了Junit,还问了些测试的问题。比如什么情况
下测试会有时成功有时失败。
感觉算法固然重要,不过其他方面比如分布式系统,测试,大数据怎么handle这些地方
Google可能更看中。
n*********r
发帖数: 24
47
来自主题: JobHunting版 - Amazon onsite:产品经理
上周面的,感觉很不好,八成杯具了。花了几天时间整理了一下心态,再开始投别家简
历,准备下一轮面试吧。
先说我自己的情况吧,计算机专业,毕业后在一个二流公司的三流研究所里做了7年,
有4年的项目管理经验,觉得再混下去没什么前途了,就开始骑驴找马。觉得自己做码
工肯定做不过刚毕业的年轻人,所以找的是产品经理的工作。
面我的是三个engineer和一个manager。其实就是两种问题:一种是如何设计一个软件
系统,如何优化;一种是管理方面的,在某种情况下如何应对,比如,deadline赶不及
了,如何解决组内成员的矛盾,如何处理和其他组的分歧或者冲突等等。我基本上都是
用自己在工作中遇到过的例子来讲。careercup上的题一道没问。
我的这个面试经历对大家找码工大概没什么帮助。给大家贡献一点对准备系统设计方面
有用的东西吧。
先推荐hackie发的两篇关于large scale system design的文章:http://www.mitbbs.com/article_t/JobHunting/32134627.htmlhttp://www.mitbbs.com/article_t/J... 阅读全帖
j********x
发帖数: 2330
48
你看过顶级计算机系统、分布式系统的会议么?
google很多都是内部系统等几年之后发布出来的。你不要以为每天看了很多垃圾论文,
就以为搞科研都是浑水摸鱼。。。
j********x
发帖数: 2330
49
你看过顶级计算机系统、分布式系统的会议么?
google很多都是内部系统等几年之后发布出来的。你不要以为每天看了很多垃圾论文,
就以为搞科研都是浑水摸鱼。。。
g********t
发帖数: 212
50
这个问题和上面Search and Discovery的问题基本一样,所以统一说个人感觉的话:
Recommender System感觉是电商的掌上明珠之一。
以后要创业的话,个人直觉国内有很多类似的事情可以做。比如婚配之类的。
不过问题是已经做得很成熟了。Machine Learning后期的问题,基本就是调参数,很多
大量的实验,带来很小一点点改进。你没有很强的ML的背景,基本轮不到你做这些。估
计就是做这个系统上一些小修补。
下一步的话,在美国我觉得如果没有ML PHD,我觉得这个经验还是不太可能帮助去美国
这边的小公司做他们的Recommender System。比如Wish.com,Tradesy.com, etc. 他们
都有专人做了。如果回国认识一些朋友,估计可以自己做类似的。
不过就作为一段分布式系统,高吞吐系统的通用经历,后面可以有很多方向可以走。
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)