由买买提看人间百态

topics

全部话题 - 话题: bigtable
1 2 3 4 下页 末页 (共4页)
k***5
发帖数: 583
1
来自主题: Programming版 - Cloud Bigtable Beta
https://cloud.google.com/bigtable/
Overview
Google Cloud Bigtable offers you a fast, fully managed, massively scalable
NoSQL database service that's ideal for web, mobile, and Internet of Things
applications requiring terabytes to petabytes of data. Unlike comparable
market offerings, Cloud Bigtable doesn't require you to sacrifice speed,
scale, or cost efficiency when your applications grow. Cloud Bigtable has
been battle-tested at Google for more than 10 years—it's the database
driving major a... 阅读全帖
t**r
发帖数: 3428
2
有懂bigtable ,hbase,c*的么?问一个timestamp的问题
bigtable里面timestamp的用法在hbase,c*里有么?
比如:by specifiying timestamp, I can get value of latest version that is
earlier than a specified timestamp.
Q*K
发帖数: 3464
3
http://slacy.com/blog/2011/03/what-larry-page-really-needs-to-d
What Larry Page really needs to do to return Google to its startup roots
Posted on March 24, 2011 by slacy
I worked at Google from 2005-2010, and saw the company go through many
changes, and a huge increase in staff. Most importantly, I saw the company
go from a place where engineers were seen as violent disruptors and
innovators, to a place where doing things “The Google Way” was king, and
where thinking outside the box was discou... 阅读全帖
l**********r
发帖数: 4612
4
【 以下文字转载自 JobHunting 讨论区 】
发信人: Bayesian1 (what\'s next), 信区: JobHunting
标 题: 前员工追忆百度乱象:上下异心 狼性压制人性(转载)
发信站: BBS 未名空间站 (Mon Feb 4 00:37:01 2013, 美东)
http://tech.163.com/13/0204/09/8MS1066B000915BF.html
原标题:李彦宏的“罪己诏”
1、离开
离开百度已经一年多了。
间或有人问我为什么要离开百度。找工作的时候问,工作了几个月后还是会有人问。我
怎么回答这个问题呢?说A)试用期没通过不得不卷铺盖走人?还是说B)自己工作不爽主
动离职?事实上我多数情况下会选择说B。被炒鱿鱼这种事当然是不光彩的,只是有的
时候懒得解释,也就随便撒个小慌,一笑而过。我会跟人家说,他娘的我也想炒掉那个
操蛋老板,只是我没有那个权利,被暗算了吗?
间或也有百度的同事打来电话,跟我抱怨说工作上如何束手束脚无法施展。两个月前,
Robin一封狼性邮件,将百度推向了舆论的风口浪尖。可是通篇读下来,我只看到了两
个字——“... 阅读全帖
d****o
发帖数: 1055
5
来自主题: JobHunting版 - 详解知名网站的技术发展历程(zz)
对于大家复习design problem有帮助
互联网已经发展多年,其中不乏脱颖而出者,这些网站多数都已存在了接近10年或10
年以上,在如此长时间的发展过程中,除了业务上面临的挑战,在技术上也面临了很多
的挑战。我挑选了一些Alexa排名较前的网站(排名截止到2012年4月21 日),看看它们
在技术上是如何应对业务发展过程中的挑战的。
Google 目前Alexa排名第1。它诞生于1997年,当时是一个研究性项目,每个月
build一次索引,build出来的索引通过sharding(shard by doc)的方式分散到多台服务
器(Index Server)上,具体的网页数据同样通过sharding的方式分散到多台服务器(Doc
Server)上,当用户提交请求时,通过前端的一台服务器将请求提交给Index Server获
得打了分的倒排索引,然后从Doc Server提取具体的网页信息(例如网页标题、搜索关
键词匹配的片段信息等),最终展现给用户。
随着索引的网页增加,这个结构可通过增加Index Server以及Doc Server来存储索
引以及网页的数据,但仍然会面临其他... 阅读全帖
B*******1
发帖数: 2454
6
http://tech.163.com/13/0204/09/8MS1066B000915BF.html
原标题:李彦宏的“罪己诏”
1、离开
离开百度已经一年多了。
间或有人问我为什么要离开百度。找工作的时候问,工作了几个月后还是会有人问。我
怎么回答这个问题呢?说A)试用期没通过不得不卷铺盖走人?还是说B)自己工作不爽主
动离职?事实上我多数情况下会选择说B。被炒鱿鱼这种事当然是不光彩的,只是有的
时候懒得解释,也就随便撒个小慌,一笑而过。我会跟人家说,他娘的我也想炒掉那个
操蛋老板,只是我没有那个权利,被暗算了吗?
间或也有百度的同事打来电话,跟我抱怨说工作上如何束手束脚无法施展。两个月前,
Robin一封狼性邮件,将百度推向了舆论的风口浪尖。可是通篇读下来,我只看到了两
个字——“吃人”。
2、狼性
中国的领导似乎都有一个毛病,那就是总以为自己高高在上,神圣不可侵犯。事情做好
了,功劳都是自己的,心情好了赏仨瓜俩枣给手底下辛苦干活的员工;事情搞砸了,就
开始埋怨员工不好好干活,没有“奉献自己100%的热血和青春”。
10年初Google退出中国后,百度已然躺在印钞机上数了两年的... 阅读全帖
d********w
发帖数: 363
7
来自主题: JobHunting版 - 系统设计能力提高捷径
品味来了。
Basics and Algorithms
The Five-Minute Rule Ten Years Later, and Other Computer Storage Rules of
Thumb (1997): This paper (and the original one proposed 10 years earlier)
illustrates a quantitative formula to calculate whether a data page should
be cached in memory or not. It is a delight to read Jim Gray approach to an
array of related problems, e.g. how big should a page size be.
AlphaSort: A Cache-Sensitive Parallel External Sort (1995): Sorting is one
of the most essential algorithms in... 阅读全帖
l**********r
发帖数: 4612
8
【 以下文字转载自 JobHunting 讨论区 】
发信人: Bayesian1 (what\'s next), 信区: JobHunting
标 题: 前员工追忆百度乱象:上下异心 狼性压制人性(转载)
发信站: BBS 未名空间站 (Mon Feb 4 00:37:01 2013, 美东)
http://tech.163.com/13/0204/09/8MS1066B000915BF.html
原标题:李彦宏的“罪己诏”
1、离开
离开百度已经一年多了。
间或有人问我为什么要离开百度。找工作的时候问,工作了几个月后还是会有人问。我
怎么回答这个问题呢?说A)试用期没通过不得不卷铺盖走人?还是说B)自己工作不爽主
动离职?事实上我多数情况下会选择说B。被炒鱿鱼这种事当然是不光彩的,只是有的
时候懒得解释,也就随便撒个小慌,一笑而过。我会跟人家说,他娘的我也想炒掉那个
操蛋老板,只是我没有那个权利,被暗算了吗?
间或也有百度的同事打来电话,跟我抱怨说工作上如何束手束脚无法施展。两个月前,
Robin一封狼性邮件,将百度推向了舆论的风口浪尖。可是通篇读下来,我只看到了两
个字——“... 阅读全帖
m*****l
发帖数: 95
9
来自主题: JobHunting版 - 【拒信】被Coursera拒了
楼主。。。BIGTABLE不是KVS,你至少加一个TIMESTAMP的COLUMN吧...这明显是没玩过
Bigtable或者类似的Nosql...我觉得楼主可能号称自己玩过NoSQL,但从面试官的角度
这完全不像学过的样子。
m******3
发帖数: 346
10
来自主题: JobHunting版 - 领英 昂赛 已挂
我都没具体用过这些,不过就我看过的一些资料,amazon的dynamo是一个key value
store, google的big table (hbase是开源版本)更象是一个database,big table是一
个column store的database. bigtable有一个controller node一样的东西,主要存一
些metadata,然后data存在不同的datanode上,当用户需要读写的时候,先从这个
controller node知道要存取的data所在的data node,然后直接和这个data node交互进
行读写。 dynamo是一个去中心化的设计,没有一个这个controller node一样的东西。
cassandra应该是dynamo+bigtable, 去中心化设计,而且是一个column store的
database, 比key-value store应用的范围应该广泛一些吧

发帖数: 1
11
Palo Alto well- established Start-up 高薪招聘full-time Sr.Software Engineer
. JD
如下:
#Title: Sr. Software Engineer(full-stack)
Work type: full time
Location: Palo Altoe, CA
Base Salary Range: 140K-160K + bonus+ stock option+ other benefits
What You'll Do:
• Meteor: We can iterate quickly using Meteor. We can get a highly
responsive and production ready application within days rather than weeks
using Meteor stack.
• Kubernetes and docker: We are in charge of our infrastructure.
Wh... 阅读全帖
z*******3
发帖数: 13709
12
来自主题: Java版 - 开发前景光明啊
感觉现在搞core java的前所未有的热门
以前以为j2ee标准下,web和persistence都会交给其他人去做
比如dba之类的,现在nosql和hadoop这些web公司产品的流行
使得开发职位进一步增加出来
搞java的真是很幸福啊,在这样一个年代
百花齐放啊
而且开源总是后发制人
昨天看了一下hbase和bigtable的效率对比
07年时候还只是bigtable的六分之一左右
09年时候就已经达到900:1200了
http://wiki.apache.org/lucene-hadoop/Hbase/PerformanceEvaluatio
这个效率对于大多数应用来说足够了
而且随着jvm本身效率的提升
逐步逼近google自身系统,当然说要完全等同google自身系统的效率
有一定难度,毕竟google是这个东西的鼻祖
就像jboss跟weblogic还有websphere的差别一样
但是对于大多数其他公司,足够用了
我打算说服我们公司的人用nosql和hadoop
我们公司的系统本身就适合hadoop,一堆海量的数据
每一次出错都要我手工用bzgrep去找,累死了
... 阅读全帖
m***r
发帖数: 359
13
来自主题: DataSciences版 - 大数据日报 2015年3月楼
大数据日报 2015-03-11
@好东西传送门 出品, 过刊见
http://bd.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅大数据日报
更好看的HTML版
http://bd.memect.com/archive/2015-03-11/short.html
1) 【用SPSS如何做数据挖掘或数据分析】 by @36大数据网
关键词:分析
用SPSS如何做数据挖掘或数据分析?【SPSS Clementine 数据挖掘入门 (1)】 [1] 【
用SPSS做数据分析?先弄懂SPSS的基础知识吧】 [2] 【产品运营数据分析——SPSS数
据分组案例】 [3] 【一天学会统计百万级数据,百度搜索词SPSS分析】 [4]
[1] http://www.36dsj.com/archives/25038
[2] http://www.36dsj.com/archives/17334
[3] http://www.36dsj.com/archives/4850
[4] http://www.36dsj.com/archiv... 阅读全帖
c*********l
发帖数: 3438
14
来自主题: Military版 - 百度朝花夕拾 (转载)
【 以下文字转载自 JobHunting 讨论区 】
发信人: dongfeiwww (在路上), 信区: JobHunting
标 题: 百度朝花夕拾
发信站: BBS 未名空间站 (Tue May 26 01:00:38 2015, 美东)
有人说百度是中国IT的黄埔军校,有人说百度商业化很浓的广告公司,在百度我也待过
一阵,后来出国读书,我看到百度经过这几年的洗礼,更加成熟和强大,而自己也对技
术有了更多领悟。现在想想要感谢百度,感谢伟大的百度人民。那些当年的同事有人人
肉翻墙去Google,有人去新一代的创业公司,有人转型创业投资,有人继续成为百度的
中流砥柱。我想说一些轶事。
百度小故事
百度的创办
大家对百度的历史可能耳熟能详。李彦宏Robin讲过一个故事,当他99年回国创业的时
候,搜索引擎也不是最新的概念了,人家问他做什么,他坚定说做搜索,有人觉得当时
也有好几家做这一块,这不会太大的机会的。后来的事情大家都知道了,百度成为中文
第一搜索品牌。所以他总结“机会永远不会迟”,关键是事情有没有做到“极致”。
鸡翅的故事
Robin向百度全体员工通发了某季度总结邮件,却忘写... 阅读全帖
s*****r
发帖数: 43070
15
来自主题: Military版 - 谷歌也没有什么了不起
这两不是一回事,狗的广告竞价排名系统是自己的
现在热门的大树剧技术都源于狗,mapreduce,bigtable,云计算等等

发帖数: 1
16
你的逻辑很奇怪,我举了一个反例,并不是说只有这一个。你要是觉得只此一例,那就再
来一个吧,Jeff Dean,你要是不知道他是谁那确实对IT行业缺乏了解。他的一个成就
是发明了
MapReduce,开启了大数据的工业化应用,还有像Bigtable、Spanner具有革命性的产品
,现在领导Google Brain开发Tensorflow,目前最热的深度学习平台。我查了一下他毕
业的学校,本科时University of Minnesota,排名71,PhD的学校是University of
Washington,排名54。找你的说法,他在你面前是不是也只能仓惶遁去呢?
在工业界没有人把毕业学校和发的文章挂在嘴边的,学校和文章只是给你一个起点,之
后的发展主要看个人的努力、视野、运气等等。在计算机行业,对学校和发的文章尤其
不在意,我们看的是作出了什么产品和对现实世界有多少影响力。
不同行业差别很大,不要做井底之蛙,要跳出的小圈子,世界很大。

真没
n*******e
发帖数: 137
17
这个position 有多个opening。
下面是job description. 有些tool是公司内部用的,所以没用过也没关系。主要是对
big data, hadoop, map reduce, data warehouse比较熟就好了。有兴趣,请站内联系。
The Analytics Backend team has a whole bunch of new exciting efforts that we
are hiring for. These projects span a wide range of exciting areas
including large scale (~100 Petabytes) data processing, querying (100M+
queries/day), indexing and serving. You will get the chance to work with a
really fun team of engineers, get exposure to lots of senior engineers, hav... 阅读全帖
n**********0
发帖数: 51
18
其实青菜萝卜各有所好。
公司里有些(有Ph.D的)码工其实学术很强。例如Google里搞出BigTable, MapReduce
等的,其贡献和(在学界和工业界的)影响力,秒杀99%的cs faculty一辈子的成就。
更不用提人家拿n倍的收入。
看看新科图灵奖得主Leslie Lamport, 一辈子呆在research lab里面。
楼主的情况,找一学霸当postdoc比较靠谱。有在这1%pool里面的学霸的帮助,未来找
好faculty工作的可能比去2-3流学校和research lab的大。
s******g
发帖数: 3841
19
bigtable, mapreduce的基础consistent hashing就是学术界搞出来的
Lamport的成就跟公司基本没关系,他在任何地方都能做出那些成就来

MapReduce
x***u
发帖数: 41
20
问题就在这里,google那几篇论文(mapreduce/bigtable/etc.)纯粹是一些口水话+废话
,从“学术”价值上的确一文不值。问题是那几篇论文对其Implementing是一个字没提
,恰恰就是这个implementing,就是别人都做不到这么好。当然,精巧的Implementing
也可以说是某种算法。

者理
r********3
发帖数: 2998
21
那么GFS和bigTable呢?
s*******f
发帖数: 1114
22
来自主题: JobHunting版 - 问个google面试题
以菜鸟的经验,读完G三篇(GFS,BIGtable,mapreduce)之后,你的回答能从40分提高
到70分。

function
userId,
y*******g
发帖数: 6599
23
来自主题: JobHunting版 - 某公司面试经历
short url应该用数据库来产生一个long integer unique id.
然后把这个int 转化成 base62( 26 大写字母,26小写字母,10个数字)。
多机器scale 由数据库来处理。面试官问的话可以讨论 这个应用读多于写,而且write
之后不会改,所以很多lock是不需要的。要是了解distributed database, nosql,
bigtable之类更可以show off一翻,我是不会啦。
这样生成的url是没法猜的,我感觉大部分short url service也的确如此。 如果要提
供用户自己输入short url的服务可以额外插入手动生成的id. 这样cost高一些,因为正
常产生id的时候要额外检查,但这种服务可以收费 O(∩_∩)O哈哈~
y*******g
发帖数: 6599
24
来自主题: JobHunting版 - guangyi的面经和总结
我觉得google的那几篇paper是经典,gfs,map-reduce , bigtable
y*******g
发帖数: 6599
25
来自主题: JobHunting版 - guangyi的面经和总结
我觉得google的那几篇paper是经典,gfs,map-reduce , bigtable
d********w
发帖数: 363
26
来自主题: JobHunting版 - hadoop面试和学习总结
随着大数据的盛行,Hadoop也流行起来。我面过很多hadoop相关的公司,包括一线公司
(hadoop就是公司主要产品)如cloudera, hortonworks, mapr, teradata, greenplum,
二线的(使用hadoop):apple, expedia,comScore. 当然还有很多公司facebook,
twitter, baidu, 感觉这块还是机会挺多的,我就把我知道的一些给大家分享一下。
书籍和paper
: 里面内容非常好,既有高屋建瓴,又有微观把握,
比如mapreduce各个子阶段,经常问道join在里面也有代码实现,
google的三量马车,GFS, MapReduce, BigTable
入门:
知道MapReduce大致流程,map, shuffle, reduce
知道combiner, partition作用,设置compression
搭建hadoop集群,master/slave 都运行那些服务
HDFS,replica如何定位
版本0.20.2->0.20.203->... 阅读全帖
d********w
发帖数: 363
27
来自主题: JobHunting版 - hadoop面试和学习总结
随着大数据的盛行,Hadoop也流行起来。我面过很多hadoop相关的公司,包括一线公司
(hadoop就是公司主要产品)如cloudera, hortonworks, mapr, teradata, greenplum,
二线的(使用hadoop):apple, expedia,comScore. 当然还有很多公司facebook,
twitter, baidu, 感觉这块还是机会挺多的,我就把我知道的一些给大家分享一下。
书籍和paper
: 里面内容非常好,既有高屋建瓴,又有微观把握,
比如mapreduce各个子阶段,经常问道join在里面也有代码实现,
google的三量马车,GFS, MapReduce, BigTable
入门:
知道MapReduce大致流程,map, shuffle, reduce
知道combiner, partition作用,设置compression
搭建hadoop集群,master/slave 都运行那些服务
HDFS,replica如何定位
版本0.20.2->0.20.203->... 阅读全帖
H**r
发帖数: 10015
28
来自主题: JobHunting版 - 如何秒杀99%的海量数据处理面试题
sounds like mapreduce with bigtable
d*****y
发帖数: 205
29
来自主题: JobHunting版 - google onsite杯具+设计题怎么答
我胡说几句,可能说得不对,请别介意。
个人觉得,最后一个large scale题目其实答得挺好的,这题不会太失分
如果是我答的话,第一个问题可能不会直接问面试官“DHT,还是cluster”,
这一步可能跳的有点快了,
第一个问题可能会问,key 是什么样的key,value包含哪些(正常的话,面试官会说
key是string,或者什么都可以,value也是什么都可以,之类的,这问题虽然简单,包
含很多信息,问一下这个问题,面试官很轻松的回答你,就表明往这个方向走是对的)。
我的猜测是,这个题不是要考你BigTable是怎么design的,那个估计很多人面试前都准
备过,
其实估计他就是想问最简单的DHT原理,这个题面的设计,甚至于不expect你懂得DHT,
否则他就直接问你tell me something about DHT
(G倾向问比较基本的概念和问题,就算背景是large system,别被现有成熟技术束缚,
想一下不是每个人都有large scale system的研究和工作背景,但是每个人都会被问到
这样的题目,如果有一个人是学EE的,来了也会被问这道题的,他压根就没听... 阅读全帖
m*********a
发帖数: 47
30
来自主题: JobHunting版 - 详解知名网站的技术发展历程(zz)
(小道消息: Google内部已完成了GFS、MapReduce、BigTable的替换)
这个是什么意思?
是说替换掉还是替换成?
d********w
发帖数: 363
31
为啥那这本书来准备面试呢?如果你没有hadoop的经验,也不用看这些的。
如果你的职位要求里面确实有hadoop,可以去检查或者搜索一下以下问题
1. mapreduce的几个阶段
2. pig, hive的大致设计和比较,(结合sql写法)
3. wordcount, terasort的mapreduce程序写法
4. hadoop在不同节点启动了那些服务
5. secondary sort, partition如何用
6. 什么是nosql,ACID跟BASE比较
7. hadoop的不足和最新改进(next generation)
8. HDFS的如何做到scalability和高可靠性
这些基本问题掌握后,可以找找资源,比如你提到那边书,GFS/MapReduce/BigTable
paper, hadoop summit 2012大会上的slides,youtube或者cloudera上面的hadoop视频
海量数据处理倒是经常会问到,比如如何在多台机器上找中位数,n个数找最大k个数,
搜索如何做索引,以前有个帖子专门总结过。
G******i
发帖数: 5226
32
来自主题: JobHunting版 - [合集] guangyi的面经和总结
☆─────────────────────────────────────☆
guangyi ( 光一) 于 (Sat Oct 29 00:10:37 2011, 美东) 提到:
**********************************
M:
phone interview (1 round):
why MS?
biggest challenge
why like coding and algorithm?
what is good code?
your longest code
biggest accomplishment
if you don't want some functions to be modified in java, what to do?
does java allow multiple inheritance?
what does synchronized keyword mean in java?
CEO wants a book, you find it in the system of a nearby bookshop. You ... 阅读全帖
b***i
发帖数: 10018
33
来自主题: JobHunting版 - 三藩pre-ipo公司big data职位招聘
刚刚加了Data Research Scientist的Job description:
Research Scientist - Machine Learning at Tapjoy in San Francisco, CA
About Tapjoy
A SF-based Private company, Tapjoy (www.tapjoy.com) is the leader in
discovery, engagement, and monetization services for mobile applications.
The company's turnkey in-app advertising platform helps developers, agencies
and brands acquire cost-effective, high-value new users, drive engagement
within their applications, and create incremental income by providing an ad-
fu... 阅读全帖
t****a
发帖数: 1212
34
data mining理论这块蛮重,绝不是学个两天就能解决问题的。这个方向有research的
成分。要积累。而且跟领域关系很大。选准领域,这条路个人感觉可以走蛮久。
hadoop就是个大数据处理技术,技术门槛低,看几个例子就可以上手。IT这行,技术几
年一变。从dbase, foxpro, access, sql server, mysql到现在的什么nosql,
bigtable之类,几年一变,光凭一两个技术,哪里够吃一辈子?过几年,随便一个本科
应届毕业生掌握的技术都可能比你新。
但我这话也说绝对了,凡是数据处理技术都有相通之处,学多了知识形成体系,触类旁
通,到时候很容易理解新的技术。但总体而言技术门槛低。
t****a
发帖数: 1212
35
data mining理论这块蛮重,绝不是学个两天就能解决问题的。这个方向有research的
成分。要积累。而且跟领域关系很大。选准领域,这条路个人感觉可以走蛮久。
hadoop就是个大数据处理技术,技术门槛低,看几个例子就可以上手。IT这行,技术几
年一变。从dbase, foxpro, access, sql server, mysql到现在的什么nosql,
bigtable之类,几年一变,光凭一两个技术,哪里够吃一辈子?过几年,随便一个本科
应届毕业生掌握的技术都可能比你新。
但我这话也说绝对了,凡是数据处理技术都有相通之处,学多了知识形成体系,触类旁
通,到时候很容易理解新的技术。但总体而言技术门槛低。
j*******9
发帖数: 21
36
来自主题: JobHunting版 - 求问hadoop学习资料
先读google发表的三篇paper,关于mapreduce, gfs, bigtable
然后apache hadoop上有些documentation.
读下这本书:Hadoop: The Definitive Guide。
然后在hortonworks, cloudera上有些video,blog可以看下,了解下。
B*******1
发帖数: 2454
37
来自主题: JobHunting版 - G家 system design 和 open ended questions
话说我超过 一半的面试题都是large scale system design,可是我是完全没有这方面
背景的ee码工,就算我现在要去g的组也不需要large scale的。
我感觉准备一下差不多了:
hackie大牛的帖子
http://www.mitbbs.com/article_t/JobHunting/32134627.html
要看的paper:
1. gogole gfs
2. google map reduce
3. google bigtable
4. facebook cassandra
5.facebook hdfs
6 facebook hadoop
7 facebook hive
8 facebook hbase
9 amazon dynamo
以上paper一定要熟读,并且对比设计的不同和为什么不同,起码要理解80%里面的概念
,其实比想算法容易多了。
faceboook的tech blog
dropbox的tech blog
http://highscalability.com/
还有这个我最近发现的很有意思的,
淘宝核心系统团队博客
http://rdc... 阅读全帖
w**********2
发帖数: 20
38
来自主题: JobHunting版 - G家面经,求bless
http://www.mitbbs.com/article_t/JobHunting/32134627.html
large scale 方面
我google 的看了 mapreduce, gfs, bigTable, Spanner, chubby. google 的东西不太
好懂,而且没有源码可以参考。我觉得除了MapReduce 和 GFS 外,其他的过一遍就差
不多了。
facebook 的看了 cassandra, 这个有源码可以看,但是好像 很多地方和paper上面已
经不一样了。
yahoo 的看了 zookeeper,
Amazon 的看了 Dynamo, 我感觉这个最好,paper 比较好懂
所有的paper都是讲large scale 设计中的几个重要问题,
route(consistent hashing 还是B+ tree 类似的lookup table),
consistency, replica 的策略,
failure detection 和应对,
如果做预处理提高读取效率,
master election 策略,
nodes communication ... 阅读全帖
y***u
发帖数: 205
39
GFS BigTable Borg 这类的infrastrcture呢?
p*****2
发帖数: 21240
40

嗯。感觉应该扫扫Google的三驾马车。我今天看了两架,不过我对bigtable感觉没啥兴
趣呀,没看。
i**d
发帖数: 357
41
哪三架?
spanner, bigtable, gfs?
p*****2
发帖数: 21240
42
来自主题: JobHunting版 - System design总结
1. System design 是一个很大的话题,大的System一般都是由Architect来设计的,因
此就算工作过若干年的也未必有很丰富的system design的经验。如果想对system
design有一个初步了解,我发现这个文章不错,http://www.palantir.com/2011/10/how-to-rock-a-systems-design-interview/
2. 因为我们jobhunting的主要目标集中在了FLGT等互联网公司,因此在这个范畴里的
system design也就集中在了分布式计算和分布式存储的design上了。想对这些设计理
念有个大体的了解可以读读Google的三驾马车,GFS, MapReduce和BigTable。
3. 有大牛建议读读各个公司的engineering blogs,我觉得是非常好的建议。不但能学
习system design,面试的时候很有可能被问到相关的话题。如果你准备过,不但能更
好的回答问题,还能带给面试官好感,从而产生所谓的化学反应。
4. 如果想在system design上提高,则需要真正的实践。加... 阅读全帖
n*******2
发帖数: 89
43
来自主题: JobHunting版 - google interview prep -SRE
            &#
160;            
      
INTERVIEW PREPARATION
GOOGLE.COM ENGINEERING
The Google.com Engineering Interview process will&#
160;focus on areas of expertise and ability&#
160;which are
of interest to us, and is likely to 
pay... 阅读全帖
P*******y
发帖数: 168
44
来自主题: JobHunting版 - 找工作总结
历时两个多月的找工作圆满结束。最后决定去T家。相信自己的选择没有错。
背景:
CS fresh PhD。BS和MS是EE的。
战果:
从一月底开始一共投了二十多家简历,前前后后收到9个phone或者on campus
interview。拿到8个on site interview。 另一个至今没消息。On site interview后
拿到5个offer,包括M, F, W, T, A(一个小公司)。
过程:
一月底开始陆陆续续在linkedin上,mitbbs上找人帮refer。大部分公司refer后没有回
音。二月初Microsoft和Amazon来学校career fair。投了简历。后来收到Microsoft的
on campus interview。Amazon至今没有回音。On campus interviw是在二月下旬。后
来三月初收到Microsoft的on site通知。但是告知是面SDET职位。回邮件给recruiter
说不想面SDET,只想面SDE职位。后来帮换成了SDE。三月五号开始最后一大批的投简历
。也都是找朋友或者linkedin上的人帮refer的。... 阅读全帖
P*******y
发帖数: 168
45
来自主题: JobHunting版 - 找工作总结
大数据主要找了些国内的资料,比如:
http://blog.csdn.net/v_july_v/article/details/6279498
http://www.cnblogs.com/junshichao/archive/2012/04/09/2439554.ht
http://blog.csdn.net/v_JULY_v/article/details/6451990
差不多里面提的方法就够用了
系统设计看了这个:
http://dongxicheng.org/search-engine/system-designing-in-fingin
还有二爷的一篇总结
主要是那几篇paper: bigtable-osdi06, cassandra, dynamo, gfs, hdfs, mapreduce-
osdi04
我是system方向的,所以有些以前看过,group讨论过的
p*****2
发帖数: 21240
46
来自主题: JobHunting版 - 这几家公司如何?
大数据可能是现在科技界与VC界最关注的热词了。似乎和大数据沾不上边的互联网公司
、甚至是传统产业公司,都没前途。
是热词,则必有泡沫。而在泡沫之下,一些真的在创造与挖掘大数据价值的公司、特别
是创业公司,倒未见得为人所知。
这里就有一些可能还处于“隐身模式”中的公司,它们目前正忙于完成最后的收尾工作
,将把足以改变“游戏规则”的技术呈现在世人面前。
这些大数据创业公司的团队,很多是来自于谷歌、Facebook这些巨头。其中有些创业公
司以分析为重点,有些以内存数据库为重点。此外,还有其他一些创业公司则正在大力
开发NoSQL数据库(非关系型数据库)技术。
美国科技博客网站Business Insider为我们列出了14家正在崛起的大数据创业公司。它
们的业务、模式,或许值得国内关注大数据创业的同学借鉴。可以看到,这些公司后面
,都是实力雄厚的VC。
“大数据之所以有趣,是因为它将是未来许多年时间里的一个重大投资领域。大数据浪
潮将持续很久,而不会是18个月或24个月以后就宣告终结。”风险投资公司Accel
Partners普通合伙人李平曾说。
这些已获得融资的大数据创业公司的增长动量正... 阅读全帖
w******j
发帖数: 185
47
来自主题: JobHunting版 - f system design 地图搜索, 请教
设计题,地图搜索,怎样设计index,系统结构
这个题怎么做啊,我查了半天也没查到一般map service的infrasture是怎么做的,而
且到底怎么做index, 怎么query啊。听说是用bigtable,但是具体什么事key/value啊。
哪位给指点一下啊,给哥链接也行啊。
谢谢!
r**h
发帖数: 1288
48
来自主题: JobHunting版 - 报Offer+上经验(F, Y, E, M, F, ...)
应该是gfs,bigtable, mapreduce吧
n******e
发帖数: 957
49
来自主题: JobHunting版 - 不会C++,后果多严重?
谁笑,google的c++和python分别是什么角色知道吗?推动python和c++有什么必然联系
??MapReduce,GFS,bigtable是python写的?广告这么大一块是python写的?这么多以
上大数据的infrastructure,包括最新的big query的dremel, search engine用的
pipeline,哪些不是C++??
l*****t
发帖数: 2019
50
这个就像人发明NoSQL或多或少从google 2006年bigtable paper开始的;这个NewSQL貌
似是从2012spanner paper开始的。
不得不说google还是牛,领导科技,就是可恨他们close source的culture.
1 2 3 4 下页 末页 (共4页)