o**********e
发帖数: 18403 | 1 【 以下文字转载自 ITRelief 俱乐部 】
发信人: onetiemyshoe (onetiemyshoe), 信区: ITRelief
标 题: Re: 分享一些经验及心得 (转载)
发信站: BBS 未名空间站 (Sun May 11 10:23:46 2014, 美东)
【 以下文字转载自 JobHunting 讨论区 】
发信人: halfsea (LTSPGFB), 信区: JobHunting
标 题: Re: 分享一些经验及心得
发信站: BBS 未名空间站 (Tue Jul 9 22:15:26 2013, 美东)
Sorry for the delay。本来想系统的写点东西，但动笔之后发现自己的水平还是差得
太远，没法handle，时间精力目前也不允许。所以估计就只能零零散散的写点感受了。
大家随便看看就好，不要期望过高，道歉先。这个板上牛人很多，真正的大牛可能根本
没时间来发帖子，我也就抱着回报社会的心态班门弄斧好了。
这几年几次换工作，job版上的信息都对我起到了很大的帮助。所以希望能把我的一点
心得回报这里。以下都是我个人的一点浅见，完全可能不正确或... 阅读全帖 |
|
G***o
发帖数: 5158 | 2 拒过推特1年8万股____的。。。大牛。
发信人: halfsea (LTSPGFB), 信区: JobHunting
标 题: Re: 分享一些经验及心得
发信站: BBS 未名空间站 (Tue Jul 9 22:15:26 2013, 美东)
Sorry for the delay。本来想系统的写点东西，但动笔之后发现自己的水平还是差得
太远，没法handle，时间精力目前也不允许。所以估计就只能零零散散的写点感受了。
大家随便看看就好，不要期望过高，道歉先。这个板上牛人很多，真正的大牛可能根本
没时间来发帖子，我也就抱着回报社会的心态班门弄斧好了。
这几年几次换工作，job版上的信息都对我起到了很大的帮助。所以希望能把我的一点
心得回报这里。以下都是我个人的一点浅见，完全可能不正确或者不符合别人的实际情
况。仅供大家参考。
还是结合自己这次的经历来说吧。这次连续面试了7个公司，前四个都成功了，后三个
都失败了。G和F在另外的帖子说过。最后一个箱子公司其实面的还不错，不过team和我
的经验确实不卖吃，而且对方事先知道了我其它的奥佛，可能估计我会拿他们垫背，所
以第二天就很爽快... 阅读全帖 |
|
|
|
s***o
发帖数: 6934 | 5 very much depending on the data you are storing. There are needs for data
store in many layers: application layer serving stores, data warehouse for
your BI, billing/financial data.
* serving stores are usually nosql solutions or mysql/postgresql instances
depending on your need.
- there will be data that you only need key -> value lookup, use stores like
cassandra/riak/memcache/mongo depending on your requirements of access
patterns. cassandra requires thrift, which is painful to some. riak sup... 阅读全帖 |
|
d*******r
发帖数: 3299 | 6 那你说的 community version 比 enterprise version 差在哪里？
memcached 是已经集成进 Couchbase Server了，还是 Couchbase Server 自己用
Erlang 实现了一个类似 memcached 的服务？
好不容易发现个用 Erlang 系的... 满版只有 C/C++ VS Java 有木有...
所以顺便问下，你们用 Rabbitmq 吗？这货如何? |
|
b********e
发帖数: 595 | 7 两个我们都使过，一个是第三方选的，一个是内部使的。couchbase是memcache+erlang
做的持久化，开始的版本不太稳定，后来的稍微好点。
mongo完全自己从头用c++写的，以前版本的bug非常多，各种原因的crash, 不过我们还
好，使用的比较简单，主要是个分析系统在使，有几次crash是因为数据来的没有过滤
，加了objcheck = true基本稳定了。另外容易遇到连接未释放的情况，不过那些都是
node.js和python那边的问题。
另外据说mongo的锁是个大问题，不过我们基本都是几个节点，一个写，几个读。其他
的就是放aws上的存储，数据量不大放ebs上没问题，不过官方都不推荐，备份什么的用
mongodump数据都是非一致性的,想保持一致需要用10gen的mms服务。
大牛曾经力推Riak, 结果还没上线大牛被lay off了，不了了之。最后生产上用的最多
的还是aws的memcache cluster, 公司自己写的后台把数据持久化到rds上。 |
|
c***d
发帖数: 996 | 8 几年前facebook memcache farm也有类似的问题。因为memcached就是个有很多外部连
接的内存池。
whatsapp这种comet的应用前几年还觉得比较特殊（长连接多， 请求相对少），就是些
messenger app需要。 这几年好像更多了。因为mobile push notification 所以大家
支持mobile的服务器都要搞一搞这个？ |
|
c***d
发帖数: 996 | 9 几年前facebook memcache farm也有类似的问题。因为memcached就是个有很多外部连
接的内存池。
whatsapp这种comet的应用前几年还觉得比较特殊（长连接多， 请求相对少），就是些
messenger app需要。 这几年好像更多了。因为mobile push notification 所以大家
支持mobile的服务器都要搞一搞这个？ |
|
p*****2
发帖数: 21240 | 10 有redis 还需要memcache吗
我一直没有发现有memcache的需求 |
|
n****s
发帖数: 119 | 11 嗯，对。真的不知道为啥那么多人说是latency问题。
另外memcache不是一个好的方案。这类需要强consistency并且需要persistency的应用
，memcache搞不定的。
也不可能真用no SQL取代relational db. 铁道部的逻辑必然很复杂，肯定需要大量
join, no sql没法搞。
按车次sharding未必解决问题，因为买票的时候是按照城市搜索的。按照城市shard肯
定也不行。
我觉得12306已经很牛了。很多问题是无解的，只能tradeoff.
latency |
|
r***y
发帖数: 4379 | 12 同样套路
Evolution of The Twitter Stack
2006
Ruby on Rails
MySQL
2008+
Ruby on Rails
MySQL (TweetStore, Flock)
Redis, Memcache
2010+
Netty (reverse proxy)
JVM (java, scala)
MySQL (TweetStore, Flock, etc)
Redis, Memcache |
|
z***e
发帖数: 5393 | 13 Perl???这个不对吧,perl和python都是针对特定一些用途的service在用，很少有专门
基于这个的web.
php扩展性不成问题，实际上扩展性也不是靠php不php来决定，php作为页面语言，有快
速直接描述页面的好处(asp/jsp都是这样），和数据库接口那倒是不如RoR来得方便，
但是如前面说的,RoR的配置太头痛，我个人很讨厌配置繁琐的东西，宁可多写code，呵
呵。另外基本所有open source的为了scalability的东西(memcached/hessian/mina/
solr/etc.)都有php接口，也是比较方便的。
现在要我建一个web from scratch，我就考虑php或者RoR，其它的等需要再说。
scrum是一种开发方式和project management的模式，不是具体技术。 |
|
z****e
发帖数: 54598 | 14 内存数据库主要是key-value pair用来做memcache的
并不是真正用来做persistence的
这两个不在一个层面上 |
|
发帖数: 1 | 15 p都不懂的g东西
facebook最著名的paper之一memcache就是用来优化这个问题的
傻挫蠢！ |
|
e*******s
发帖数: 1067 | 16 我的recruiter联系我，让我找人给他，主要做database和网站的。
bay area 和 NYC
•Proficiency in Ruby/Rails
•JavaScript, jQuery, and some front-end development
•Knowledge/experience with redis, memcached, or any other NoSQL
systems
•Git experience (VCS experience is required)
沾边就联系一下，搞个面试练练手吧。站内回信。 |
|
b***d
发帖数: 186 | 17 本组招两个中级LINUX系统管理员。详情如下。如果你希望内推，请站内联系。请感兴
趣的别磨叽赶快申，晚了又给三哥抢走了。
http://careers.force.com/jobs/apex/ts2__JobDetails?jobId=a1k700
Job Title: Linux Systems Administrator
Job Category: Technical Operations
Location: US - California - San Mateo
Responsibilities:
- The Systems Administrator is responsible for all aspects of the production
data center services including servers, operating systems, storage, and
supporting systems.
- Troubleshoot internal and external applications, hardware problem... 阅读全帖 |
|
b***d
发帖数: 186 | 18 本组招两个中级LINUX系统管理员。详情如下。如果你希望内推，请站内联系。请感兴
趣的别磨叽赶快申，晚了又给三哥抢走了。
http://careers.force.com/jobs/apex/ts2__JobDetails?jobId=a1k700
Job Title: Linux Systems Administrator
Job Category: Technical Operations
Location: US - California - San Mateo
Responsibilities:
- The Systems Administrator is responsible for all aspects of the production
data center services including servers, operating systems, storage, and
supporting systems.
- Troubleshoot internal and external applications, hardware problem... 阅读全帖 |
|
j*****g
发帖数: 223 | 19 总结一下面试的准备活动,希望有帮助.
==================== AREAS/TOPICS to study/prep/review ====================
复习的东西还挺多的。比不过刚毕业的呀 :), 脑子不好使了，东西也差不多忘光了...
嘿嘿....
• Sorting
o Bubble/select/insertion/counting/qsort/heap/merge/bst
o Time/space complexity analysis
• Caching design
o Replacement policy (LRU, LFU, NRU, etc…)
o Efficiency/complexity/performance
o Distributed cache
o Hashing
• Multi-thread
o Locking/mutex/semaphore/critical sec... 阅读全帖 |
|
j*****g
发帖数: 223 | 20 总结一下面试的准备活动,希望有帮助.
==================== AREAS/TOPICS to study/prep/review ====================
复习的东西还挺多的。比不过刚毕业的呀 :), 脑子不好使了，东西也差不多忘光了...
嘿嘿....
• Sorting
o Bubble/select/insertion/counting/qsort/heap/merge/bst
o Time/space complexity analysis
• Caching design
o Replacement policy (LRU, LFU, NRU, etc…)
o Efficiency/complexity/performance
o Distributed cache
o Hashing
• Multi-thread
o Locking/mutex/semaphore/critical sec... 阅读全帖 |
|
d******a
发帖数: 238 | 21 If you don't mention you have such kind of experience in your resume, I
think the interviewer want to reject you on purpose.
google Squid and memcached, I think these might be what they want. |
|
c******n
发帖数: 4965 | 22 just check memcached
this is not an alg question, it's more about experience
partition key?
based
textbook has
(is |
|
|
W**********r
发帖数: 8927 | 24 这应该是一个Design讨论的问题，看一看现在popular的Memcached，应该是Design你的Hash table的Hash算法，能够给定一个Key，算出的Hash code也能告诉你到哪个Server去Search那的Local Cache，如果在那，Great，返回value，否则加到那个Cache里去。 |
|
f**********t
发帖数: 1001 | 25 memcache的方法如何实现LRU呢？非分布式可以用double linkedlist + hashtable，但
现在分布在不同server上，能也用一个double linkedlist么？如果不能的话，如何找
到Least recently used？ |
|
|
l*********t
发帖数: 371 | 27 search "memcached", which is a distributed cache system. |
|
g*****i
发帖数: 2162 | 28 看下wiki够了吗？我facebook面试就被问到了，当时他们也提了memcached，可惜当时
没看过。 |
|
E***X
发帖数: 885 | 29 I am posting the jobs for one of the best recruiters I have worked with.
Please contact Kathleen directly as following:
Kathleen Mitchell
Executive Recruiter
f******************[email protected]
Contact : 201 468 0519
High Frequency Connectivity Developer
The Quantitative Prime Services team is part of the Equities Technology
organization at Barclays Capital.
This team is responsible for the development and maintenance of a low
latency trading platform that
caters to clients engaged in high-frequency ... 阅读全帖 |
|
k***t
发帖数: 276 | 30 DHT 和 NoSQL 到底什么关系？
memcached是一种NoSQL。
cassandra是基于Hadoop的MySQL吗？
。。。 。。。 |
|
p*u
发帖数: 136 | 31 1，c++中static的作用。
2，设计一个distributed cache system。这个问得比较细，可以参考memcached的设计
。 |
|
w****o
发帖数: 2260 | 32 distributed cache system,
这个题能不能说的具体一点？要考虑什么？
就是问这个题的输入，输出分别是什么？有什么要求？
“memcached的设计"又是指的什么？ |
|
d*****y
发帖数: 205 | 33 接到了offer，想把这些天的经过介绍一下。最近身体不好，发个长文积攒点人品希望
快点好起来。
一、个人情况：
国内土博，有4年多在美国大学的工作经历也有国内工作经历。
Package就不说了每个人情况不同没有什么参考价值。
二、过程
2月中的时候recruiter联系我，被动应聘，
和recruiter聊了一次后，约onsite的时间，因为需要时间准备，约在了3月底（上上周
五23号）
Mountain View headquarter.
三、onsite
具体题目不便透露，但是整个面试过程我觉得还是有很多值得总结的地方，所以这里把
过程写出来，希望对其他人有所帮助。当然，每个人的经历都属于个例，虽然我和G里
面我的同学多次聊天（他经常做面试官），了解信息多些，但也属于个人观点，仅供参
考。
后面我记下来ONSITE经过的流水帐，这些流水帐我觉得对后面的讨论有帮助。
面试一共5人外加一个午餐陪同人员（不提供反馈），每个人45分钟。（据说面试人数
也可以是4人）。
题目总体上中规中矩，没有特别难的题目。
第1个人 5分钟他自我介绍，然后大概15分钟问了简历上的问题；然后一道算法+概率... 阅读全帖 |
|
w****o
发帖数: 2260 | 34 弱弱的问问什么是 memcache？如何实现的？出现在什么系统里？
有什么应用？
谢谢！ |
|
d*****y
发帖数: 205 | 35 我胡说几句，可能说得不对，请别介意。
个人觉得，最后一个large scale题目其实答得挺好的，这题不会太失分
如果是我答的话，第一个问题可能不会直接问面试官“DHT,还是cluster”，
这一步可能跳的有点快了，
第一个问题可能会问，key 是什么样的key，value包含哪些（正常的话，面试官会说
key是string，或者什么都可以，value也是什么都可以，之类的，这问题虽然简单，包
含很多信息，问一下这个问题，面试官很轻松的回答你，就表明往这个方向走是对的）。
我的猜测是，这个题不是要考你BigTable是怎么design的，那个估计很多人面试前都准
备过，
其实估计他就是想问最简单的DHT原理，这个题面的设计，甚至于不expect你懂得DHT，
否则他就直接问你tell me something about DHT
(G倾向问比较基本的概念和问题，就算背景是large system，别被现有成熟技术束缚，
想一下不是每个人都有large scale system的研究和工作背景，但是每个人都会被问到
这样的题目，如果有一个人是学EE的，来了也会被问这道题的，他压根就没听... 阅读全帖 |
|
d******a
发帖数: 238 | 36 没办法啊。行情就这样。有这时间研究下开源程序像memcached, libevent的架构和实
现要要意思的多。 |
|
h****e
发帖数: 928 | 37 本人不是专家，只是写一些自己准备的notes抛砖引玉。
首先，除非是面start-up，否则大公司里都已经有了现成的
处理large-scale system的framework，不太可能要求你build
everything from scratch。所以对于大部分码工面试来说
只要知道large-scale system design的一些基本原则和
common software packages就可以了。
为了尽快上手，建议翻看以下几本书：
Big Data Glossary
Hadoop the definitive guide
HBase the definitive guide
里面具体编程和系统配置之类的章节完全可以略过不看。看完
以后能解释一些重要的原则和关键词就可以了。例如：
Divide and conquer
MapReduce (Mapper & Reducer)
Consistent hashing or extensible hashing
sharding
NoSQL vs SQL
Gossip protocol
C10K problem (http:/... 阅读全帖 |
|
b*******d
发帖数: 750 | 38 发现现在行市和以前不同了，都是在问设计题，一问就一堆。。。
load balancer，distributed hash table （memcache），多线程 design，果然真正
难的是design。 |
|
b*******d
发帖数: 750 | 39 是个start up，不说名字了，不太好。
题目并不是太难。服务器端接受用户的刷卡服务。
customer1 使用了card1 make了一个purchase
customer2 使用了card2 make了一个purchase
customer3 使用了card1 make了一个purchase
customer1 使用了card2 make了一个purchase
。。。
这是个graph，里面有customer node和card node，上边的客户1 2 3 都是related
customer （connected in the graph）。
设计一个类，query customer id，返回所有related customer；添加一个新的
purchase （就是一个新的customer+card pair），能很快的将其index了。
我的做法是：所有connected 的customer构成一个cluster，created一个cluster id，
Map> M1 表达 （clusterId，customers）。
... 阅读全帖 |
|
b***i
发帖数: 10018 | 40 刚刚加了Data Research Scientist的Job description:
Research Scientist - Machine Learning at Tapjoy in San Francisco, CA
About Tapjoy
A SF-based Private company, Tapjoy (www.tapjoy.com) is the leader in
discovery, engagement, and monetization services for mobile applications.
The company's turnkey in-app advertising platform helps developers, agencies
and brands acquire cost-effective, high-value new users, drive engagement
within their applications, and create incremental income by providing an ad-
fu... 阅读全帖 |
|
P**********c
发帖数: 3417 | 41 We are hiring engineers at our Empire State Building office。有兴趣的可以找
我refer.
http://www.linkedin.com/jobs?viewJob=&jobId=3672269&trk=jobs_bi
Job Description
LinkedIn is excited about the talent we’re seeing in New York, and we’re
looking to add more top-tier engineers to our growing presence in the Empire
State Building.
We're proud of our distributed Java applications capable of serving billions
of page views to millions of LinkedIn members across browsers, iPads and
mobile devices.
You’ll be re... 阅读全帖 |
|
y***u
发帖数: 174 | 42 面过类似的，我倒是没考虑到LB会过载的情况，不愧是老同志了。不过要考虑可能LB的
vip出错。
balance算法没啥好说的吧，出错可能性不大。
AS那边可以考虑用strace来profile一下，看看哪个API耗时最多。另外apache有个ab命
令可以查request/sec, response time之类的，挺好的，可以用来investigate。
我当时说的其他可能的几个corner case是，一个是有没有用cache。如果某个新的
cache server上线，去这个server的request会有大量的cache miss。
另外还扯了一点怎么增速，比如说把动态内容变成静态啊，用memcache啊，或者利用
cache避免重复编译什么的。其他想不到了。。 |
|
s********k
发帖数: 6180 | 43 有没有搞错，C++底层哪里能驱逐C了，随便看看几个红得发紫的东西linux，memcache
的， nigix，从操作系统到网站缓存到http server，哪个不是C写的，更不要说多如牛
毛的驱动，嵌入式。还有广大的芯片公司做的各种无线的，3,4G的，AP什么的，C++基
本没有。
11 |
|
t*******7
发帖数: 108 | 44 站内联系
Software Engineer - Traffic Quality
Technology | Pasadena, CA
Job Responsibilities:
Develop infrastructure & platform software for online fraud detection that
ties closely with existing Ad Serving software
Develop large scale real time components to react to user behavior at run-
time
Develop and design fraud detection algorithms to parse through very large
quantities of data
Design and implement RESTful APIs that can scale to support hundreds-of-
thousands of concurrent users
... 阅读全帖 |
|
h***i
发帖数: 1970 | 45 Java要学的东西太多，光会core用处不大，起码Spring, JMS, Guava, RPC(Thrift,
avro), memcached，很多东西都必须涉猎。 |
|
h***i
发帖数: 1970 | 46 Java要学的东西太多，光会core用处不大，起码Spring, JMS, Guava, RPC(Thrift,
avro), memcached，很多东西都必须涉猎。 |
|
s********y
发帖数: 28 | 47 都是版上的，大牛帮忙解答下或者分享下链接啊。
[T] 然后问了一个开放问题，一个有缓存的微博 系统，请求多了
或者某块坏了，会有什么现象，以及什么应对措施。
memcached的fault detection? 具体怎么搞的？
[T] 如何找出最热门的话题(根据tweets)。如果一个话题一直热门，我们不想考虑怎么办
hot topic? 和hot tag/找 trend 有什么区别？
不考虑的话就直接看时间，大于某个threshold就不考虑了？
[T] 怎么找hot的tag（就是#tag这种）
[T] 如何抽取tweet上一个ID所关注的news，如何抽取这个ID喜欢什么topic
建立一个list of news这个id subscribe的不就行了？要用到topic model?
[T] 1 million followers, your twitter how to display in followers timeline?
push? what else?
[F] 任给一个手机的位置信号(经纬度)，需要返回附近5mile
的POI，怎么设计这样的系统
找到最近的serve... 阅读全帖 |
|
s*****n
发帖数: 5488 | 48 跪了。不看相关的资料真的没法答。比如说没用过memcached.什么是fault怎么知道？
么办 |
|
h*****a
发帖数: 1718 | 49 我不知道你是怎么理解platform的。各个大、中size的公司都有自己的platform，都是
在Linux之上的。我说的Platform和Infrastucture可以包括很多不同的service和tools
，比如NoSql DB, Distributed Memcache, Cloud 相关的tools, build/deployment
tools, Message Queue services, Monitoring Services... 这些各大公司都有自己的
solution，而且可能会使用很多open source的组件，但如何选择和组合open source的
东西也是很需要经验和能力的。长远来看，对种种open source 工具的了解和根据需求
作出正确选择的能力，是码工升级为Architect必不可少的要求。 |
|
e*******s
发帖数: 1067 | 50 我的recruiter联系我，让我找人给他，主要做database和网站的。
bay area 和 NYC
•Proficiency in Ruby/Rails
•JavaScript, jQuery, and some front-end development
•Knowledge/experience with redis, memcached, or any other NoSQL
systems
•Git experience (VCS experience is required)
沾边就联系一下，搞个面试练练手吧。站内回信。 |
|
