p*****2
发帖数: 21240 | 1 没用过真是一点办法也没有，用过了就是不一样，只是用过一点也会很不一样，比纸上
谈兵要好很多。感觉下边几个方面都比较重要。
1. NO SQL:
K/V store: Memcached, Redis
Document based: Mongodb, CouchDB (zhaoce大牛最钟爱的）
Column based: HBase, Cassandra
Graph based: Neo4j
2. BigData
Hadoop including HDFS and Mapreduce (800题大牛的钟爱）
HBase
Hive, Pig, Cascalog etc
Data mining
3. Concurrency
Multi threading: Java, C++
Actor model: Scala AKKA, Erlang
Reactor model: Node.js, Ruby eventmachine, Python twisted
STM: Clojure, Haskell
4. Distributed computing
很多技术的融合，这个应该800题大牛来讲讲，看他最近在研究zookeeper
主要考虑的是reliability, scalability, concurrency, high availability, low
latency, high throughput, fault tolerance, fail over 等等，比较杂。需要对各
种技术的了解，根据需求能够给出一个比较好的方案出来，很多tradeoffs在里面。
总之，没有经验的跟有经验的没法比，基本一个照面就跪了。 |
z****e
发帖数: 54598 | 2 我明明最喜欢的是cassandra
couchdb那个是量体裁衣
那个楼主适合用couchdb，它会js，用这个刚好
如果让我选择nosql，我一般用cassandra
我不是很喜欢hbase，跟hadoop绑定太强了，难剥离
另外我对waterloo u那帮人没有太多信心 |
r******d
发帖数: 308 | 3 Non SQL and big data 有很多公司在用吗？
看来还还是都在用oracle 还有sql server啊 |
p*****2
发帖数: 21240 | 4
你看的什么公司呀？我上一家公司还在用90年代的设计呢
【在 r******d 的大作中提到】
: Non SQL and big data 有很多公司在用吗？
: 看来还还是都在用oracle 还有sql server啊
|
l*****a
发帖数: 14598 | 5 除了java/c++似乎都不知道
是不是吃不上饭了?
【在 p*****2 的大作中提到】
: 没用过真是一点办法也没有，用过了就是不一样，只是用过一点也会很不一样，比纸上
: 谈兵要好很多。感觉下边几个方面都比较重要。
: 1. NO SQL:
: K/V store: Memcached, Redis
: Document based: Mongodb, CouchDB (zhaoce大牛最钟爱的）
: Column based: HBase, Cassandra
: Graph based: Neo4j
: 2. BigData
: Hadoop including HDFS and Mapreduce (800题大牛的钟爱）
: HBase
|
p*****2
发帖数: 21240 | 6
java/C++ concurrency大牛也很牛呀
【在 l*****a 的大作中提到】
: 除了java/c++似乎都不知道
: 是不是吃不上饭了?
|
r******d
发帖数: 308 | 7 金融相关的公司， 还有政府部门的
看到的对数据要求比较高的公司都不是开源的数据库
【在 p*****2 的大作中提到】
:
: java/C++ concurrency大牛也很牛呀
|
p*****2
发帖数: 21240 | 8
那就难怪了
【在 r******d 的大作中提到】
: 金融相关的公司， 还有政府部门的
: 看到的对数据要求比较高的公司都不是开源的数据库
|
m******3
发帖数: 184 | 9 赞，总结的挺好。
【在 p*****2 的大作中提到】
: 没用过真是一点办法也没有，用过了就是不一样，只是用过一点也会很不一样，比纸上
: 谈兵要好很多。感觉下边几个方面都比较重要。
: 1. NO SQL:
: K/V store: Memcached, Redis
: Document based: Mongodb, CouchDB (zhaoce大牛最钟爱的）
: Column based: HBase, Cassandra
: Graph based: Neo4j
: 2. BigData
: Hadoop including HDFS and Mapreduce (800题大牛的钟爱）
: HBase
|
g*********e
发帖数: 14401 | 10 就那么几家大的网络公司用吧 其他的根本不需要
【在 r******d 的大作中提到】
: Non SQL and big data 有很多公司在用吗？
: 看来还还是都在用oracle 还有sql server啊
|
|
|
e********3
发帖数: 229 | 11 这些东西，自己一个人怎么学？nosql，bigdata没有一个cluster和一个project，学不
了吧 |
p*****2
发帖数: 21240 | 12
所以我说需要经验呀
【在 e********3 的大作中提到】
: 这些东西，自己一个人怎么学？nosql，bigdata没有一个cluster和一个project，学不
: 了吧
|
m******3
发帖数: 184 | 13 you don't really need a "real" cluster.
you can use VMs, or free online cloud service (Amazon EC2 and etc).
【在 e********3 的大作中提到】
: 这些东西，自己一个人怎么学？nosql，bigdata没有一个cluster和一个project，学不
: 了吧
|
e********3
发帖数: 229 | 14
Does ec2 offer free cluster? Even though you have a cluster, what are you
going to do on that cluster? No idea how to learn that by myself. Any
suggestion?
【在 m******3 的大作中提到】
: you don't really need a "real" cluster.
: you can use VMs, or free online cloud service (Amazon EC2 and etc).
|
e********3
发帖数: 229 | 15
我看你都在写总结，还说只用过一点点也会很不一样，以为你是自己捣鼓自己学的。。
求大神指导如何自学
【在 p*****2 的大作中提到】
:
: 所以我说需要经验呀
|
c*****a
发帖数: 808 | 16 我以前是这样学的
start amazon emr cluster
connect to the master node
run hive query / write hadoop java code, export it to a jar file and upload
to master node for execution |
e********3
发帖数: 229 | 17
upload
我不清楚具体hadoop在工作中怎么用到或是在面试中怎么面到，我之前也在emr上写过
点hive，觉得如果就会写点hive就算会hadoop，是不是扯了点？是不是和有些什么
detail的我没接触到？
【在 c*****a 的大作中提到】
: 我以前是这样学的
: start amazon emr cluster
: connect to the master node
: run hive query / write hadoop java code, export it to a jar file and upload
: to master node for execution
|
p*****2
发帖数: 21240 | 18
我觉得如果你能用hive解决大问题，其实也很牛了。
【在 e********3 的大作中提到】
:
: upload
: 我不清楚具体hadoop在工作中怎么用到或是在面试中怎么面到，我之前也在emr上写过
: 点hive，觉得如果就会写点hive就算会hadoop，是不是扯了点？是不是和有些什么
: detail的我没接触到？
|
p*****2
发帖数: 21240 | 19
自学很难。除非你有project。
【在 e********3 的大作中提到】
:
: upload
: 我不清楚具体hadoop在工作中怎么用到或是在面试中怎么面到，我之前也在emr上写过
: 点hive，觉得如果就会写点hive就算会hadoop，是不是扯了点？是不是和有些什么
: detail的我没接触到？
|
e********3
发帖数: 229 | 20
换了头像不看名字还认不出来了。求带project.
【在 p*****2 的大作中提到】
:
: 自学很难。除非你有project。
|
|
|
p*****2
发帖数: 21240 | 21
最好找家公司能用到这些最新技术的。像800题大牛这样硬学成才的还真少见。
【在 e********3 的大作中提到】
:
: 换了头像不看名字还认不出来了。求带project.
|
a********9
发帖数: 129 | 22 其实有点纳闷 很多人简历上根本没写distrubuted的项目，然后gf screem了你的简历
给你面试 如果system design又问的很深很细节 这不是耍我们么 |
p*****2
发帖数: 21240 | 23
screen你的是recruiter，面你的是engineer，根本就不是一个人呀。
【在 a********9 的大作中提到】
: 其实有点纳闷 很多人简历上根本没写distrubuted的项目，然后gf screem了你的简历
: 给你面试 如果system design又问的很深很细节 这不是耍我们么
|
p*****3
发帖数: 488 | 24
我只想说一句话...
"二爷，你饶了我吧。。。。"
【在 p*****2 的大作中提到】
: 没用过真是一点办法也没有，用过了就是不一样，只是用过一点也会很不一样，比纸上
: 谈兵要好很多。感觉下边几个方面都比较重要。
: 1. NO SQL:
: K/V store: Memcached, Redis
: Document based: Mongodb, CouchDB (zhaoce大牛最钟爱的）
: Column based: HBase, Cassandra
: Graph based: Neo4j
: 2. BigData
: Hadoop including HDFS and Mapreduce (800题大牛的钟爱）
: HBase
|
p*****2
发帖数: 21240 | 25
靠。别人又要说peking2和peing3互掐了。
【在 p*****3 的大作中提到】
:
: 我只想说一句话...
: "二爷，你饶了我吧。。。。"
|
k*********6
发帖数: 738 | 26 严重同意。是的。 没有经验的跟有经验的没法比，基本一个照面就跪了。 没用过真是
一点办法也没有，用过了就是不一样，只是用过一点也会很不一样，比纸上谈兵要好很
多。-二爷原话真是一个字都不用改：-）
有人说system design也考一个你没见过的，看你怎么解决一个从没见过问题的思路。
其实基本是胡扯。比如考你search里设计index,不懂inverted index,那怎么答也着不
着边，要是能面试几分钟自己想的出个inverted index,那也不用再那里被面试了，就
是几十年难得一见的大牛了。
碰到个你做过的system design题和一点没做过， 那就是天上地下。我个人觉得，
system design就是考经验。
【在 p*****2 的大作中提到】
: 没用过真是一点办法也没有，用过了就是不一样，只是用过一点也会很不一样，比纸上
: 谈兵要好很多。感觉下边几个方面都比较重要。
: 1. NO SQL:
: K/V store: Memcached, Redis
: Document based: Mongodb, CouchDB (zhaoce大牛最钟爱的）
: Column based: HBase, Cassandra
: Graph based: Neo4j
: 2. BigData
: Hadoop including HDFS and Mapreduce (800题大牛的钟爱）
: HBase
|
p*****3
发帖数: 488 | 27
我觉得你可以像二爷一样多在版上分享一些经验，当然可能会有些无聊的人会到处乱喷
，不过好处总是大于坏处。
【在 k*********6 的大作中提到】
: 严重同意。是的。 没有经验的跟有经验的没法比，基本一个照面就跪了。 没用过真是
: 一点办法也没有，用过了就是不一样，只是用过一点也会很不一样，比纸上谈兵要好很
: 多。-二爷原话真是一个字都不用改：-）
: 有人说system design也考一个你没见过的，看你怎么解决一个从没见过问题的思路。
: 其实基本是胡扯。比如考你search里设计index,不懂inverted index,那怎么答也着不
: 着边，要是能面试几分钟自己想的出个inverted index,那也不用再那里被面试了，就
: 是几十年难得一见的大牛了。
: 碰到个你做过的system design题和一点没做过， 那就是天上地下。我个人觉得，
: system design就是考经验。
|
d*******r
发帖数: 3299 | 28 Mark...
800题大牛 == peking3 ?
【在 p*****2 的大作中提到】
: 没用过真是一点办法也没有，用过了就是不一样，只是用过一点也会很不一样，比纸上
: 谈兵要好很多。感觉下边几个方面都比较重要。
: 1. NO SQL:
: K/V store: Memcached, Redis
: Document based: Mongodb, CouchDB (zhaoce大牛最钟爱的）
: Column based: HBase, Cassandra
: Graph based: Neo4j
: 2. BigData
: Hadoop including HDFS and Mapreduce (800题大牛的钟爱）
: HBase
|
g**e
发帖数: 6127 | 29 没有distributed queuing, messaging system, rules engine? 这都是常见考点，也
是实实在在工作中的问题。
另外finance也开始adopt cloud, big data了。Nasdaq用S3保存所有transaction记录
，用EMR做查询。某著名投行开始用AWS整合他们的main frame.
【在 p*****2 的大作中提到】
: 没用过真是一点办法也没有，用过了就是不一样，只是用过一点也会很不一样，比纸上
: 谈兵要好很多。感觉下边几个方面都比较重要。
: 1. NO SQL:
: K/V store: Memcached, Redis
: Document based: Mongodb, CouchDB (zhaoce大牛最钟爱的）
: Column based: HBase, Cassandra
: Graph based: Neo4j
: 2. BigData
: Hadoop including HDFS and Mapreduce (800题大牛的钟爱）
: HBase
|
r******d
发帖数: 308 | 30 Big data analysis played a large role in Barack Obama's successful 2012 re-
election campaign.[51]
http://en.wikipedia.org/wiki/Big_data
怎么这么神奇呢？ 看来要看看到底是什么东西了
有没有大牛share一下科普级别的link看看？ 那个wiki上就说了google做了个
MapReduce大家竞相模仿 |
|
|
p*****2
发帖数: 21240 | 31
大牛给讲讲呀
【在 g**e 的大作中提到】
: 没有distributed queuing, messaging system, rules engine? 这都是常见考点，也
: 是实实在在工作中的问题。
: 另外finance也开始adopt cloud, big data了。Nasdaq用S3保存所有transaction记录
: ，用EMR做查询。某著名投行开始用AWS整合他们的main frame.
|
