z*******3 发帖数: 13709 | 1 paxos和raft都是关于consensus的论文
其本质都是为了解决一个consensus的问题
分布式和单机最大的区别就在乎
分布式是由一堆nodes组成的网络,而单机很容易
就是一台破机器而已,所以单机不存在一个consensus的问题
而分布式的nodes众多,这么多个nodes互相之间肯定有分歧
如果摆平分歧,这就是consensus的过程
所有nodes提proposal,只要proposal#之间的先后顺序确定
就没有问题,用leader就是一种方式,那就是要vote,但是如果vote数量持平呢?
比如4个nodes,两个选a,另外两个选b呢?
然后paxos的垃圾之处就在于,它假设了这个global proposal#的顺序问题已经得到了
解决
就是假设数量持平的话,a和b在某种机制下会分出胜负来,而具体这个机制是什么
“不在本文讨论范围之内”,然后还很神秘地解释了,“有很多种方式可以搞定”
wtf?对,这也是我的想法,麻痹的这个如果得到了解决,还需要你说个p啊?
对,这就是paxos通篇废话的主因,因为最关键的问题,被它假设掉了
而且很搞笑的是,蓝胖子自己在他几十年... 阅读全帖 |
|
r***s 发帖数: 737 | 2 衰人连说两句。 Paxos 的话Wiki 里讲的比较浅显
如果嫌细节不够可以看Lamport后续的 Paxos Made Simple。
Raft 在 consensus protocol上和Paxos 没有区别, 只不过描述了一个fault
detection 算法, Lamport在文中已经证明过不管使用神马Fault Detection算法都不
影响协议正确性。而且那算法还不是他们头一个提出的
Zab也是一样的Paxos,在Multi-Decree leader changes 的时候略有修改。 其实他们
的修改也不是头一个提出的。微软研究院几年前有两篇 PacificA 和 Niobe就是一样的
东西, 无非保证顺序而已, |
|
t**r 发帖数: 3428 | 3 码农面试有被问到分布式系统的问题么?如果有,一般都问什么 比如问问paxos, 2pc
之类的概念?
谢谢 |
|
C*******n 发帖数: 193 | 4 最近面一数据库公司,聊了半小时paxos,找这方面工作的,这些还是要准备下 |
|
t**r 发帖数: 3428 | 5 哪个大牛能用10-20句话讲讲paxos?在说说和raft的比较。
面試问这个問題没有人能回答的很好 |
|
|
d********w 发帖数: 363 | 7 品味来了。
Basics and Algorithms
The Five-Minute Rule Ten Years Later, and Other Computer Storage Rules of
Thumb (1997): This paper (and the original one proposed 10 years earlier)
illustrates a quantitative formula to calculate whether a data page should
be cached in memory or not. It is a delight to read Jim Gray approach to an
array of related problems, e.g. how big should a page size be.
AlphaSort: A Cache-Sensitive Parallel External Sort (1995): Sorting is one
of the most essential algorithms in... 阅读全帖 |
|
a********5 发帖数: 1631 | 8 哈哈!我是PAXOS的最后一届,就是ANDERSON的最后一次,我大作业写得也是PAXOS,还
是用GO写得,那尼玛叫一个蛋疼,我们最后都不确定我们实现的是不是PAXOS。。。最
后拿了A,但是FB一直对我百般娇羞。。
后面变成KESDEN,PAXOS这个题目就消失了,取而代之的是HADOOP框架。。 |
|
h****g 发帖数: 105 | 9 先不说latex这些大家天天用的工具。就是paxos,意义也绝对不是你想的加加减减那么
简单。到目前为止还没有在分布式系统上面向容错,一致性,高可靠性的理论能取代
paxos的。现在比较流行的分布式管理系统zab zookeeper 之类,虽然不是paxos的实现
,但是很大程度上借鉴了paxos。其余的贡献比如bakery,logical clock和snapshot也
都是 被证明了得,正确的,分布式基础理论贡献。所以我认为还是实至名归。 |
|
h****g 发帖数: 105 | 10 先不说latex这些大家天天用的工具。就是paxos,意义也绝对不是你想的加加减减那么
简单。到目前为止还没有在分布式系统上面向容错,一致性,高可靠性的理论能取代
paxos的。现在比较流行的分布式管理系统zab zookeeper 之类,虽然不是paxos的实现
,但是很大程度上借鉴了paxos。其余的贡献比如bakery,logical clock和snapshot也
都是 被证明了得,正确的,分布式基础理论贡献。所以我认为还是实至名归。 |
|
m***a 发帖数: 13878 | 11 回国生活的过程并不是一帆风顺的,它包含着挺多的辛酸和适应过程,这是每一个回国
的人都会经历的。对于我这种在国外生活了十年,把美国的各种先进设施用尽其极的人
,就更显得失落和困难。习以为常的各种条件和设施忽然间没有了,花钱都买不到,你
想想是什么样的感觉?回家的第一天,累得精疲力尽到了家,把小莫奈从包里放出来,
就钻到床底下,糊了一身的灰,是什么样的感觉!
实话说,虽然国内很多方面比美国好,然而国内的居住条件和设施,很难达到美国的舒
适合理程度。国内很多设施设计不合理,不舒服,甚至破烂肮脏的情况比比皆是,很多
时候花很多钱还得不到合理的质量。所以寻找一个可以接受的住所,成为了我回国首先
需要解决的问题。
经过将近一个月,对全国主要城市的考察,我最后决定把成都和上海作为根据地。具体
的原因我就不多说了,免得引起这两个地方房价上涨 :P
我现在已经在成都初步建立起了自己的根据地,生活逐渐走上正轨。于是现在有点闲情
逸致,来谈谈我将要进行的计划。其实谈不上闲情逸致,因为我是扛着隔壁小区的建筑
噪音引起的早起和困倦在写这篇文章……
A 计划(新型数据库)
我现在最感兴趣的一件事情,也是技术难度最... 阅读全帖 |
|
|
z****e 发帖数: 54598 | 13 【 以下文字转载自 Programming 讨论区 】
发信人: zhaoce (米高蜥蜴), 信区: Programming
标 题: 来,周末福利,cap理论里面的三种策略
发信站: BBS 未名空间站 (Sun Oct 27 03:57:15 2013, 美东)
c+a = mvcc, multiple version concurrency control
简单说就是,每一次修改的时候,不加lock,在另外一个地方写新版本,等更新完成之
后,再把index定位到新版本上去,这样可以在大并发时候及时返回,现在主要db都这
个策略,但是这个麻烦是很难partition
a+p = 2pc, two phase commitment
简单说就是,每一次需要修改的时候,第一步,先向所有的nodes发送stop point,然
后反馈,收集到所有的nodes的反馈之后,再发送修改指令,commit,但是这种策略不
能保证所有的nodes上的数据都是一致的,只能认为他们都是一致的,因为无论多少次
commit,总存在一种可能,某一些nodes在commit之后,它fail to comm... 阅读全帖 |
|
z****e 发帖数: 54598 | 14 他论文写了至少十年,从ordering开始
先是ordering,然后拜占庭,然后才是paxos
前两个作为paxos的基础,我觉得都在扯蛋
尤其是ordering,拜占庭也没啥神奇的地方
因为paxos建立在前两者基础之上,而前两者有些概念很混乱
定义得跟你想得不是一回事,所以你会觉得故弄玄虚
我到现在还觉得那些他发明得概念属于扯蛋一类
换个名词可以更为直观和简洁 |
|
z****e 发帖数: 54598 | 15 他论文写了至少十年,从ordering开始
先是ordering,然后拜占庭,然后才是paxos
前两个作为paxos的基础,我觉得都在扯蛋
尤其是ordering,拜占庭也没啥神奇的地方
因为paxos建立在前两者基础之上,而前两者有些概念很混乱
定义得跟你想得不是一回事,所以你会觉得故弄玄虚
我到现在还觉得那些他发明得概念属于扯蛋一类
换个名词可以更为直观和简洁 |
|
z****e 发帖数: 54598 | 16 c+a = mvcc, multiple version concurrency control
简单说就是,每一次修改的时候,不加lock,在另外一个地方写新版本,等更新完成之
后,再把index定位到新版本上去,这样可以在大并发时候及时返回,现在主要db都这
个策略,但是这个麻烦是很难partition
a+p = 2pc, two phase commitment
简单说就是,每一次需要修改的时候,第一步,先向所有的nodes发送stop point,然
后反馈,收集到所有的nodes的反馈之后,再发送修改指令,commit,但是这种策略不
能保证所有的nodes上的数据都是一致的,只能认为他们都是一致的,因为无论多少次
commit,总存在一种可能,某一些nodes在commit之后,它fail to commit了,所以不
能保证consistency,目前比较常见的选择是cassandra
c+p = paxos, paxos algorithm
简单说就是,paxos算法,就是一种类似民主投票选举的策略,当需要修改的时候,
master node广播出去,最后只要收集到一... 阅读全帖 |
|
z*******3 发帖数: 13709 | 17 顺便说一句,你知道为什么总有人说paxos is really hard to implement吗?
我觉得跟我在去年说的那个前提假设密切相关
因为前提假设根本就是很难成立的,还impl个p
所以paxos完全就是一个扯,不过为了防止某人继续骗
来来来,把paxos用最通俗的话解释一遍,我来告诉你最核心的一个问题在哪
就是因为这个问题,你根本没办法实现,因为前提根本就不存在 |
|
d******c 发帖数: 2407 | 18 http://www.yinwang.org/blog-cn/2017/09/05/plans
商业计划
回国生活的过程并不是一帆风顺的,它包含着挺多的辛酸和适应过程,这是每一个回国
的人都会经历的。对于我这种在国外生活了十年,把美国的各种先进设施用尽其极的人
,就更显得失落和困难。习以为常的各种条件和设施忽然间没有了,花钱都买不到,你
想想是什么样的感觉?回家的第一天,累得精疲力尽到了家,把小莫奈从包里放出来,
就钻到床底下,糊了一身的灰,是什么样的感觉!
实话说,虽然国内很多方面比美国好,然而国内的居住条件和设施,很难达到美国的舒
适合理程度。国内很多设施设计不合理,不舒服,甚至破烂肮脏的情况比比皆是,很多
时候花很多钱还得不到合理的质量。所以寻找一个可以接受的住所,成为了我回国首先
需要解决的问题。
经过将近一个月,对全国主要城市的考察,我最后决定把成都和上海作为根据地。具体
的原因我就不多说了,免得引起这两个地方房价上涨 :P
我现在已经在成都初步建立起了自己的根据地,生活逐渐走上正轨。于是现在有点闲情
逸致,来谈谈我将要进行的计划。其实谈不上闲情逸致,因为我是扛着隔壁小区的建... 阅读全帖 |
|
z****e 发帖数: 54598 | 19 简单是简单,但是要说解决了什么
那还真没看出来,那些solution甚至都不叫solution
几乎就是大白话,然后给点定义
paxos也绕开了最难或者说效率最低的一块
就假设已经搞定了,直接拿来当前提
那一块到底有没有更优解,目前未知
如果能证明无更优解,我也不说啥
paxos现在看顶多是一个猜想
但是现有的东西不妨碍使用就是了,效率低点就低点 |
|
c*********d 发帖数: 9770 | 20 https://www.toutiao.com/i6507926128718512644/?iid=22819617214
中原新声2018-01-06 21:17:09
如果要我找出过去10年里在财富方面最让我后悔的2件事情:
第1,是2011年有几天曾使劲儿钻研比特币,确认不是骗局,那时候,比特币的价格是6
.9美元,然后,就丢开了;
第2,是2014年有一阵使劲儿钻研了瑞波币,确认不是骗局,那时候,瑞波币的价格是1
.1-1.3美分,然后,就丢开了。
恩,比特币2017年曾上涨到1.9万美元,现在是1.6万美元;
恩,瑞波币昨天上涨了64%,目前是3.6美元。
因为一堆一堆的虚拟币骗局出现,2014年之后我基本放弃了对这些数字货币的研究——
直到2017年下半年比特币大涨之后,我才重新拾起这些加密货币的知识,现在更是在从
头恶补关于区块链的一系列知识。
……
在《改造金融系统?区块链可以这样做》(参见文尾附文)一文中,我初步讲了区块链
技术的发展历史、核心价值以及应用场景,很多人说没有看懂,也没有感觉。
今天轻松一点儿,给大家讲讲美国印第安人的历史。
-------... 阅读全帖 |
|
w**********2 发帖数: 20 | 21 http://www.mitbbs.com/article_t/JobHunting/32134627.html
large scale 方面
我google 的看了 mapreduce, gfs, bigTable, Spanner, chubby. google 的东西不太
好懂,而且没有源码可以参考。我觉得除了MapReduce 和 GFS 外,其他的过一遍就差
不多了。
facebook 的看了 cassandra, 这个有源码可以看,但是好像 很多地方和paper上面已
经不一样了。
yahoo 的看了 zookeeper,
Amazon 的看了 Dynamo, 我感觉这个最好,paper 比较好懂
所有的paper都是讲large scale 设计中的几个重要问题,
route(consistent hashing 还是B+ tree 类似的lookup table),
consistency, replica 的策略,
failure detection 和应对,
如果做预处理提高读取效率,
master election 策略,
nodes communication ... 阅读全帖 |
|
p*****3 发帖数: 488 | 22 a + p用dynamoDB做例子比较好的感觉。
另外2pc不就是保证strong consistency而设计的吗,虽然会有commite失败的情况。感
觉paxos就是2pc的一个基于quorum的松散的实现,所以是partition tolerant.
DynamocDB为了保证任何时候可写,没有采用像paxos这样的大多数投票决策是否写的机
制,所以是high available和partition tolerant,但是不consistent |
|
t**r 发帖数: 3428 | 23 我膚淺的說一下 抛磚引玉
paxos 看论文paxos made simple
cassandra看论文 最好先看dynamo,partitioning的consistent hashing做得優化和
dynamo的不同,synchronization這部分和dynamo相似,都用vector clock.
dynamo 看论文.
spanner 看論文,
2pc 最簡單,看看wiki吧。
rift 很有意思,我實現瞭給個算法。還在完善中。 |
|
t**r 发帖数: 3428 | 24 我膚淺的說一下 抛磚引玉
paxos 看论文paxos made simple
cassandra看论文 最好先看dynamo,partitioning的consistent hashing做得優化和
dynamo的不同,synchronization這部分和dynamo相似,都用vector clock.
dynamo 看论文.
spanner 看論文,
2pc 最簡單,看看wiki吧。
rift 很有意思,我實現瞭給個算法。還在完善中。 |
|
|
d********w 发帖数: 363 | 26 http://dongfei.baijia.baidu.com/article/54768
提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多
东西发生了变化,版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平
台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补
充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop - 董飞的回答,为了给
大家有个铺垫,简单讲一些相关开源组件。
背景篇
Hadoop: 开源的数据分析平台,解决了大数据(大到一台计算机无法进行存储,一台计
算机无法在要求的时间内进行处理)的可靠存储和处理。适合处理非结构化数据,包括
HDFS,MapReduce基本组件。
HDFS:提供了一种跨服务器的弹性数据存储系统。
MapReduce:技术提供了感知数据位置的标准化处理流程:读取数据,对数据进行映射
(Map),使用某个键值对数据进行重排,然后对数据进行化简(Reduce)得到最终的
输出。
Amazon Elastic Map Red... 阅读全帖 |
|
d********w 发帖数: 363 | 27 http://dongfei.baijia.baidu.com/article/54768
提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多
东西发生了变化,版本也从0.x进化到目前的2.6版本。我把2012年后定义成后Hadoop平
台时代,这不是说不用Hadoop,而是像NoSQL (Not Only SQL)那样,有其他的选型补
充。我在知乎上也写过Hadoop的一些入门文章 如何学习Hadoop - 董飞的回答,为了给
大家有个铺垫,简单讲一些相关开源组件。
背景篇
Hadoop: 开源的数据分析平台,解决了大数据(大到一台计算机无法进行存储,一台计
算机无法在要求的时间内进行处理)的可靠存储和处理。适合处理非结构化数据,包括
HDFS,MapReduce基本组件。
HDFS:提供了一种跨服务器的弹性数据存储系统。
MapReduce:技术提供了感知数据位置的标准化处理流程:读取数据,对数据进行映射
(Map),使用某个键值对数据进行重排,然后对数据进行化简(Reduce)得到最终的
输出。
Amazon Elastic Map Red... 阅读全帖 |
|
w********c 发帖数: 2632 | 28 ☆─────────────────────────────────────☆
legion (legion) 于 (Fri Oct 15 00:32:55 2004) 提到:
it depends, just like Latex is more friendly than Tex. right? :D
☆─────────────────────────────────────☆
creation (yy) 于 (Fri Oct 15 19:03:08 2004) 提到:
you seriously understand his Paxos paper?
it this one that many (famous) reviewers don't understand
I can't even understand his "paxos made simple" ------- still trying :(
models
some of
☆─────────────────────────────────────☆
cdr (可读可写) 于 (Fr |
|
z****e 发帖数: 54598 | 29 其实我觉得isis那个算法比paxos要难多了
paxos直接回避了他算法中最困难的一步
那就怎么保证多个nodes的proposal#不互相冲突
剩下的都是扯蛋的东西,剩下的部分比较容易搞
他就写在论文里面了 |
|
z****e 发帖数: 54598 | 30 其实我觉得isis那个算法比paxos要难多了
paxos直接回避了他算法中最困难的一步
那就怎么保证多个nodes的proposal#不互相冲突
剩下的都是扯蛋的东西,剩下的部分比较容易搞
他就写在论文里面了 |
|
r***s 发帖数: 737 | 31 我擦, 你丫估计连时序逻辑和公平性是啥都不知道
就敢评论
Lamport. 真真正正的无知者无畏。 对他的争议
是有也轮不到你头上。 懂得比你多的人试图超越
他的人多了。
再问你一次,几十年以后时髦的raft 和Zookeeper
和几十年前的Paxos有什么区别?你丫连这也说不上也敢说看懂了Paxos? |
|
r***s 发帖数: 737 | 32 我今天真是闲得慌,最后一贴,懒得教育你们这帮自以为是的井底之蛙了
你回去看看他关于liveness的讨论,其中谈到了compete for
president的问题。你的所谓的疑问只影响livenss不影响saftey。因此不是
论文的核心问题,尽管如此他还是在文中和后续的论文里提出了一些建议,
比如在某个threshold 之内不提出新的ballot,比如exponential back off。
在这个基础上的改进是performance optimization
不是涉及整个体系的核心。
问你半天raft和zookeeper和paxos的区别,区别就在于前面两个对于paxos里面
只提出建议的部分做了补充和实验,没有改变核心算法。看来你是真不懂。
当然基于你对livenss 和 safety 的无知,这玩意儿肯定是对牛弹琴。我今天
就是吃饱了撑的
关于爱迪生,那是类似于steve jobs一类的人物。他的主要贡献在于技术的
大规模商业化,技术本身到在其次。
在我看来企业家(edison jobs之类)和设计师的贡献都比木匠大的多。
马公们自己当
木匠,就特崇拜木匠,觉得别人都一般... 阅读全帖 |
|
z*******3 发帖数: 13709 | 33
我再说一次,paxos这种东西,其实很容易figure out
不需要多聪明的脑袋,你自己都能想出来
就像这样,给你一个101个nodes的pool
你最少需要收集多少个nodes的votes才能通过?
当然是51个了,而不是101个
而如何保证你发起以及收集这些votes的过程公平以及可实现
这种所谓的performance optimisation才是最关键的问题
别自欺欺人了,这种数学档次放到统计系去,估计连master论文都不给过
也就是cs当年没啥人搞,然后阿猫阿狗都出来骗funding
所有人看完论文都是觉得,就这玩意?还要写出来?
后来人对于paxos的改造,正好就做了非常切合现实的修改
使得整个algorithm可以被impl,因为他提的几个建议都是jokes
他自己也觉得,哎呀,这个关键问题木有解决,丢人啊
洗地不用那么勤快了,没有工资拿的,阿三最近又裁员了
当初看文章之前,我就自己想了一遍,然后带着这个疑问去看
结果妈蛋,最重要的一步被回避了,其他的说了那么有个卵用啊
我们用个比喻,tcp出来说,我这个协议解决了丢包重传问题
然后我只懂udp,然后带着疑问去看tc... 阅读全帖 |
|
z*******3 发帖数: 13709 | 34 那就这样吧
先把vert.x搞清楚
搞明白了vert.x,你就至少弄明白了async和thread pool
然后进阶,把streaming给搞明白
这个vert.x中也有
然后琢磨清楚vert.x是如何对付udp, tcp, http, websocket这几块的
话说websocket真垃圾,用的是http 1.1的协议,http2比1强太多
2就适合用来搞streaming了
这就是网络,网络不需要特别底层,但是从tcp,udp/ip以上就需要你最好弄清楚
然后把web service大概弄弄,会用到json和xml
这是网络,切记,结合vert.x去搞,看看vert.x是怎么搞的
vert.x的文档例子都很全面,遇到不懂的,查,问,发邮件问你以前大学的叫兽
想办法搞懂
这是网络部分
然后数据部分,这个没那么容易
先把paxos和cap搞懂,各种trade off琢磨清楚
paxos太理论,而且故弄玄虚,搞懂raft,想明白为什么raft那样搞
这个比较实际,然后弄明白cassandra以及hdfs,弄清楚这两个跟一般的rdbms有什么区别
区别点从join和transactio... 阅读全帖 |
|
z*******n 发帖数: 1034 | 35 Facebook Announces Apollo, a New NoSQL Database for On-line Low Latency
Storage
by Charles Humble on Jun 13, 2014 | Discuss
Speaking at QCon New York on Wednesday Jeff Johnson, from the core data
group at Facebook, announced Apollo, Facebook’s Paxos-like NoSQL database.
Written in C++11 on top of the Apache Thrift 2 RPC framework, Apollo is a
hierarchical storage system where all the data is split into shards, very
much analogous to region servers in HBase. The sweet-spot for it, Johnson
expl... 阅读全帖 |
|
s******c 发帖数: 1920 | 36 众望所归,Latex多重要就不说了, BFT, Paxos 都是神作。一个人能贡献这么多也真
是奇迹。难怪我软今天大涨lol。只怕阿三米犹以后再也不养这样的牛人,宁可从icc招
更多的三哥 |
|
|
s******c 发帖数: 1920 | 38 擦,他拿奖是这么多年最没争议的。n年前大家就都认为他一定会拿了。
flg写分布式系统都要用到的chubby或者zookeeper,就是他搞出的paxos算法的实现 |
|
s******c 发帖数: 1920 | 39 分布式系统的东西一个主要问题是情况太复杂,至今没有一个公认的数学模型。leslie
已经是分布式研究者里面最向这个方向努力的了,算是奠基人了,也因此拿奖。逻辑
钟,拜占庭将军问题,paxos,就是把分布式系统问题高度抽象了表现出来,但也已经
足够难了。 |
|
s******c 发帖数: 1920 | 40 能看懂说明简单优美,为什么要崇尚看不懂的东西呢?
你如果觉得这些算法太trivial,可以去想算法改进。比如如何去掉paxos的leader,达
到完全分布式。chubby的性能就可以大大提高。 |
|
w********9 发帖数: 8613 | 41 “”“”“”“”“
十六世纪初葡萄牙人来中国时,跟着中国人川走南海航线,不少中国人所惯用地名岛名
被释成葡文,1541年葡萄牙地图中的Paxo即海南渔民方言巴峙或巴屿。1561年《亚细亚
地图》中PuloMoi即渔民方言猫注(永兴岛)。。表明葡萄牙人东来之前,我国人民已在
西沙和南沙群岛从事渔业生产.
在明清时代,每年立冬或冬至时节,海南渔民就趁东北风扬帆南下,直至翌年清明或端
阳节前后,再趁西南信风回航。在生产过程中,一般是先至南沙群岛,后移至西沙群岛
。南沙群岛由于范围广,船队到后即分东、西、南三线分散作业。由于生产需要,有的
渔民还长期住在岛上。
”“”“”“”“”“”“” |
|
c****x 发帖数: 6601 | 42 其实不一样。
流水线上的工人只管一段,重复劳作。
现在码龙动不动就要全栈。
流水线上工人那是真不懂原理。码农的知识水平,看懂RSA,ECC,paxos,写jni,调汇
编,反编译,操作系统的知识都还是具备的。
理当比汽车工人工资高。 |
|
s***h 发帖数: 487 | 43 新兴马工公司,特别是新 team,确实喜欢 Full Stack Engineer,恨不得做
Numerical Solver 微分方程的,还能兼职写 SQL,真心话。
不过这个也是虎肉的双赢。新兴马工公司招人是说得信誓旦旦仿佛明天就能上天揽月,
其实真心话是都在老虎吃天不知道怎么下爪。当然这也是废话,知道怎么下爪还需要找
full stack engineer 干啥?找个蓝翔熟练工即可。
: 其实不一样。
: 流水线上的工人只管一段,重复劳作。
: 现在码龙动不动就要全栈。
: 流水线上工人那是真不懂原理。码农的知识水平,看懂RSA,ECC,paxos
,写jni
,调汇
: 编,反编译,操作系统的知识都还是具备的。
: 理当比汽车工人工资高。
|
|
g******t 发帖数: 11249 | 44 Data Scientist也是一样啊
从分布式计算,数据挖掘,机器学习什么都要做
paxos |
|
c****x 发帖数: 6601 | 45 真不一定。
不妨写个KMP或paxos算法来试试,看看你一周能不能写出来。 |
|
|
|
|
|
d********w 发帖数: 363 | 50 coding:
- JOIN: nested join, hash join, sort-merge join
- Number: Fibonacci, prime,随机取文件某一行
- String: strstr, wordcount
- Tree: height, lca, balance tree
- Heap: 查找最大的k个数
- DP: 最大连续子串和
- array: find a key in rotated array, 去除重复字符
- linkedlist: 是否有环,插入结点,删除重复结点
- 递归回溯:变化很多,这方面需要大量练习
知识性:
多线程,mutex/semaphore
java GC
C++ virtual, smart pointer
regex使用
数据库:知道btree, 索引
search engine: 倒排表,拉链,稀疏索引,空间向量模型,tf*idf,
large scale data: hash, consistent hash, bloom filter, bitmap, 外排序,
partition
分布式:CAP理论,gos... 阅读全帖 |
|