由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 应该给魏大师发10个图灵奖。
相关主题
顺便和nod101说说做产品(zz)王垠:我和权威的故事
魏公公把吹的牛逼给圆了吧,我就看到魏公公下面没有了。这坑实在没劲,都是些嘴炮王
问个master-slave的简单问题问魏老师个问题,跟赌约无关
太监语录请老魏给出一个简单的文字解释
清净版:写一个Complete Failover Handbook吧对非程序员而言,好虫的架构很有问题
想请教魏老师一个方案中的理解问题。魏老师图灵奖级别的分布式理论在此
qxc,我接招了,你给的要求太弱的,给你加强了Consistency做好了不容易
做项目的土鳖不和你们开了GOD模式的瞎掺和了静态计数器和订票系统的区别
相关话题的讨论汇总
话题: dc话题: 写盘话题: 老师话题: ack话题: 大师
进入Programming版参与讨论
1 (共1页)
g*****g
发帖数: 34805
1
魏老师拍了一下脑袋,在两天的世界内,从完全对server app, cloud, NoSQL没有经验
的处男,一举成长为史上最牛逼的计算机科学家和工程师。我在这里列举一下魏老师的
成就,从小的说起。首先,魏老师做了一个比Cassandra快1-2数量级的NoSQL。

发信人: TeacherWei (TW), 信区: Programming
标 题: Re: 好虫,看看你的东东有没有问题?
发信站: BBS 未名空间站 (Fri Nov 22 16:52:13 2013, 美东)
说了这么多你还是没抓住重点。
我的系统也是NoSQL。Cassandra那点玩意儿做一个比他快1-2个数量级的也没问题。

其实,魏老师谦虚了。魏老师的单机系统,每秒处理500万,比起我们公司用Cassandra
288台机器才勉强撑到100万,是三个数量级的区别。从cassandra能值个5亿,魏老师
这NoSQL DB快1000倍,少说也值100亿吧?而且是2万刀一下的平民级硬件就攒出来了,
多一分也不行,必须的。
[
发信人: TeacherWei (TW), 信区: Programming
标 题: Re: 想请教魏老师一个方案中的理解问题。
发信站: BBS 未名空间站 (Wed Nov 27 16:22:57 2013, 美东)
按照我给定的问题的限制条件(紧耦合数据),这是世界上性能最好的方案了。
没有之一。而且,现实中,任何系统都有可能出上限。又不会死,只不过用户
多等一会儿。
我这个方案,每天500万张票在1秒中内出完。1000万张2秒钟内出完。
]
然而,这仍然完全低估了魏老师的价值。根据魏老师给的数据。nasdaq的最高纪录也不
过每秒58万单子,全天8.7亿。魏老师单机500万的速度。直接就提供了10倍的余量,史
上单子最多的时候,也不过3分钟就能处理完。nasdaq自己说用了几千个节点来做
exchange,换了魏老师的,一台机器,最多两台备份就完了。处理订单和数据都在一台
机器上,什么db2, oracle, 统统不需要。两万块的机器显然不算什么,最值钱的那就
是魏老师这个核心软件。魏老师要是自己开个exchange,就这点流量,那延迟还不得秒
杀nasdaq, nyse. ndaq之所以还没倒闭,全靠魏老师不出手呀。就冲这个,光收保护费
,魏老师至少也值1000亿。

http://www.mitbbs.com/article_t/Programming/31285523.html
Records
Order Volume 871,875,595
Orders per Second 581,696]
然而只是在工程上牛屄,不能证明魏老师的价值。魏老师又顺手把前人证明过的CAP
theorem给击破了。理论上的价值,堪比证明了P=NP 。这使我深深地相信,永动机是可
能的,只要魏老师想。
最后总结一下魏老师的成就。跟Knuth比,魏老师的理论贡献相当。然而工程上的贡献
,Knuth不如其十一。所以我觉得,今后十年的图灵奖都应该发给魏老师。
魏老师这些成就,一辈子做出一个,这里所有人都得给跪了。何况在两天之内从无到有
。像魏老师这种价值千亿的,分分钟都是几百万,肯陪我们谈技术,大家要当作珍稀动
物好好爱护和珍惜。
有鉴于此,我决定以后改称魏老师魏大师。
g*****g
发帖数: 34805
2
顺带说一下,魏老师本来是写客户端的,最多的时候每天给exchange发上百万的订单。
两天之内就成长为server端的极品大牛,自己那一天单子,0.2秒就给处理了。欢迎魏
老师给大家传授经验。
v*****o
发帖数: 113
3
haha, good one
T********i
发帖数: 2416
4
求求你别在这丢人现眼行不行?卖股票的复杂度能和卖车票比?
有本事分析一下我的方案是否牺牲了C或者P?成天在这里PA显示你素质高么?

【在 g*****g 的大作中提到】
: 魏老师拍了一下脑袋,在两天的世界内,从完全对server app, cloud, NoSQL没有经验
: 的处男,一举成长为史上最牛逼的计算机科学家和工程师。我在这里列举一下魏老师的
: 成就,从小的说起。首先,魏老师做了一个比Cassandra快1-2数量级的NoSQL。
: [
: 发信人: TeacherWei (TW), 信区: Programming
: 标 题: Re: 好虫,看看你的东东有没有问题?
: 发信站: BBS 未名空间站 (Fri Nov 22 16:52:13 2013, 美东)
: 说了这么多你还是没抓住重点。
: 我的系统也是NoSQL。Cassandra那点玩意儿做一个比他快1-2个数量级的也没问题。
: ]

g*****g
发帖数: 34805
5
原来大师也有不懂的东西呀,partition tolerance说的是partition的时候,各个分裂
系统继续
独立工作。
您老的系统,一旦出现DC之间互相不通,您老的系统就撂担子不干了。您老认定自己的
系统是eventual consistency的,
但其实是不支持P呀。
但为啥您老的系统看似可行呢,还不是那无敌500万的处理能力,比俺们凡人写的快
1000倍吗?处理能力上去了,就相当于票下来了。用普通人可以理解的方式说,就是问
春运每天10000票,最高每秒1000张,每秒能处理5000张,怎么弄?我同样会说让它跑
两秒就完了,一个
简单standby足够,需要啥partition tolerance。所以大师说银河系的票卖不了,天朝
的没压力是恰如其分的。天朝
这点票不需要大师上分布式,可不迎刃而解吗。大师的500万排山倒海,本来就是无敌
的。
还有大师怎么能说我是PA呢,难道复述大师的言论也是对大师不敬吗?

【在 T********i 的大作中提到】
: 求求你别在这丢人现眼行不行?卖股票的复杂度能和卖车票比?
: 有本事分析一下我的方案是否牺牲了C或者P?成天在这里PA显示你素质高么?

w**z
发帖数: 8232
6
大过节的,还灌呐。文采不错。

【在 g*****g 的大作中提到】
: 魏老师拍了一下脑袋,在两天的世界内,从完全对server app, cloud, NoSQL没有经验
: 的处男,一举成长为史上最牛逼的计算机科学家和工程师。我在这里列举一下魏老师的
: 成就,从小的说起。首先,魏老师做了一个比Cassandra快1-2数量级的NoSQL。
: [
: 发信人: TeacherWei (TW), 信区: Programming
: 标 题: Re: 好虫,看看你的东东有没有问题?
: 发信站: BBS 未名空间站 (Fri Nov 22 16:52:13 2013, 美东)
: 说了这么多你还是没抓住重点。
: 我的系统也是NoSQL。Cassandra那点玩意儿做一个比他快1-2个数量级的也没问题。
: ]

g*****g
发帖数: 34805
7
大师从半海那里学了个master-slave,leader election的名字。居然马上就做出了跨
DC的failover。真是学得快呀?
大师说了要串一串,像一个圈圈那样,要N个。大师我跟你说,直接把所有DC两两专线
,弄成个局域网就完了,你机器要省钱,2万以下,必需的。这个多DC,路由,专线什
么可都是要的最好硬件,还串糖葫芦呢?
大师虽然是master,但是不懂这个master-slave里,所有的master都不会因为失去跟
slave联系而撩担子不干了。网络partition了,会出现多个master独立工作,这才叫
partition tolerance。等网络好了,master跟master重新election,只有一个master
能继续做master。对过去处理的数据这时候才能reconcile,这才叫eventual
consistency。可惜大师的机器太快,每秒500万,两秒就卖完了。这要网络一断,多个
master出现,几千万的重票就卖出来了,是万万使不得呀。
b*******s
发帖数: 5216
8
其实不会发生,我前两天想过

master

【在 g*****g 的大作中提到】
: 大师从半海那里学了个master-slave,leader election的名字。居然马上就做出了跨
: DC的failover。真是学得快呀?
: 大师说了要串一串,像一个圈圈那样,要N个。大师我跟你说,直接把所有DC两两专线
: ,弄成个局域网就完了,你机器要省钱,2万以下,必需的。这个多DC,路由,专线什
: 么可都是要的最好硬件,还串糖葫芦呢?
: 大师虽然是master,但是不懂这个master-slave里,所有的master都不会因为失去跟
: slave联系而撩担子不干了。网络partition了,会出现多个master独立工作,这才叫
: partition tolerance。等网络好了,master跟master重新election,只有一个master
: 能继续做master。对过去处理的数据这时候才能reconcile,这才叫eventual
: consistency。可惜大师的机器太快,每秒500万,两秒就卖完了。这要网络一断,多个

g*****g
发帖数: 34805
9
你想错了,他那个3个DC,两两相连,一旦出现跟其他俩DC连接中断就不干活的做法是
不可取的。
因为前端还能连过来,你有资源能全套处理。分布式系统,partition tolerance是必
须支持的。
可以妥协的只有C和A。

【在 b*******s 的大作中提到】
: 其实不会发生,我前两天想过
:
: master

z****e
发帖数: 54598
10
魏老师的酱油是越来越难打了

【在 g*****g 的大作中提到】
: 魏老师拍了一下脑袋,在两天的世界内,从完全对server app, cloud, NoSQL没有经验
: 的处男,一举成长为史上最牛逼的计算机科学家和工程师。我在这里列举一下魏老师的
: 成就,从小的说起。首先,魏老师做了一个比Cassandra快1-2数量级的NoSQL。
: [
: 发信人: TeacherWei (TW), 信区: Programming
: 标 题: Re: 好虫,看看你的东东有没有问题?
: 发信站: BBS 未名空间站 (Fri Nov 22 16:52:13 2013, 美东)
: 说了这么多你还是没抓住重点。
: 我的系统也是NoSQL。Cassandra那点玩意儿做一个比他快1-2个数量级的也没问题。
: ]

相关主题
想请教魏老师一个方案中的理解问题。(zz)王垠:我和权威的故事
qxc,我接招了,你给的要求太弱的,给你加强了这坑实在没劲,都是些嘴炮王
做项目的土鳖不和你们开了GOD模式的瞎掺和了问魏老师个问题,跟赌约无关
进入Programming版参与讨论
T********i
发帖数: 2416
11
楼goodbug和zhaoce几位真是吃屎长大的。
谁规定的P最重要。你们连C都不能保证要P做什么?
很清楚地告诉你了。出现问题,专线中断或者DC着火。停止服务中断1-2秒钟。状态100
%恢复。
实际中,web server都是分布在不同DC中。DC挂了。这些客户本来就死翘翘了。而且不
认为C***在这种情况下能保证consistency。
本来我就从来没在乎过什么分布式不分布式,或者web不web。ios和android让native
client又火了一把。从browser分流很多客户。很快这些可能都是过眼烟云。下一个big
thing到底是啥大家都在思考。
如果我有一个需求。我会寻找最好的工具去解决问题。对我来讲这些本来都是器,是形
而下的东西。当然了,我也会投入做没有人做的东西。有趣,也有成就感。
基础薄弱,只会一招的,本来就很有危机感我能理解。但是就算利益相关也没必要到公
共论坛上党同伐异的地步。
本来这是个技术版。你他妈的的说做技术都是loser。竟然还有人附和。那你来这里做
什么?你要表达的是对网友的蔑视?还是技不如人的深仇大恨?
z****e
发帖数: 54598
12
老魏你也太搞笑了
“下一个big thing是什么,大家都在思考”
你这个赶上坑王的那个经典句式“我不禁陷入了沉思”了
本来分布式也没什么特别多的东西,各种困难和瓶颈都有现成的解决方案
但是你明明对big data和新生事物不熟悉,非要那单机那一套去生搬硬套
结果被各种打脸,却非要打肿脸充胖子的各种表达实在是好好玩啊

100
big

【在 T********i 的大作中提到】
: 楼goodbug和zhaoce几位真是吃屎长大的。
: 谁规定的P最重要。你们连C都不能保证要P做什么?
: 很清楚地告诉你了。出现问题,专线中断或者DC着火。停止服务中断1-2秒钟。状态100
: %恢复。
: 实际中,web server都是分布在不同DC中。DC挂了。这些客户本来就死翘翘了。而且不
: 认为C***在这种情况下能保证consistency。
: 本来我就从来没在乎过什么分布式不分布式,或者web不web。ios和android让native
: client又火了一把。从browser分流很多客户。很快这些可能都是过眼烟云。下一个big
: thing到底是啥大家都在思考。
: 如果我有一个需求。我会寻找最好的工具去解决问题。对我来讲这些本来都是器,是形

z****e
发帖数: 54598
13
老魏啊
cap里面,ap系统就是cassandra
如果你要cp,可以选hbase,还有就算不喜欢hbase
你也可以tune cassandra以达到cp的作用
所以你说c不能保证,其实是错误的
但是要保证c需要时间,performance自然就差了
所以怎么搞,这里面有不少理论,你有兴趣可以去看看

100
big

【在 T********i 的大作中提到】
: 楼goodbug和zhaoce几位真是吃屎长大的。
: 谁规定的P最重要。你们连C都不能保证要P做什么?
: 很清楚地告诉你了。出现问题,专线中断或者DC着火。停止服务中断1-2秒钟。状态100
: %恢复。
: 实际中,web server都是分布在不同DC中。DC挂了。这些客户本来就死翘翘了。而且不
: 认为C***在这种情况下能保证consistency。
: 本来我就从来没在乎过什么分布式不分布式,或者web不web。ios和android让native
: client又火了一把。从browser分流很多客户。很快这些可能都是过眼烟云。下一个big
: thing到底是啥大家都在思考。
: 如果我有一个需求。我会寻找最好的工具去解决问题。对我来讲这些本来都是器,是形

T********i
发帖数: 2416
14
我提出的问题的系统核心,单机处理最好。加上其他机器提高可靠性。
你如果要反驳我,可以提出一个更好的方案。任何一个方案都可以。现在的问题是你提
不出来。拿了一个性能差一个数量级的方案,还要用户几小时后才能知道结果。
我的方案碰到百年不遇的DC着火,只不过暂停服务1-2秒。而且确保consistency 不会
给用户造成任何实质损失。你还有什么可说的?
这就是你说的早就解决的问题?

【在 z****e 的大作中提到】
: 老魏你也太搞笑了
: “下一个big thing是什么,大家都在思考”
: 你这个赶上坑王的那个经典句式“我不禁陷入了沉思”了
: 本来分布式也没什么特别多的东西,各种困难和瓶颈都有现成的解决方案
: 但是你明明对big data和新生事物不熟悉,非要那单机那一套去生搬硬套
: 结果被各种打脸,却非要打肿脸充胖子的各种表达实在是好好玩啊
:
: 100
: big

z****e
发帖数: 54598
15
z****e
发帖数: 54598
16
着火虽然可能是百年不遇
但是机器消耗太厉害,直接挂掉,这个还是经常遇到的
火灾只是给你一个例子,现实中有各种意外发生
硬件本身也有折旧,所以你不能假设太过于理想的状态
还有网络本身也有各种错误假设,实际工作中,这些都要考虑
http://en.wikipedia.org/wiki/Fallacies_of_Distributed_Computing

【在 T********i 的大作中提到】
: 我提出的问题的系统核心,单机处理最好。加上其他机器提高可靠性。
: 你如果要反驳我,可以提出一个更好的方案。任何一个方案都可以。现在的问题是你提
: 不出来。拿了一个性能差一个数量级的方案,还要用户几小时后才能知道结果。
: 我的方案碰到百年不遇的DC着火,只不过暂停服务1-2秒。而且确保consistency 不会
: 给用户造成任何实质损失。你还有什么可说的?
: 这就是你说的早就解决的问题?

T********i
发帖数: 2416
17
你和我说理论我笑了。我的方案能够保证C。performance也没差。
其实我的系统里面,C是弱的。只不过达到eventual consistency的latency很低。在有
效的时间尺度达到ACID,才是最优的方案。
也不指望你理解了。呵呵。

【在 z****e 的大作中提到】
: 老魏啊
: cap里面,ap系统就是cassandra
: 如果你要cp,可以选hbase,还有就算不喜欢hbase
: 你也可以tune cassandra以达到cp的作用
: 所以你说c不能保证,其实是错误的
: 但是要保证c需要时间,performance自然就差了
: 所以怎么搞,这里面有不少理论,你有兴趣可以去看看
:
: 100
: big

z****e
发帖数: 54598
18
你真心没有必要做到acid

【在 T********i 的大作中提到】
: 你和我说理论我笑了。我的方案能够保证C。performance也没差。
: 其实我的系统里面,C是弱的。只不过达到eventual consistency的latency很低。在有
: 效的时间尺度达到ACID,才是最优的方案。
: 也不指望你理解了。呵呵。

T********i
发帖数: 2416
19
我说过了。硬件挂掉和着火一样。为了保证C,牺牲几秒钟,是最好的妥协。
迄今为止,我从来没碰到过永远可靠的网站。

【在 z****e 的大作中提到】
: 着火虽然可能是百年不遇
: 但是机器消耗太厉害,直接挂掉,这个还是经常遇到的
: 火灾只是给你一个例子,现实中有各种意外发生
: 硬件本身也有折旧,所以你不能假设太过于理想的状态
: 还有网络本身也有各种错误假设,实际工作中,这些都要考虑
: http://en.wikipedia.org/wiki/Fallacies_of_Distributed_Computing

T********i
发帖数: 2416
20
我有这个能力。我说过,这个ACID是在一定时间尺度外。不过这个尺度对人类来讲很小。

【在 z****e 的大作中提到】
: 你真心没有必要做到acid
相关主题
请老魏给出一个简单的文字解释Consistency做好了不容易
对非程序员而言,好虫的架构很有问题静态计数器和订票系统的区别
魏老师图灵奖级别的分布式理论在此还有谁认为我的架构和实现不支持transaction的?
进入Programming版参与讨论
z****e
发帖数: 54598
21
again,这么大的项目,一个人搞不定
能搞定,别人也不会相信你

小。

【在 T********i 的大作中提到】
: 我有这个能力。我说过,这个ACID是在一定时间尺度外。不过这个尺度对人类来讲很小。
z****e
发帖数: 54598
22
你应该说你没有碰到过永远可靠的dc
所以各种备份和应急方案很重要

【在 T********i 的大作中提到】
: 我说过了。硬件挂掉和着火一样。为了保证C,牺牲几秒钟,是最好的妥协。
: 迄今为止,我从来没碰到过永远可靠的网站。

T********i
发帖数: 2416
23
你这就是笑话了。本来就是一个假设的问题。你该真不会以为我发言是为了准备投标吧?
再一次劝告你。人家讨论技术,你拿这些无关的来打击,甚至提到什么loser不loser的
,很损人品。某一天这些可能get back to you.

【在 z****e 的大作中提到】
: again,这么大的项目,一个人搞不定
: 能搞定,别人也不会相信你
:
: 小。

z****e
发帖数: 54598
24
技术是应用学科,如果离开了目的,手段本身没有任何价值
所以人家说了,不要为了码而码,要明白为什么而码
这又不是science或者哲学,探究宇宙的本源
美帝大学本科,文理学院,压根不发beng学位

吧?

【在 T********i 的大作中提到】
: 你这就是笑话了。本来就是一个假设的问题。你该真不会以为我发言是为了准备投标吧?
: 再一次劝告你。人家讨论技术,你拿这些无关的来打击,甚至提到什么loser不loser的
: ,很损人品。某一天这些可能get back to you.

T********i
发帖数: 2416
25
你的意思是说你认为我研究的技术没用就是没用,给我钱的和我合作的都是傻逼是不是?
手段有用没用,能不能达到目的,说实话我还真比你有发言权。

【在 z****e 的大作中提到】
: 技术是应用学科,如果离开了目的,手段本身没有任何价值
: 所以人家说了,不要为了码而码,要明白为什么而码
: 这又不是science或者哲学,探究宇宙的本源
: 美帝大学本科,文理学院,压根不发beng学位
:
: 吧?

z****e
发帖数: 54598
26
我相信你能达到你的目的
但是我不相信你能达到我们这个领域的目的
谁也没有说两个领域是相同的不是?
一直有人提醒,这两个领域不同,不要想当然
别人也只是在告诉你你所说的这个领域的问题
没有人跟你谈你现在所在的那个领域

是?

【在 T********i 的大作中提到】
: 你的意思是说你认为我研究的技术没用就是没用,给我钱的和我合作的都是傻逼是不是?
: 手段有用没用,能不能达到目的,说实话我还真比你有发言权。

T********i
发帖数: 2416
27
技术市场没有领域。金融机构还养一大堆做FPGA甚至ASIC的,把很多算法做到硬件里边。
达到一个目的,甚至有人用软件有人用硬件。就你会的那点东西,算个什么?

【在 z****e 的大作中提到】
: 我相信你能达到你的目的
: 但是我不相信你能达到我们这个领域的目的
: 谁也没有说两个领域是相同的不是?
: 一直有人提醒,这两个领域不同,不要想当然
: 别人也只是在告诉你你所说的这个领域的问题
: 没有人跟你谈你现在所在的那个领域
:
: 是?

z****e
发帖数: 54598
28
不算什么,混口饭吃
工作需要什么,我就用什么,哪种省力我就用什么
我又没有硬拗,是你非要用一种方法

边。

【在 T********i 的大作中提到】
: 技术市场没有领域。金融机构还养一大堆做FPGA甚至ASIC的,把很多算法做到硬件里边。
: 达到一个目的,甚至有人用软件有人用硬件。就你会的那点东西,算个什么?

T********i
发帖数: 2416
29
我的方法,对我提出的特定问题能达到最优。Again,你不服气可以反驳我。什么叫我
非要用一种方法?是不是谁用的方法和你不一样都不行?

【在 z****e 的大作中提到】
: 不算什么,混口饭吃
: 工作需要什么,我就用什么,哪种省力我就用什么
: 我又没有硬拗,是你非要用一种方法
:
: 边。

z****e
发帖数: 54598
30
又不是没有反驳你
你老是不承认是你的问题

【在 T********i 的大作中提到】
: 我的方法,对我提出的特定问题能达到最优。Again,你不服气可以反驳我。什么叫我
: 非要用一种方法?是不是谁用的方法和你不一样都不行?

相关主题
Cassandra 看测试read也不算慢呢魏公公把吹的牛逼给圆了吧,我就看到魏公公下面没有了。
data consistency问个master-slave的简单问题
顺便和nod101说说做产品太监语录
进入Programming版参与讨论
T********i
发帖数: 2416
31
你这样就没劲了,你的反驳就是我的问题不是问题。早解决了是不是?

【在 z****e 的大作中提到】
: 又不是没有反驳你
: 你老是不承认是你的问题

z****e
发帖数: 54598
32
你好歹把问题范围给弄全面点

【在 T********i 的大作中提到】
: 你这样就没劲了,你的反驳就是我的问题不是问题。早解决了是不是?
T********i
发帖数: 2416
33
我发起讨论,我愿意怎么限定范围都可以。你可以不参与,拿无关话题加人身攻击就没
劲了。公共论坛最好也不要蒙面为所欲为,损人品。

【在 z****e 的大作中提到】
: 你好歹把问题范围给弄全面点
z****e
发帖数: 54598
34
我没有人身攻击魏老师
我当然要参与,问题是你不能既当裁判又当运动员
那还玩什么

【在 T********i 的大作中提到】
: 我发起讨论,我愿意怎么限定范围都可以。你可以不参与,拿无关话题加人身攻击就没
: 劲了。公共论坛最好也不要蒙面为所欲为,损人品。

T********i
发帖数: 2416
35
我撤了。该给你的劝告都给了。多说无益。

【在 z****e 的大作中提到】
: 我没有人身攻击魏老师
: 我当然要参与,问题是你不能既当裁判又当运动员
: 那还玩什么

b*******s
发帖数: 5216
36
你是在准备跳船吗

【在 z****e 的大作中提到】
: 不算什么,混口饭吃
: 工作需要什么,我就用什么,哪种省力我就用什么
: 我又没有硬拗,是你非要用一种方法
:
: 边。

g*****g
发帖数: 34805
37
我不是总结过了还来,魏大师的超必杀就是两张嘴一番,500万/秒的单机性能就出来
了,还最多两万刀。
一旦性能比正常人类做出来的能快1000倍,大部分分布式系统都是不必要的。想想就知
道了,这个世界上需要一千台以上服务器的,那基本上都是非常牛逼的互联网应用。
魏大师极品就在于,这500万/次的单机性能,他掳管了几次,自己还真信了。实际上
,按他的要求,request, 同步写硬盘,response, 现在两万刀的机器没可能做到5万/
次。别说500万次了。
信大师,得永生。只要你信这500万次,大多数问题都简单得多。但世界上总有些人是
不相信肚子里有轮子的。
z****e
发帖数: 54598
38
说要双修的是谁?

【在 b*******s 的大作中提到】
: 你是在准备跳船吗
a*f
发帖数: 1790
39
魏老师已经说了 -“专线中断或者DC着火。停止服务中断1-2秒钟”,这个可以看成是
牺牲availability吧

【在 g*****g 的大作中提到】
: 魏老师拍了一下脑袋,在两天的世界内,从完全对server app, cloud, NoSQL没有经验
: 的处男,一举成长为史上最牛逼的计算机科学家和工程师。我在这里列举一下魏老师的
: 成就,从小的说起。首先,魏老师做了一个比Cassandra快1-2数量级的NoSQL。
: [
: 发信人: TeacherWei (TW), 信区: Programming
: 标 题: Re: 好虫,看看你的东东有没有问题?
: 发信站: BBS 未名空间站 (Fri Nov 22 16:52:13 2013, 美东)
: 说了这么多你还是没抓住重点。
: 我的系统也是NoSQL。Cassandra那点玩意儿做一个比他快1-2个数量级的也没问题。
: ]

T********i
发帖数: 2416
40
其实我已经说过了,我的方案C都是eventual consistency。
不愿意回应,就是因为goodbug上升到世界观崩溃让我有点担心他。
但是这个人又这么没脸没皮,估计也没啥世界观的说。

【在 a*f 的大作中提到】
: 魏老师已经说了 -“专线中断或者DC着火。停止服务中断1-2秒钟”,这个可以看成是
: 牺牲availability吧

相关主题
太监语录qxc,我接招了,你给的要求太弱的,给你加强了
清净版:写一个Complete Failover Handbook吧做项目的土鳖不和你们开了GOD模式的瞎掺和了
想请教魏老师一个方案中的理解问题。(zz)王垠:我和权威的故事
进入Programming版参与讨论
g*****g
发帖数: 34805
41
网断就停机了,还支持啥partition tolerance。不过大师你不懂不要紧,
反正大师是没有脸的。打不着。

【在 T********i 的大作中提到】
: 其实我已经说过了,我的方案C都是eventual consistency。
: 不愿意回应,就是因为goodbug上升到世界观崩溃让我有点担心他。
: 但是这个人又这么没脸没皮,估计也没啥世界观的说。

T********i
发帖数: 2416
42
纠正你一下,是停2秒钟。
你可以到DC主干网的机房拔插头玩,拔一次我的系统停机2秒钟。插上后还会rejoin。
你不拔的时候人民群众继续享受每秒500万次交易的快感。

【在 g*****g 的大作中提到】
: 网断就停机了,还支持啥partition tolerance。不过大师你不懂不要紧,
: 反正大师是没有脸的。打不着。

g*****g
发帖数: 34805
43
魏公公有种去nasdaq demo一下自己的系统。让他们看看你2万的单机比他们几千个结点
还快。
没卵蛋的东西。
g*****g
发帖数: 34805
44
只要是用网络,就永远可能出现网断+停电的情况。让你弄成蜘蛛网还是如此。
魏公公想做民科可以,永动机是做不出来的。

【在 T********i 的大作中提到】
: 纠正你一下,是停2秒钟。
: 你可以到DC主干网的机房拔插头玩,拔一次我的系统停机2秒钟。插上后还会rejoin。
: 你不拔的时候人民群众继续享受每秒500万次交易的快感。

T********i
发帖数: 2416
45
断网,或者停电,或者断网加停电,我的系统consistency和availability都能保证。
每次只中断大约2秒钟而已。
你这个人车轱辘反复纠缠,造谣抹黑么?

【在 g*****g 的大作中提到】
: 只要是用网络,就永远可能出现网断+停电的情况。让你弄成蜘蛛网还是如此。
: 魏公公想做民科可以,永动机是做不出来的。

g*****g
发帖数: 34805
46
你显然要丢订单,说得跟网络没延迟似的,真丢人。而且几个结点之间断了就不工作,
还叫个屁
availability。没听说过standby连不上主机不干活的。也就魏公公才能想出来。

【在 T********i 的大作中提到】
: 断网,或者停电,或者断网加停电,我的系统consistency和availability都能保证。
: 每次只中断大约2秒钟而已。
: 你这个人车轱辘反复纠缠,造谣抹黑么?

T********i
发帖数: 2416
47
网络有延迟我才给出2秒钟的恢复时间。
足够了。呵呵。

【在 g*****g 的大作中提到】
: 你显然要丢订单,说得跟网络没延迟似的,真丢人。而且几个结点之间断了就不工作,
: 还叫个屁
: availability。没听说过standby连不上主机不干活的。也就魏公公才能想出来。

g*****g
发帖数: 34805
48
网络又不是同步写,你的牛逼单机又处理快,结果就是单子返回成功了,数据传过去之
前,网络断了,电断了,单子丢了。LOL。

【在 T********i 的大作中提到】
: 网络有延迟我才给出2秒钟的恢复时间。
: 足够了。呵呵。

T********i
发帖数: 2416
49
什么叫丢订单?你submit order然后屏幕白了。难道你不应该过几秒钟再check一下买
没买到?
即使DC不着火。那几百台前端web server难道永远不down?
核心的consistency保证了。就可以证明可靠了。没人能做的更好。

【在 T********i 的大作中提到】
: 网络有延迟我才给出2秒钟的恢复时间。
: 足够了。呵呵。

g*****g
发帖数: 34805
50
错了,你的所谓网络备份又不等ack,在数据网络备份之前,单子就返回成功了。
只不过没能备份出去罢了。然后天灾人祸悲剧了。从来没听说一个系统是像你说的那么
工作的。
主机连不上standby,然后就不工作了,太搞笑了。

【在 T********i 的大作中提到】
: 什么叫丢订单?你submit order然后屏幕白了。难道你不应该过几秒钟再check一下买
: 没买到?
: 即使DC不着火。那几百台前端web server难道永远不down?
: 核心的consistency保证了。就可以证明可靠了。没人能做的更好。

相关主题
这坑实在没劲,都是些嘴炮王对非程序员而言,好虫的架构很有问题
问魏老师个问题,跟赌约无关魏老师图灵奖级别的分布式理论在此
请老魏给出一个简单的文字解释Consistency做好了不容易
进入Programming版参与讨论
T********i
发帖数: 2416
51
错了,一串里面最后一台返回ack到最前面的才算。除非最后一台死掉要重新拓扑。
最后一台死掉,需要和网银sync一下transaction。
已经证明了,除非都死掉,哪怕只剩一台,数据一致性都能保持。

【在 g*****g 的大作中提到】
: 错了,你的所谓网络备份又不等ack,在数据网络备份之前,单子就返回成功了。
: 只不过没能备份出去罢了。然后天灾人祸悲剧了。从来没听说一个系统是像你说的那么
: 工作的。
: 主机连不上standby,然后就不工作了,太搞笑了。

g*****g
发帖数: 34805
52
LOL,现在还要同步网络一圈写ack了?你这延迟可是越来越大了。500万还Hold得住吗?
魏公公你打100个补丁,只要没benchmark,仍然是一个太监。没用的。LOL。

【在 T********i 的大作中提到】
: 错了,一串里面最后一台返回ack到最前面的才算。除非最后一台死掉要重新拓扑。
: 最后一台死掉,需要和网银sync一下transaction。
: 已经证明了,除非都死掉,哪怕只剩一台,数据一致性都能保持。

T********i
发帖数: 2416
53
延迟再大也是毫秒级别。而且对throughput无影响。该500万还是500万。你悲愤也没用。
你除了PA还有啥?

吗?

【在 g*****g 的大作中提到】
: LOL,现在还要同步网络一圈写ack了?你这延迟可是越来越大了。500万还Hold得住吗?
: 魏公公你打100个补丁,只要没benchmark,仍然是一个太监。没用的。LOL。

g*****g
发帖数: 34805
54
你爱信啥信啥吧,反正没benchmark,你还是魏公公。

用。

【在 T********i 的大作中提到】
: 延迟再大也是毫秒级别。而且对throughput无影响。该500万还是500万。你悲愤也没用。
: 你除了PA还有啥?
:
: 吗?

T********i
发帖数: 2416
55
你要啥benchmark吧?除非你质疑solarflare 10G网卡不能提供2-3G的持续带宽,或者
Intel最新的8核CPU加起来不能提供每秒2-3亿次的整数指令。
官方的benchmark都给你拿出来了。自己简单算算也知道这点load没啥大不了的。自己
没知识没能力搞出一个屎一样的方案。
自己无能不能怪别人智商正常。

【在 g*****g 的大作中提到】
: 你爱信啥信啥吧,反正没benchmark,你还是魏公公。
:
: 用。

g*****g
发帖数: 34805
56
我就要个HelloWorld,同步写盘,然后echo的单机benchmark。人硬件厂商的benchmark
可不是这样的。这点load已经超过nasdaq exchage 10倍,你说没啥大不了的谁信呀。
反正吹牛逼是没用的,没干货你就是个太监。

【在 T********i 的大作中提到】
: 你要啥benchmark吧?除非你质疑solarflare 10G网卡不能提供2-3G的持续带宽,或者
: Intel最新的8核CPU加起来不能提供每秒2-3亿次的整数指令。
: 官方的benchmark都给你拿出来了。自己简单算算也知道这点load没啥大不了的。自己
: 没知识没能力搞出一个屎一样的方案。
: 自己无能不能怪别人智商正常。

T********i
发帖数: 2416
57
呵呵。自己搞一个fusion IO SDK去试试看。
你这种没脸没皮的我就是陪你玩玩。好几个网友给我发信说你是attention whore。我
顺便也让他们看看笑话而已。
你纠结同步写盘有意思么?Cassandra也不是同步写盘吧?要求别人的时候先想想自己
怎么做的?业界都是怎么做的?你们那个280台机器1 million / second是同步写盘么
?如果不是请闭嘴!
抓住一个救命稻草来抬杠。这种无赖绝对是父母没教育好。

benchmark

【在 g*****g 的大作中提到】
: 我就要个HelloWorld,同步写盘,然后echo的单机benchmark。人硬件厂商的benchmark
: 可不是这样的。这点load已经超过nasdaq exchage 10倍,你说没啥大不了的谁信呀。
: 反正吹牛逼是没用的,没干货你就是个太监。

g*****g
发帖数: 34805
58
我那个是同步写盘,把sync delay设到0就行。280台机器顶不住2800台也行。我提出的
只是架构,
我可没限制自己非280台机器。分布式系统牛逼之处本来就是scale out。
你丫吹牛逼行,真让你干点啥一点卵蛋都没有,不愧是魏公公。
还网友友情支持,LOL。你的单机系统都比nasdaq 快10倍了,写nasdaq的同意了吗?

【在 T********i 的大作中提到】
: 呵呵。自己搞一个fusion IO SDK去试试看。
: 你这种没脸没皮的我就是陪你玩玩。好几个网友给我发信说你是attention whore。我
: 顺便也让他们看看笑话而已。
: 你纠结同步写盘有意思么?Cassandra也不是同步写盘吧?要求别人的时候先想想自己
: 怎么做的?业界都是怎么做的?你们那个280台机器1 million / second是同步写盘么
: ?如果不是请闭嘴!
: 抓住一个救命稻草来抬杠。这种无赖绝对是父母没教育好。
:
: benchmark

T********i
发帖数: 2416
59
你们的sync delay不是0。这是你说的。白纸黑字。
你先把这个搞清楚。这个事实比fusion IO重要多了。
什么时候你们把所有production machine的sync delay都调到0了。在来和我讨论同步
写盘的问题。
否则,按照你的定义,你们做的都是屎,by design是不durable的。

【在 g*****g 的大作中提到】
: 我那个是同步写盘,把sync delay设到0就行。280台机器顶不住2800台也行。我提出的
: 只是架构,
: 我可没限制自己非280台机器。分布式系统牛逼之处本来就是scale out。
: 你丫吹牛逼行,真让你干点啥一点卵蛋都没有,不愧是魏公公。
: 还网友友情支持,LOL。你的单机系统都比nasdaq 快10倍了,写nasdaq的同意了吗?

g*****g
发帖数: 34805
60
一个可以无限scale out的架构,这个参数只影响到性能,不影响scalability,你这种
没蛋蛋的人,自然不懂我说啥。
你愿意相信我们做的都是屎,随你。按你的定义,整个nasdaq exchange都是屎还。你
丫成天就是跟屎打交道的,哈哈。

【在 T********i 的大作中提到】
: 你们的sync delay不是0。这是你说的。白纸黑字。
: 你先把这个搞清楚。这个事实比fusion IO重要多了。
: 什么时候你们把所有production machine的sync delay都调到0了。在来和我讨论同步
: 写盘的问题。
: 否则,按照你的定义,你们做的都是屎,by design是不durable的。

相关主题
静态计数器和订票系统的区别data consistency
还有谁认为我的架构和实现不支持transaction的?顺便和nod101说说做产品
Cassandra 看测试read也不算慢呢魏公公把吹的牛逼给圆了吧,我就看到魏公公下面没有了。
进入Programming版参与讨论
T********i
发帖数: 2416
61
再打你一次脸。
自己公司的产品都不同步写盘,凭啥要求别人同步写盘?
同步写盘有那么重要么?

【在 g*****g 的大作中提到】
: 一个可以无限scale out的架构,这个参数只影响到性能,不影响scalability,你这种
: 没蛋蛋的人,自然不懂我说啥。
: 你愿意相信我们做的都是屎,随你。按你的定义,整个nasdaq exchange都是屎还。你
: 丫成天就是跟屎打交道的,哈哈。

g*****g
发帖数: 34805
62
因为是你自己说要同步写盘的。号称上了牛逼SSD,可以同步写盘900万次。
就像那两万块一样。没想到魏公公你是光说不练呀。就跟吹牛要让MIT血流成河一样。

【在 T********i 的大作中提到】
: 再打你一次脸。
: 自己公司的产品都不同步写盘,凭啥要求别人同步写盘?
: 同步写盘有那么重要么?

T********i
发帖数: 2416
63
我说过多少次异步写盘丝毫不影响durability难道你眼瞎了?
你就不能要点脸?

【在 g*****g 的大作中提到】
: 因为是你自己说要同步写盘的。号称上了牛逼SSD,可以同步写盘900万次。
: 就像那两万块一样。没想到魏公公你是光说不练呀。就跟吹牛要让MIT血流成河一样。

g*****g
发帖数: 34805
64
异步写盘你不能保证不丢数据呀,你要绕多少次。就算1毫秒能有网络ack,DC烧了,
你有丢5000单子的风险,你丫没卵蛋的东西真没完了。

【在 T********i 的大作中提到】
: 我说过多少次异步写盘丝毫不影响durability难道你眼瞎了?
: 你就不能要点脸?

T********i
发帖数: 2416
65
别无耻了。一个DC一台,只要一个DC还up就能保持consistency。
你们那个cassandra,也是异步写盘。任何一个DC挂了都有可能丢数据。
你的方案,Durability和我的都不能比。

【在 g*****g 的大作中提到】
: 异步写盘你不能保证不丢数据呀,你要绕多少次。就算1毫秒能有网络ack,DC烧了,
: 你有丢5000单子的风险,你丫没卵蛋的东西真没完了。

g*****g
发帖数: 34805
66
网络但凡有延迟,除非你等网络ack到,否则是不能保证不丢数据的,哪怕一毫秒都会
丢5000单子。
我给的架构,是scale out,300台机器,3000台,3万台总可以。你丫完全不懂,没法
跟你说。反正你没benchmark就是一太监。

【在 T********i 的大作中提到】
: 别无耻了。一个DC一台,只要一个DC还up就能保持consistency。
: 你们那个cassandra,也是异步写盘。任何一个DC挂了都有可能丢数据。
: 你的方案,Durability和我的都不能比。

T********i
发帖数: 2416
67
你错了,用户的单子,没有ack,DC挂了。丢了就丢了。用户需要过几秒回来再check。
我说过了,即使DC不挂,用户端几百台web server也会经常有挂的。用户不是照样需要
回来再check?
没ack的单子,直接扔掉就好了。反正DC宕机是百年不遇的。不过web server宕机经常
发生,不可避免。用户那边的现象是一模一样。
Amaxon之类的,下单后直接白屏,也是隔三差五。你要是能保证几百台web server永不
宕机,那是意淫。
DC出事概率极低,出事了,扔单子,保障consistency,也是业界惯例。扔掉的本来都
是没ack的,有啥大不了的?反正DC的web server也跟着挂了。本来用户就是要重新
check的。

【在 g*****g 的大作中提到】
: 网络但凡有延迟,除非你等网络ack到,否则是不能保证不丢数据的,哪怕一毫秒都会
: 丢5000单子。
: 我给的架构,是scale out,300台机器,3000台,3万台总可以。你丫完全不懂,没法
: 跟你说。反正你没benchmark就是一太监。

T********i
发帖数: 2416
68
没ACK主要因为没收到。否则在重新拓扑后短暂的sync过程一定从下游收到ACK。用户过
几秒重新check就会告诉他买到了。
跟你说多少次eventually consistent。你就是不理解。
CAP和BASE,你光会说,真能理解多少?

【在 T********i 的大作中提到】
: 你错了,用户的单子,没有ack,DC挂了。丢了就丢了。用户需要过几秒回来再check。
: 我说过了,即使DC不挂,用户端几百台web server也会经常有挂的。用户不是照样需要
: 回来再check?
: 没ack的单子,直接扔掉就好了。反正DC宕机是百年不遇的。不过web server宕机经常
: 发生,不可避免。用户那边的现象是一模一样。
: Amaxon之类的,下单后直接白屏,也是隔三差五。你要是能保证几百台web server永不
: 宕机,那是意淫。
: DC出事概率极低,出事了,扔单子,保障consistency,也是业界惯例。扔掉的本来都
: 是没ack的,有啥大不了的?反正DC的web server也跟着挂了。本来用户就是要重新
: check的。

z****e
发帖数: 54598
69
你不是要acid么?
现在怎么开始eventually consistent了?

【在 T********i 的大作中提到】
: 没ACK主要因为没收到。否则在重新拓扑后短暂的sync过程一定从下游收到ACK。用户过
: 几秒重新check就会告诉他买到了。
: 跟你说多少次eventually consistent。你就是不理解。
: CAP和BASE,你光会说,真能理解多少?

T********i
发帖数: 2416
70
核心的那一串机器。从外面看就是ACID的。
和goodbug比起来,你更是屎都不如。我一直都没看错你。希望你别来现眼。

【在 z****e 的大作中提到】
: 你不是要acid么?
: 现在怎么开始eventually consistent了?

相关主题
魏公公把吹的牛逼给圆了吧,我就看到魏公公下面没有了。清净版:写一个Complete Failover Handbook吧
问个master-slave的简单问题想请教魏老师一个方案中的理解问题。
太监语录qxc,我接招了,你给的要求太弱的,给你加强了
进入Programming版参与讨论
z****e
发帖数: 54598
71
也就是无法保证绝对的acid咯?
你没发现你越来越接近c*了?
不过我觉得你好傻逼啊
你的东西要真比c*好,直接做一个产品beat c*不就好了
让市场来检验,图利就拿出去卖钱,图名就开源
要不然你说话跟放屁一样的
谁在乎?你一天到晚在这里吹牛有意思么?

【在 T********i 的大作中提到】
: 核心的那一串机器。从外面看就是ACID的。
: 和goodbug比起来,你更是屎都不如。我一直都没看错你。希望你别来现眼。

g*****g
发帖数: 34805
72
你连一个transaction的概念都没弄清。简单说,做成transactional当然可以,会降低
处理能力,因为很多地方都要等ack。如果不做transactional,必然会有丢单,复单出
现。
我用cassandra是在row级别上达到acid的。
说到底,你就是死撑。你说5000,我就信了,500万,纯粹吹牛逼。有卵蛋就写一个大
家看看,没卵蛋就该干嘛干嘛去,继续做魏公公。

【在 T********i 的大作中提到】
: 你错了,用户的单子,没有ack,DC挂了。丢了就丢了。用户需要过几秒回来再check。
: 我说过了,即使DC不挂,用户端几百台web server也会经常有挂的。用户不是照样需要
: 回来再check?
: 没ack的单子,直接扔掉就好了。反正DC宕机是百年不遇的。不过web server宕机经常
: 发生,不可避免。用户那边的现象是一模一样。
: Amaxon之类的,下单后直接白屏,也是隔三差五。你要是能保证几百台web server永不
: 宕机,那是意淫。
: DC出事概率极低,出事了,扔单子,保障consistency,也是业界惯例。扔掉的本来都
: 是没ack的,有啥大不了的?反正DC的web server也跟着挂了。本来用户就是要重新
: check的。

T********i
发帖数: 2416
73
穿一串是有序的。
order从上往下传,只有最后一台才能ack。ACK从下往上传。
就这么简单。你要是再理不顺的话。我也懒得废话了。
自然有的是明白人。

【在 g*****g 的大作中提到】
: 你连一个transaction的概念都没弄清。简单说,做成transactional当然可以,会降低
: 处理能力,因为很多地方都要等ack。如果不做transactional,必然会有丢单,复单出
: 现。
: 我用cassandra是在row级别上达到acid的。
: 说到底,你就是死撑。你说5000,我就信了,500万,纯粹吹牛逼。有卵蛋就写一个大
: 家看看,没卵蛋就该干嘛干嘛去,继续做魏公公。

g*****g
发帖数: 34805
74
让魏公公躲了三个月风头的一贴。现在风头过了想刷版玩大字报了?
LOL,打你脸是纯粹的数据贴,你PA我有用吗?你这傻逼真弱,丢了就玩泼妇骂街这一
套,还要到处去居委会投诉,我老在BBS上混了这么多年。像你这样的极品倒是第一次
见。
T********i
发帖数: 2416
75
还敢冒头?你真的是不要脸了。
看你在linkedin上的照片人模狗样,其实禽兽不如呀。
不就是每秒500万次的抢票服务器么?追着你打赌你都不敢。造那么多谣有用吗?

【在 g*****g 的大作中提到】
: 让魏公公躲了三个月风头的一贴。现在风头过了想刷版玩大字报了?
: LOL,打你脸是纯粹的数据贴,你PA我有用吗?你这傻逼真弱,丢了就玩泼妇骂街这一
: 套,还要到处去居委会投诉,我老在BBS上混了这么多年。像你这样的极品倒是第一次
: 见。

1 (共1页)
进入Programming版参与讨论
相关主题
静态计数器和订票系统的区别清净版:写一个Complete Failover Handbook吧
还有谁认为我的架构和实现不支持transaction的?想请教魏老师一个方案中的理解问题。
Cassandra 看测试read也不算慢呢qxc,我接招了,你给的要求太弱的,给你加强了
data consistency做项目的土鳖不和你们开了GOD模式的瞎掺和了
顺便和nod101说说做产品(zz)王垠:我和权威的故事
魏公公把吹的牛逼给圆了吧,我就看到魏公公下面没有了。这坑实在没劲,都是些嘴炮王
问个master-slave的简单问题问魏老师个问题,跟赌约无关
太监语录请老魏给出一个简单的文字解释
相关话题的讨论汇总
话题: dc话题: 写盘话题: 老师话题: ack话题: 大师