由买买提看人间百态

topics

全部话题 - 话题: 分布式系统
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)
T********i
发帖数: 2416
1
来自主题: Programming版 - Consistency做好了不容易
你的原话:
CAP里 A 只是说数据能读出来,不是 high availability的意思,否则 RDBMS 就不是
CA系统。当然在 分布式系统里基本是等价的。
问题,读数据返回说数据读不出来,让你过一秒钟后重试。还是不是A?
你给我证明个等价看看。
g*****g
发帖数: 34805
2
来自主题: Programming版 - Consistency做好了不容易
多机当然能CA,不就是一partition,整个系统就挂吗,那就是CA。不过只有脑残才这
么做分布式系统。
g*****g
发帖数: 34805
3
来自主题: Programming版 - Consistency做好了不容易
傻逼你懂中文吗?这跟我说的有矛盾吗?不是high availability 也是A没有错,所以
你设计个分布式系统,一partition就全挂,也叫CA。当然只有你这样的脑残才会这么
做系统。

是?
h**********c
发帖数: 4120
4
来自主题: Programming版 - javascript我老认为
javascript我老认为
把传统的mvc扩展为mvcr,model view controller+ renderer
从而是系统测试难度幂级增大。
目前mvc的集成以及测试比较成熟,但renderer端几乎没有成熟的理论和方法解决在实
际中遇到的问题。实际的情况是browser作为独立的分布式系统中重要的一环被完全忽
略。
javascript在现实中的应用无可厚非,比如你要听不要钱的音乐,看不要钱的视频,被
注入广告也算公平交易。
最近在实际工作中观测到renderer端的一些deadlock , inconsistency,也不方便在
这里多讲。对以前多个场合遇到的问题,最少给自己一个答案。
至于你说自己的东西如何好,nobody owes you a respect, earn it.
z****e
发帖数: 54598
5
来自主题: Programming版 - 大牛们,请教大数据系统如何架构

我们以前做paymeng gateway时候都不怕丢数据,你怕什么?
你数据量再大,有我们大?当时数据是150次交易/s
比amazon和apple交易的总和(80/s)还大接近一倍
你说说你的多大?如果怕丢数据,就减少io,网络是最不可靠的东西
这个没啥疑问,还有就是要上分布式transaction,没那么容易做
http挂了,我们的一个机制就是会不停滴try,先assume它成功
然后不停滴试,最后刷成功为止,是,这样可能会有点问题,比如盗刷
但是一般跟银行的连接,都是可靠而且稳定的,这种情况极少
而且这个risk是资本家所必需承担的,这就是为啥那个系统做得好
能干掉很多同行的原因,风险并不可怕,可怕的是不可控的风险
所以java好啊,java你清楚滴知道它在干嘛,其他语言我靠
一个var可以搞死一片人
g*****g
发帖数: 34805
6
来自主题: Programming版 - HOW TO DELETE IN KEY-VALUE STORE
分布式系统里删除特殊的地方在于不是所有节点都会收到这条指令,可能会丢。如果你
真的删除了数据,你怎么确定是一个写操作这个节点没收到,还是这个删除别的节点没
收到?
所以 Cassandra一类的系统是写入一个特殊值叫 tombstone,只在一定时间之后做
compaction,这样出错的概率就很低。
t**********1
发帖数: 550
7
来自主题: Programming版 - 说说CAP吧
其实,谁敢担保现在就没有人设计P情况下CA都具备的分布式系统?
现在还挑战图灵停机问题的可能还有呢。
与其扯CAP的那个蛋,能正确的分析系统就不错了。这就是我的观点。
z*******r
发帖数: 415
8
来自主题: Programming版 - 静态计数器和订票系统的区别
很不幸,这个已经不是cache了,这是一个分布式transaction的核心部分, 因为他不是只
读的.要改变状态并且记住状态, 需要满足对transaction的所有要求,
用内存单线程序列化可以解决transaction的某些问题,但是暴露了更多的问题
掉电怎么办? 网卡有问题怎么办? 文件系统出现坏块怎么办, 和其他组件间通信
timeout怎么办? 你怎么知道每一个transaction都persis好了
退一万步只做cache,能100%实时反映另一个DB上的状态也是个很难的问题.
f*******t
发帖数: 7549
9
你既同意"编程语言性能在绝大部分环境下不起决定性作用",又反对“语言性能不重要
”,到底谁分裂了?
另外声明一下,我明确把话题限定在golang的性能在大部分分布式系统中不是瓶颈,请
不要曲解我的意思。
再谈谈fb backend狂用c++的设定,这是个很有意思的话题。我认为主要是由于早期招
的人多是acm选手和从google挖的c++程序员,大多数系统的原型是c++,很难改变了。
与G家闲人众多不同,F的dev infra团队没有足够的资源去支持其它语言,比如golang
的支持是两三个dev出于兴趣用业余时间一点点搞起来的。16年后端build system从
fbmake改成buck,golang由于不是主流语言,用它开发只能一步步地把坑踩过去。
thrift的支持不好,跟其它service通信都有问题,还谈什么。我写的一个需要cgo的
side project直接无法编译,只好放弃。这恰好印证了我之前说的,legacy code太多
无法重写大公司只好沿着一条道走到黑的理论。G家dev support资源应该是很多的,所
以后端百花齐放,可以选择c++, java和go,甚至更... 阅读全帖
w*****r
发帖数: 197
10
来自主题: Programming版 - 各位自动驾驶技术发烧友们
1,控制和感知是完全分开的子系统,通过总线通信
2,感知本身也是一个分布式系统,不同sensor的底层数据处理也基本是各自的板子
3,控制模块,Simulink是正途,感知features要想进production,估计也要往Simulink转
4,关于RTOS,有用,但都是非常简单的算法,很多参数是手调的
以上说的是车的电子系统,跟无人驾驶无关
5,无人驾驶的核心是感知和驾驶行为,目前基本没有谁有清晰的产品定义,各种算法性
能都还在逗逼,算法怎么分割,怎么调度都是后话了
a****y
发帖数: 255
11
是的,对于这样的系统,供电是一个问题;
现在是无线数据传输,以后如果可以实现无线能量传输就更好啦
s*******s
发帖数: 1568
12
【 以下文字转载自 JobHunting 讨论区 】
发信人: viisa (为啥???), 信区: JobHunting
标 题: 报个offer@FG,回报版面, Update package 和
发信站: BBS 未名空间站 (Sun Feb 26 05:15:47 2012, 美东)
Update:
不少人发信问package和题目解答,update一下吧:
第一题详细在 http://www.mitbbs.com/article/JobHunting/32055617_0.html
感谢 peking2 同学贴上来
第二题我当时的算法和 pigsolomon 朋友的差不多:
http://www.mitbbs.com/article/JobHunting/32055195_0.html
是其中一种正确的算法,肯定有更好的,期待大牛
第三题的扩展
每次只有一根柱子变化,减少或者增加k单位
我没有做出来,只是提了一下RMQ或许可以用在里面,面试官没有肯定
不过这个面试结果是 positive,无解了
Package:
FB在知道我有G offer的情况下给了我 entr... 阅读全帖
n******t
发帖数: 4406
13
大部分的金融系统,都不需要很低的latency。很多时候latency只是一个marketing
term而已.
真的要搞ultra low latency HFT的,也不需要分布式。
s*****o
发帖数: 1459
14
来自主题: sysop版 - 请老邢公布一下down机时间表
呵呵,现在的大型门户网站一般是分布式系统吧,不太用大型机了。
anyway, mitbbs这种系统已经落伍了,凑合着用吧
l**i
发帖数: 8144
15
美国也是独裁 表面是分布式 中央处理服务器你是看不到的
Z**********g
发帖数: 14173
16
都是分布式系统,你那是20年前的。
还是邓亚萍时代的硬盘。
h***i
发帖数: 89031
17
你他妈的开发分布式系统无人驾驶
程序员很不好装的
s********n
发帖数: 26222
18
既然如此,有4级的调控系统, 居然还会调度失灵?
l**i
发帖数: 8144
19
来自主题: Military版 - 泼脏水前先搞清楚逻辑
分布式系统 互相没有照应 难免逻辑矛盾
w********n
发帖数: 4752
20
民主是分布式系统,效率高,问题解决在基层,政权稳定。
s******c
发帖数: 1920
21
擦,他拿奖是这么多年最没争议的。n年前大家就都认为他一定会拿了。
flg写分布式系统都要用到的chubby或者zookeeper,就是他搞出的paxos算法的实现
m********3
发帖数: 3280
22
作者:IT专家网出处:IT专家网2014-07-11 10:10
一则发自朋友圈的消息引发了我的强烈关注——内容是:“中美达成重大谅解,开
启冰封,Google可以不用翻墙了,bloomberg不需要翻墙了。”而谷歌解封的消息出现
在微博,最早是在晚18点左右@TechWeb发出的博文:谷歌貌似已经解封了!这么短短几
个字,现在微博的转发数已达2800余条。
谷歌的解封在微信和微博都获得了网民的一致欢迎,欢呼之声一片。
据报道:此前,从5月27日开始Google的部分服务就已经开始被屏蔽,其主要表现
为Google搜索无法使用,而根据之后的相关透明度报告,媒体也最终确认谷歌的HTTPS
搜索服务和Google登录服务被屏蔽,所有相关的Google都受到影响,包括Google.hk和
Google.com等。
截至发文,从北京、上海、深圳、武汉等几个城市访问Google基础服务时均可以正
常登陆北京google服务器IP,搜索及部分插件功能略有不稳定,但依然能够正常使用。
那么,谷歌在今天突然解禁的背景和意义何在?我在这里试解析如下:
❶ 首先是中美关系从对抗走向合作双赢的... 阅读全帖
N******K
发帖数: 10202
23
来自主题: Military版 - 理工医农才是国家的立国之本
钱这种东西很无厘头 : 或者说商品交换比例是很没道理的事情
1头羊 = 1000斤大米 凭啥?
1个金融吸血鬼 1小时工作 = 1头羊 凭啥?
钱有两个功能:指导生产 分配成果
废掉其中之一就行了
方法 (1) 计划经济 + 消费币
方法 (2) 生产币 + 计划分配
方法 (3) 计划经济 + 计划分配
方法 (1)(2)(3) 都可行
方法(1) 消灭了金融吸血鬼和温JB 但是需要超级计算机进行集中控制制定计划 目前不
可行
方法(2) 消灭了金融吸血鬼和温JB 经济运行是分布式系统 可行
方法(3) 消灭了金融吸血鬼和温JB 消灭了社会不公 这既是共产主义
中国试验过方法(4)
方法 (4) 生产币 + 消费币 :会出现黑市 进行两种币的交换
美国用的是方法(5): 制造金融泡沫:虚拟经济货币量远超实体经济
N******K
发帖数: 10202
24
钱这种东西很无厘头 : 或者说商品交换比例是很没道理的事情
1头羊 = 1000斤大米 凭啥?
马克思试图解释:
羊倌的社会平均必要劳动时间 1小时 = 种田的社会平均必要劳动时间 1小时
貌似有道理啊
不过又没有道理
羊倌的社会平均必要劳动时间 1小时 = 科学家的社会平均必要劳动时间 1小时
1个金融吸血鬼 1小时工作 = 科学家 1小时工作
(注:马克思不认为金融资本家的工作 可以算作 劳动)
放羊太简单了吧 操 小学文化水平就行了 甚至文盲都行
搞科研编程序多累人 操 还得是博士
凭啥”相等“,换句话说 凭啥挣一样的工资?
我的观点:商品交换比例应该达到自然最优 (NatureOK最优)
优化目标:人民生活满意度
人民生活满意度 = 当代人民生活满意度 + 子孙后代满意度
子孙后代满意度 = 社会生产效率 + 环境保护 + 科技进步
变量:商品交换比例,也就是商品价格了
限制条件:社会资源
如果大家都是从事农业劳动 马克思的那套应该是最优解
如果大家从事差别非常大的劳动 有的非常简单 有的非常复杂 这个最优解就比较难求
如果社会资源无限,那么优化目标和这个变量毫无关系
自... 阅读全帖
a*****2
发帖数: 423
25
美元事实上让全世界尤其是中国成为美国人的奴隶,全世界范围插管吸血,窃取劳动人
民的劳动果实来养美国黑墨穆(公平的说,三是不包含在内的)。人民币挑战美元对中
国来说是路线没错,但危险系数高(欧洲和老毛子的下场我们也看见了),而且即使成
功也逃不过历史的循环。即使成功了,几十几百年后也难免循环走。折腾来去,都是短
期利益。总归还是没有促进人类整体进步,只不过是天平一会倾斜东方,一会倾斜西方
,如此往复,日久不息罢了。
我提出个想法,让bitcoin成为世界货币,可以保持公平,谁也没义务给别人当奴隶。
每个人都只能给自己当奴隶。
bitcoin本质是个货币实验,他的理论基础可以确保其天生的公平性。分布式系统,谁
也没有控制权,任谁也别想插管吸血。等于是回到以物易物的基本模式结构,以物易物
是商贸的本质,货币回到其原本的功能:仅仅为了携带方便而已。
bitcoin和美元 人民币的根本区别在于其本质不是政府或任何金融机构发行的货币,他
的decentralized本性是其革命性所在。他的出生源于其创造者对于政府或任何机构的
不信任
a*****2
发帖数: 423
26
bitcoin又不是美国或者美联储操控的
分布式系统 全世界的hacker操控着bitcoin
S******r
发帖数: 4421
27
吐了一地
所谓“透明计算”跟冯诺依曼结构有一毛钱联系?
后者是单机体系结构 到现在大家天天用的 从笔记本到工作站到服务器都还是这个结构
这方面的工作指的是 通过cache、并发、指令预测等不断提升IPC(Instructions per
Cycle)
张包装的那个透明计算更多的是无盘工作站、分布式系统这种老掉牙的玩意,就是新点
的云计算,也跟张没半毛钱关系
你还是老老实实去做你的嵌入式吧 别跟这丢人了
f********t
发帖数: 6999
28
【 以下文字转载自 JobHunting 讨论区 】
发信人: fuckthrust (...), 信区: JobHunting
标 题: 只有Google家员工才能看懂的笑话 (转载)
发信站: BBS 未名空间站 (Tue Feb 2 22:46:49 2016, 美东)
发信人: sohutu (hutu), 信区: Joke
标 题: 码工掌门的笑话
发信站: BBS 未名空间站 (Tue Feb 2 15:32:38 2016, 美东)
著作权归作者所有。
商业转载请联系作者获得授权,非商业转载请注明出处。
作者:绅士提督不笑船
链接:https://www.zhihu.com/question/20034686/answer/20646787
来源:知乎
Jeff Dean是google的大牛,主持google各种牛逼分布式系统的设计,比如Mapreduce之
类的,关于大神的传说,如同春哥一样多,当然,有些传说只有程序员能明白!
Jeff Dean当初面试Google时,被问到"如果P=NP能够推导出哪些结论",Jeff回答说:"
P = 0或者N = 1"。而在... 阅读全帖

发帖数: 1
29
分布式系统最终会取代mainframe.等着瞧。
t******e
发帖数: 2504
30
问题是在中土,所谓分布式系统也会中国特色化,十有八九,就是类似于军阀割据,边
疆独立,传统汉族势力退缩到汉地18省, 现在再加上东北,里面是大小不一的土皇帝
,有好有坏。
其实要是不互相打战,老百姓无所谓,碰到一个好的土皇帝,说不定比习包子强,出了
小蒋李光耀之类的, 但是,就怕大一统思维还在,那时连年内战是免不了的。
c*******9
发帖数: 9032
31
远程火箭炮也不太有用。撒德分布式的,不是集中在一个地方。打掉几个雷达,发射器
和其他雷达照样工作。

发帖数: 1
32
现代史书都是分布式系统了。
一直很奇怪,李瑞环资历比陈低,为何比陈爬得快。
s*****l
发帖数: 7106
33
说技术上没问题的 你们对分布式系统了解多少
m********5
发帖数: 17667
34
来自主题: Military版 - 美国FBI也很腻味比特币
有内在价值,实际上基本不可能禁止
不过各国都在以区块链为基础研究电子现金
但像现在这样完全去中心化,就类似直接用白银交易,各国政府都不愿意看到
自由货币会彻底成为地下等价物,但这不意味着比特币会没有价值。
分布式系统天生就是赢家全赢,所以一旦一两种自由货币得到认可,其余的基本都没机
会。你拿个大家都不交易的币种去买东西,人家是不收的
s*****r
发帖数: 43070
35
【 以下文字转载自 JobHunting 讨论区 】
发信人: wsclock (精确), 信区: JobHunting
标 题: F家详细面经,有工作经验被拒(超长慎入)
关键字: facebook,interview
发信站: BBS 未名空间站 (Fri Sep 22 20:45:31 2017, 美东)
简单总结:CS博士,奔5了,申请facebook software engineer,不是headquarter。
onsite后第三天收到据信。估计死在system design上。面试简况如下。详细的在后面。
Screening 和final round头两个都是coding interview,都做到了bug free。题目不
难,即使没刷过题,也容易有思路。唯一不足的是,有一个coding写的代码不是时间复
杂度最低的。虽然后来给出了优化的办法,但是没有时间写优化的代码了。
下一个是system design,感觉不太好。其中一个问题是估计要多少个server,我解答
的时候,最大的失误可能是没有问每秒钟多少个transaction,面试官也没给这个条件
。面试官指出... 阅读全帖
m*****n
发帖数: 3575
36
来自主题: Military版 - 这是属于自作自受
淘宝的数据库是把MySQL改装的,表层语法一样,内核是自己用C++写的分布式系统
厉害不?
f*****r
发帖数: 229
37
来自主题: Military版 - android都是不可取代的
大规模分布式系统的成功没有一个没有坚实的技术基础。真以为微信就是个小app,用
用android api就够了?

发帖数: 1
38
来自主题: Military版 - android都是不可取代的
微信后台大规模分布式系统还不是抄人家的,里面用了多少开源的东西
改了多少别人开源的东西?
而且这个和os还差远了
l*****i
发帖数: 20533
39
之前有一段时间,一些台湾的军迷非要认为j20没有头显技术,所以根本不具备类似
eodas的能力。哪怕给他们指出机体上的分布式系统,他们也不认,说是飞行员必须得
盯着屏幕,还怎么格斗?
S******r
发帖数: 4421
40
来自主题: Military版 - 学过流量控制的 都知道
所以要多给大众科普啊
社会本质就是个分布式系统
i*****9
发帖数: 3157
41
来自主题: Military版 - 学过流量控制的 都知道
政治不正确的言论都不让说了,拿啥科普?

:所以要多给大众科普啊
:社会本质就是个分布式系统
c****x
发帖数: 6601
42
飞翔。搞算法的,国内大把的,真的不值那么钱。
你要是做虚拟化、信息安全、分布式系统,编译,也许回国才是真需要。

:本科浙大的 在美就算你是麦迪逊分校的 搞算法的去深圳入职第一年能有70万已经相
当不错了
s*****l
发帖数: 7106
43
来自主题: Military版 - 很多lab搭了超算都求人用
那tmd是分布式系统
不是超算
g******t
发帖数: 11249
44
来自主题: Military版 - 很多lab搭了超算都求人用
哪个超算不是分布式系统?
c****x
发帖数: 6601
45
来自主题: Military版 - 有在职读PhD的么?
你要是读虚拟化,OS,Compiler,分布式系统的CS PhD,建议你去。
如果其他什么方向的CS PhD,还是算了吧。
c****x
发帖数: 6601
46
当年jobhunting版有个鹅厂的哥们,在深圳年薪百万,死活非要来美国读AI/ML的PhD。
劝都劝不听。
让他读读虚拟化、信息安全、分布式系统的PhD,人家都看不上。
只能说眼光真成问题。
n********g
发帖数: 6504
47
分布式群P。各尽所能,各取所需。
b***i
发帖数: 3043
48
来自主题: Military版 - 客观的说,包子真不是一尊的料
是的,文化问题。
什么时候中国文化容许中小学谈恋爱,不用做眼保健操,就有出息了。
地方自治,就是分布式系统。
b***i
发帖数: 3043
49
来自主题: Military版 - 家长制社会
互为因果
想想看,如果没有英国工业革命,中国还有整个东亚文明是不是还是原地踏步几千年?
英国文明就是分布式系统,年轻一代白出去自己住,自己管理自己,所以能成长,所以
能创造。英国这样搞了几百年终于产生了工业革命。美国继承了英国文化,人民具有开
拓精神。6-70年代的年轻人敢于挑战权威,所以产生了现代微机产业,软件产业和互联
网企业。这些系统性的新工业发展都是英美文明的产物,是中国家长制文化无法匹敌的
,也就陷入死循环,无法赚世界的钱,无法利润高,无法给年轻人高新。
X***R
发帖数: 2410
50
这个问题要辩证的看。
美国确实不是过去的美国,但这是针对大学毕业的中产而言。
对于有钱人,其圈子是不一样的,用美国这个据点搭建一个分布式系统运行 business
还是可行的。。
首页 上页 1 2 3 4 5 6 7 8 9 10 下页 末页 (共10页)