p********e
发帖数: 55 | 1 谢谢大家回复
我可能没说清楚我的问题
imac pro $5k一台，同样的价格买其他server有更好的选择么？
如果买4-5台 imac pro的钱，有更好的选择吗？买一台好的server或者多台不是mac的
server
主要是自己的组做genomics的计算，考虑拿出一半的机器也让系里其他人submit job
我上学时候导师就是买了好几台mac pro做server，和系里的主服务器的存储系统是连
起来的。
系里的服务器不行，我想申请一些计算设备的经费，看看怎么买。现在还不知道具体多
少钱，不过再怎么也应该有几万吧 |
|
|
L******d
发帖数: 2461 | 3 typo, typo...自动纠错要加强啊... |
|
L******d
发帖数: 2461 | 4 想组建家庭卡拉OK系统, 打算上4.5TB歌库的IDs注意了:
Newegg has a few combos of the SANS DIGITAL TR4M 4 Bay SATA to eSATA (Port
Multiplier) JBOD Enclosure with a few different hard drives. Shipping is
free.
SANS DIGITAL TR4M 4 Bay SATA to eSATA (Port Multiplier) JBOD Enclosure 用来
把多至4块SATA硬盘同时通过一个eSATA接口接到你的电脑上. 平时卖$150左右. 据说
Raid版的有点问题, 不要做Raid就没问题.
SANS DIGITAL TR4M 4 Bay SATA to eSATA (Port Multiplier) JBOD Enclosure -
Retail + Western Digital Caviar Green WD10EADS 1TB SATA 3.0Gb/s 3.5"
Internal Hard Drive -Bare |
|
z*****9
发帖数: 86 | 5 就是这些个log，格式无所谓，显示在terminal上都可以。我说让这些服务器都写到一
数据库，然后让客户从数据库读，或者搞一个存储系统，一个磁盘管若干个ip。或者用
sockets，自己定义一个协议。面试官说这样lock contention很厉害。不知道该咋办了。
第二题我说sockets就行了吧，listening sockets知道client地址的。或者pipe也可以
，如果client和server都在一台机器上。他说这样在kernel space还是有contention，
我表示同意，因为大家都得写到TCP的buffer里面。但是除了这个我也不知道该咋办~~~
，是不是该select，大家各用各的buffer？ |
|
w****e
发帖数: 23 | 6 P2P显然是不合适的：
1. 用户的数量其实是没有限制的。同时编辑的用户越多，P2P导致复杂度与单纯的连服
务器差距越大。
2. 在遇到网络异常等意外时，P2P各个端点很难处理。这个时候由服务端来运算，就简
化很多。
3. google doc的spreadsheet要支持所有的浏览器和平台，不是所有的用户都支持HTTP
以外的协议。
另外云平台当然要云计算，否则Google要去做的就是桌面软件了。
从通讯上来讲，我觉得就简单的假设用HTTP协议的，具体是用Ajax还是客户端呼叫Web
Service都无所谓。
从更新内容上来讲，我认为参考数据库的增量备份模式，更新的是操作而非内容现状，
这样的优点是：
1. 减少通讯量；
2. 操作作为内容的一部分存储在服务器，支持版本恢复；
3. 给了服务器足够的信息来处理各种意外，比如用户因断网而导致的输入冲突。
同步处理与意外：
1. 提交数据：用户的任何输入都要及时提交服务器，以提交同步效率。（你在一个单
元格内不停的输入但是不回车，算不上完成输入）
2. 更新数据：任何提交的时候都更新数据，另外如果没有提交数据，也必须保障每隔
固定间隔刷新... 阅读全帖 |
|
c***0
发帖数: 449 | 7 问题在于， 你怎么知道哪个friend有update? 每个friend占一个bit 存在一个数列里
供别人查看是否有update吗？
还有个难点是，存储空间有限，如何合理的把所有friend的activity存在里面，然后别
人还能方便的找出来某一个friend的所有activity，等一个activity都发送完后，还要
清空
这个activity。
any
here. |
|
z****e
发帖数: 54598 | 8 不能说你是错的
但是没有满足第三个条件，存储空间有限
你必需persistence
我觉得用db或者cassandra都好
只要不用hbase这种半天不响应的
不过db可能撑不住，数据继续大下去，p一定要被牺牲掉
用cassandra
参考内森那篇文章
其实这题最简单就告诉它
storm+cassandra
搞定
twitter在low latency上颇有建树，多参考它们的文章
queue |
|
d***n
发帖数: 832 | 9 我觉得这个说得简洁明了
最后数据存储用no sql db
scalability有保证也快
amazon dynamo还全是SSD呢 |
|
g*****g
发帖数: 34805 | 10 类似Twitter, C*的time series是这种问题的经典解决方案。根据follower多少和blog
大小，可以对read path和write path做优化, read path优化无非就是caching。对
follower很多的，比如Beyonce那种千万级，caching可能也顶不住，比较可靠的办法就
是把tweet复制到每个人的feed里面。反过来follower少一点，blog大一点，caching就
比较好使，也节省存储。
这年头是个人都有smartphone，在线和离线的区别不明显。主要可以用来决定复制的优
先顺序而已。当然也可以先复制tweet的ID，再复制内容，中间的gap用cache撑着。要根
据follower多少和blog大小，在给定SLA前提下来看那种路线最优。 |
|
m********t
发帖数: 13072 | 11 满版的设计题，脑袋都不够用了，我都忘光光了还有这道题，这种设计的主旋律就是，
1.先做features basics
2.在此基础上，其他的additional，一个一个往上加
通常basic requirement比较fixed，就那几个modules，timing这部分要设置几个分支
的模块
这个没有什么挑战度吧，就是围绕着不同时间的表达，再加上repeatable alerts，
还要做那个http的get/post一类的东东，就是你输入了content，要post上去的，存储
在一个local server database里，这就需要一个form结构吧
嗯，还得整个mini-DB |
|
p*****2
发帖数: 21240 | 12 假设有1 billion user
每个user平均每天new一个event
平均每天读10次
那么大概每秒10k的写和100k的读
如果每个user可以使用1M的存储空间，那么total就是1PB，属于大数据了
当然实际使用的情况感觉应该没有这个大，但是potentilly还是可能的, 我感觉实际情
况100T应该是够了 （90%的user不怎么使用calendar）
从这个分析来说， Cassandra handle起来应该没什么问题，是一个不错的选择, 一般
的SQL就不适合处理这么大量了。 |
|
m********t
发帖数: 13072 | 13 这是另一个要考虑的分支，我暂时不清楚“眼下”最流行的big data的存储模式，可以
去了解一下
SQL是不能承受重负之重，如你所言，C*应该更好用
加十分！ |
|
p*****2
发帖数: 21240 | 14
我觉得存储，处理大数据是很有chanlleng的，不是说这些技术有多么好，是能干这事
的东西就很少。其实就那么几个。不然Hadoop问题那么多，还是那么流行，不是说
Hadoop好，而是没有其他的能干这活。当然现在Spark出来就不一样了。 |
|
s*******z
发帖数: 83 | 15 谷家面试要送HC了, 感觉有点点悬, 特来版上求祝福.... 买买提大神们要给力啊.
mountain view onsite, 面的是SRE software engineer.
面了两轮设计, 第一轮设计onsite面的, 相谈甚欢, 结果后来recruiter说算法题都觉
得反馈不错, 但是他们觉得large system design方面还有一些问题没有问到!? 然后说
好吧, 加一轮电话的. 一个电话过来, 是白人, 但应该不是本土的, 带点口音, 说话飞
快, 我就不识相的说你说话请慢点, 速度依旧, 题目也算简单, 设计超大K-V表的存储
系统, 但是要对K进行一番处理, 花了不下25分钟在那个上面, 中途他还出去了一次.
我类Hbase的设计都在嘴边了, 生生拖到了45分钟结束, 面试官很忙的样子, 就over 了
. 以后还是得注意自己把握节奏, 不能跟着面试官的走.
求祝福~~~ |
|
i**d
发帖数: 357 | 16 呵呵，没搞过embedded db的开发？你以为读disk的就只有hadoop？
fb里有很多这种嵌入式的存储系统, 不然你以为rocksdb是怎么出来的。disk IO当然是
要考虑的因素了。 |
|
a********5
发帖数: 1631 | 17 现在看项目
以CMU为例吧，有的项目要求一学期至少三门研究生以上级别的课，大数据挖掘，高级
存储系统，分布式写HADOOP框架 什么复杂来什么 不搞的吐血根本拿不到A
有的项目一学期就一门JAVA。
你说这俩项目拿A的难度、意义是否相同
当然按楼上一些人的说法，反正都是敲门砖，是相同的
所以我现在都是鼓励人去一些只用学一门JAVA就毕业的项目。 |
|
b******i
发帖数: 914 | 18 这种题一般怎么tackle呢？比如设计一个yelp
请问大家有什么好的资料没有？后台，存储，索引之类的，找了一些感觉都不是很靠谱
？谢谢！ |
|
s**x
发帖数: 7506 | 19 这个肯定不是最基本的问题，最多算是后台存储系统很重要的一个考量。分布式最重要
的还是架构，如何分流，scalability. |
|
s*****r
发帖数: 43070 | 20 最后一段属实
很惊讶狗竟然搞出这么多东东，设计的存储系统就有几十种
一个一个看过去，找两个重点学习，一年就过去了 |
|
e*******o
发帖数: 2271 | 21 你这个学得是不是有点慢
: 最后一段属实
: 很惊讶狗竟然搞出这么多东东，设计的存储系统就有几十种
: 一个一个看过去，找两个重点学习，一年就过去了
|
|
发帖数: 1 | 22 存储系统没有hands on经验的要吗？写过arm, c++ 第一语言 |
|
发帖数: 1 | 23 存储系统没有hands on经验的要吗？写过arm, c++ 第一语言 |
|
f******w
发帖数: 420 | 24 dude 以下我的个人看法，以偏概全，权当我自己瞎罗唆。
首先，如果放20 年前，那时候电信和硬件基础设施尤其是存储系统还是非常的突飞猛
进。数字化时代的来临需要大量实体硬件支持。做硬件设备相关的公司很多。导致市场
上找不到有多年经验的内核工程师，尤其是firmware，driver等方面的。按照我老大哥
的话说那时候公司一开始招人就是5000起。当然门坎不低，各种计算机的基础知识都需
要。如何处理中断，内存的分页，调度算法，如何的schedule，进程的调度，总之你学
校里面的一门课：计算机原理。
然后，20年后的今天，你看看老牌计算机公司的struggle，按你说的那些20年前是年轻
小伙子的老大哥们现在还是骨干。还是那些计算机原理的活。但是饼没有扩大，所以你
很少见到招人5000，倒是能看见裁人500的RIF。那么这行还是原来那行，还是入门很难
，但是需求没有原来那么旺盛而已。所谓的hard模式。
那么现在公司要的是什么呢，总结一句话，另外一门计算机课程：算法设计与分析＋系
统设计。现在所谓火的公司基本生是互联网起家，大数据处理。非常快的开发模式，很
小的开发团队，炙手可热的产品... 阅读全帖 |
|
s****a
发帖数: 794 | 25 直接甩名词会挂的
即便不知道用什么存储 用什么架构 但能分析清楚需求 并能分析各种方法的优缺点 把
设计说清楚 远比甩几个名词要好 |
|
s*****r
发帖数: 43070 | 26 看你兴致勃勃的，也不想太泼冷水，但狗家扫地增还是很多的，俺还没见过特别白给的
狗家的东西自成一套体系，和外面的完全不一样，上手的bar还是很高的。如果你是5级
，应该也是5级，不会有人在技术方面带你，基本要靠自学，估计第一年不会有啥像样
的周末。第一年能挺过来，后面会好一些，不过需要学的东西还是不少
俺不是乱讲，光SQL就有好几套，常用文件格式十几种，常用存储系统七八个，都是外
面没有的，还有独一无二的guice大法，欲仙欲死
这只是技术方面，还有无穷无尽的产品文档，欲仙欲死，而且还要求去写。对于5来讲
，没有一个说得过去的design doc，perf不容易过关 |
|
z*****8
发帖数: 412 | 27 ADT可以安装，屋里可以安装硬盘光盘存储，给你一个用户名密码可以实时网上登录。
但是他们的surveillance camera又贵又不清晰，强烈不推荐。
他们安装倒也是在墙上梁上打洞固定引线的。你要自己安估计也要上钻头。
你要安的话，其实有线无线无所谓，清晰才是王道；强烈建议安个可以可以旋转的，固定的很容易有盲区，有安好几个才能几乎覆盖。
我看广告FRY'S好像都有挺多的，但不知道他们负责不负责安装。 |
|
e*i
发帖数: 10288 | 28 大约是不行的...有朋友做指纹机的，他说人稍微一多（<100），机器里面存储的指纹
就可能在误差范围内重合了--解决这个问题的办法是在多存一个指头的指纹。:P |
|
|
m********0
发帖数: 2717 | 30 看你这么热情，就说两句。
这板上90%以上是挖苦和讽刺，还有就是来寻求虚荣心的。从你总结的那么多点看。
你要走的路还好远好远，我从一无所知到build你这样的system大概两三个礼拜的样子。刚开始也
很热情，如果只是把make money作为动力，恐怕热情不会持续这么久，如果当作一种消遣，可能对
身心更有益。
2. beat the market做信仰可不行，beat market概念上，只要买write covered SPY
call就by definition beat the market了。。。。
4. 频率是由你想找什么样的inefficiency决定的，高频对于licensed member的机构比
较实
际，他们不需要交commission，还可以拿到大量liquidity rebate，如果你想花M（不
记得具体
多少了）买一个交易所的membership也可以。如果叫commission的话，越高频越难做，没
commission的情况下，SR达到上千上万都有可能，有commission，。。。。如果想入门
，可以参
考一下Irene写的那本Introductio... 阅读全帖 |
|
s******s
发帖数: 13035 | 31 还有更低价的多的。直接上ubuntu+openstack，系统开销=0
雇个七八个人就可以cloud开张了。 |
|
g*****1
发帖数: 1121 | 32 一个月2块钱的储存费而已，没什么特别的。
他跟别的仓库存储一样，要支付人工费，场地租金，还要保证安全不爆炸的投入。
要是做存贮不收费，那才叫奇怪呢。 |
|
r***k
发帖数: 13586 | 33 一个月6%，你算算一年是多少？你觉得存储成本和这个差价是一个数量级的么？尤其是
在中国，人工租金都异常便宜，当前建储油罐的钢材水泥也是异常便宜，现在不建更待
何时。 |
|
|
t*********e
发帖数: 1136 | 35 BRCD 有几个问题：
1。营业额大部分（64%）是OEM。也就是别的公司出头卖自己的东西的同时顺带
捎上BRCD的产品。比如EMC卖存储系统的时候拿BRCD的东西来配套。这样的公司
利润率就高不上去。带头的公司总是拿大头。BRCD只能跟着喝汤。如果有人想
买BRCD也得考虑和带头公司有没有冲突。假设IBM想买BRCD，那EMC就不合作了，
因为EMC的存贮设备和IBM有竞争。这样BRCD的营业额反而可能会下降。买家可能
得不偿失。
2。从上到下员工习惯于拿公司当提款机。Buyout要压榨员工的话，那人家
拍屁股走人你又有什么办法？高科技公司人才没了也就没啥搞头了。
3。这个行业是比较成熟的行业。国际（中国）和国内的竞争激烈。BRCD没有
一项主打的大型产品系列是市场绝对的第一。发展前途有限。 |
|
c*********g
发帖数: 116 | 36
to
对，这5g的好处是解决各太电脑的同步问题和备份问题。家里10几台电子设备倒来倒去
太麻烦。而且存gdrive里不用担心丢了。
基本上不指望用这5g来存照片(raw format)，视频（自己拍的都是hdtv的）
但是也同样不能指望靠笔记本电脑上的1T硬盘来解决。家里还是要搞个存储系统。
所有大容量媒体文件之外的东西5G GDrive也够也呀 |
|
f********t
发帖数: 4574 | 37 烧气的好像不错，如果局部停电不影响供气，对付短期停电就不用存储了，否则要建个
大气罐，偏远地区有些cabin后院就有，做饭采暖发电都可以用。长期系列第一篇就说过，储气应该比储汽油安全 |
|
d**********t
发帖数: 20415 | 38 话说这图下下来放哪里才能玩啊？
SC2的存储系统好复杂... |
|
wh
发帖数: 141625 | 39 【 以下文字转载自 Translation 讨论区 】
发信人: wh (wh), 信区: Translation
标 题: 【译林】星战名句之翻译——请帮忙改进，谢谢
发信站: BBS 未名空间站 (Mon Mar 21 14:42:38 2016, 美东)
这学期教的中文班打算在学期汇演中表演星战片段。我挑了几段脍炙人口的场景和台词
，计划让学生用中文表演，让观众猜角色和台词。我没看过（手边也找不到）星战的中
文版小说，自己找了几个桥段翻。一边翻，电影里的种种场面历历如在眼前，令人感喟。
有些句子（如2、6、8）想不出更好的翻译，贴出来向大家请教。也欢迎提议其他容易
表演的名段子。谢谢！
1.
Narrator: Long, long ago in a galaxy far, far away…
在很久很久以前，在很远很远的星球上……
2.
Qui-Gon: He's the chosen one. I'm sure of it.
他是那个被选中的人。我肯定。
3.
Emperor Palpataine: Have you ever heard the story of Dar... 阅读全帖 |
|
y****n
发帖数: 878 | 40 同一台机子注册多次没用的，除非找多个机子，或者1个机子多个系统 |
|
d***a
发帖数: 13752 | 41 这和数字后背是不同的：LCD和存储系统仍然做在机身上。Sensor模块
可以做成大约2.5-in固态盘那么大小，从机身侧面插进去，类似于插一个
大号CF卡。
呵呵，大家别当真。这种项目，没有几十M做不出来的。 |
|
发帖数: 1 | 42 看你有多少照片和视频。
我用Synology的NAS。设置iSCSI。在Windows里就当本地盘一样用。1G的网络读写速度
有100MB/s。没有SSD快。比外接硬盘或本地硬盘快得多也可靠得多。我还用双SSD硬盘
做缓冲。小文件读写也很快。
由于被系统当成本地硬盘，Amazon Drive能无缝备份。可以选择只备份照片。支持RAW
。我有Prime。
我也有CrashPlan。用来备份视频。但CrashPlan要退出市场了。 |
|
x****o
发帖数: 21566 | 43 我们都熟知那些伟大的科学家，比如：达尔文和他的《进化论》、牛顿和他的万有引力
定律。然而，在科学界还有许许多多无名英雄，他们为科学所做出的贡献理应受到更多
的肯定。
罗莎琳·弗兰克林(Rosalind Franklin)
罗莎琳·弗兰克林就是其中之一。作为一名分子生物学家，弗兰克林为揭示DNA结构进
行了重要的早期研究。
弗兰克林曾用检晶仪拍摄到第一张DNA结构照片。她的贡献远超出了她所处的时代。直
到弗兰克林去世数年，沃森和克里克才因发现DNA的双螺旋结构获得了1962年的诺贝尔
奖。就连克里克也坦言道，如果没有弗兰克林的关键性研究，就不会有他们的成就。尽
管许多由弗兰克林独自撰写的关于DNA结构的论文并未发表，但他们之间的许多学科内
部交流给沃森和克里克的相关研究报告提供了很多支持。后来，弗兰克林还对烟草花叶
病毒和小儿麻痹症进行了许多研究。然而，在1957年，年仅37岁的弗兰克林死于卵巢癌
，其具有先驱意义的生命也随之嘎然而止。
阿尔弗莱德·罗素·华莱士(Alfred Russel Wallace)
众所周之，查尔斯·达尔文的《物种起源》是进化理论最重要的一篇论文。然而，事实
上... 阅读全帖 |
|
wh
发帖数: 141625 | 44 这学期教的中文班打算在学期汇演中表演星战片段。我挑了几段脍炙人口的场景和台词
，计划让学生用中文表演，让观众猜角色和台词。我没看过（手边也找不到）星战的中
文版小说，自己找了几个桥段翻。一边翻，电影里的种种场面历历如在眼前，令人感喟。
有些句子（如2、6、8）想不出更好的翻译，贴出来向大家请教。也欢迎提议其他容易
表演的名段子。谢谢！
1.
Narrator: Long, long ago in a galaxy far, far away…
在很久很久以前，在很远很远的星球上……
2.
Qui-Gon: He's the chosen one. I'm sure of it.
他是那个被选中的人。我肯定。
3.
Emperor Palpataine: Have you ever heard the story of Darth Plagueis the Wise
? … He was so powerful, he could even keep the ones he cared about from
dying.
你听说过智者Darth Plagueis的故事吗？……他是那么强... 阅读全帖 |
|
m**o
发帖数: 9805 | 45 无非写了点东西在内置存储上，就把你给高潮的
说了，你把OSX装U盘上，别说各种硬件杂烩的PC了，你插个果子机跑跑看？ |
|
i***h
发帖数: 12655 | 46 在相册了删了好几百张照片到垃圾桶
storage usage一点都没变
这个是系统自动安排的么？ |
|
j********3
发帖数: 560 | 47 我已经把相机照片视频全部删光了，可是系统里还是显示有6G多的空间被相机照片占用
。请问这是怎么回事啊？谢谢！ |
|
b***i
发帖数: 3043 | 48 google app engine 支持php了。这个系统没有数据库的配置维护需求，只要生成数据
就行了。你研究一下吧。
, |
|
f*******d
发帖数: 5 | 49 请教个问题。我们想买一个storage，200K资金，希望实际读写（大文件）速度不少于
5Gbits/s，对速度的要求大于对存储容量的要求，请推荐一个解决方案吧。
谢谢！ |
|
c*****d
发帖数: 6045 | 50 database可以用text, clob来储存文本，查询速度肯定比文件系统快
位置. |
|
