z****e 发帖数: 54598 | 1 可以活,活得很苦逼
做分布式,平台碎片化是其主要的特征
不比做hpc,mainframe那些,机器就那么几台
而且高度同质化,伺候好就好了 |
|
ET 发帖数: 10701 | 2 不能说没啥好学的。
下次你领军时,因为business scale需要上新技术时,你可以把P的故事讲给你下面人
听。
growing pain. it is how it is. |
|
|
p*****2 发帖数: 21240 | 4 这样看来foursquare还是值得尊重的呀
毕竟敢于大胆尝试 |
|
g*****g 发帖数: 34805 | 5 Startup有两种,做产品的和做轮子的。前者颠覆性的是产品,后者颠覆性的是轮子。P
显然属于前者,你把两者混淆了。
做产品的Startup做出颠覆性轮子是极其罕见的,没那个人力物力,利用现有轮子快速
实现产品才是王道。做轮子的绝大多数是大公司养了几个闲人,折腾出个轮子反响不错
拉出来单开个公司。诸如Hadoop, Cassandra都是如此。
sake
business
improve |
|
z****e 发帖数: 54598 | 6 做颠覆性轮子需要跟上潮流
做os,db那是大门时代的技术创业
等00年之后,那都是jboss,bea这种搞ejb的创业
前几年是做nosql的创业
现在风潮都涌向了ml了
时代一过,要想再搞啥技术创业,都没戏了
象现在搞啥ejb或者db创业,肯定被拍死,因为开源太剽悍了
。P |
|
|
ET 发帖数: 10701 | 8 当然不少。但显然比consumer product受到的关注程度低。
退出大多都是悄无声息的就被买了。 |
|
p*****2 发帖数: 21240 | 9 consumer 成功的也是极少数呀
感觉都很难 但是牛人搞一般都不差 总能掀起点风浪 |
|
|
M****z 发帖数: 1058 | 11 consumer web早就过了黄金进入窗口了 |
|
l*****t 发帖数: 2019 | 12 Thanks. good blog. very classic.
Won't blame Netflix. LinkedIn itself had big problem migrating from 0.7 to 0
.8, almost same issue.
Many orgs chose not to face the same issue how to rollout something
horizontally without nontrivial effort from each stack. Luckily we don't
have this problem. Both 0.7 project and 0.8 migration happening smoothly
without much work from the dec teams, almost completely done by a 2-person
team. |
|
l*****t 发帖数: 2019 | 13 还好吧。P刚起来的scale 有没有50人的WhatsApp大? |
|
|
l*****t 发帖数: 2019 | 15 I have done more than talking about stories like P. :) |
|
l*****t 发帖数: 2019 | 16 yeah, 4square has some guts migrating onto Kafka in late 2012 or something,
kinda like those people who adopted Spark in 2012, when everyone was against
it. |
|
|
h*****a 发帖数: 1718 | 18 好像他们也不太行了吧。当然行不行不一定是技术的原因,但startup第一要务是生存
,第二要务是grow,技术只是辅助手段罢了。尝试新技术如果带来比较大的风险,那还
是谨慎一点好。 |
|
l*****t 发帖数: 2019 | 19 除了 system 的 startup 比如当年的 cloudera, datastax现在的databricks,大部分
startup借用你的讲法都是做产品的。
但是这不是不做不做轮子的问题,而是采购轮子的问题。很多startup包括established
都不愿意做研究工作、几个好的poc和pilot,就根据自己的经验和接受能力去定去上马
了。问题是现在新轮子出的挺快的,不改变culture不行了。不是10年前,说一句it's
not about the technology it's about good people making it work的时代了。
。P |
|
l*****t 发帖数: 2019 | 20 所以造就了几个了轮子公司的伟大。
的确,做轮子太难了。 |
|
|
l*****t 发帖数: 2019 | 22 是呀,business的人才和能力,比技术人才重要多了。但是我们技术人员也是吃皇粮的
,也得好好尽忠职守呀。 |
|
p*****2 发帖数: 21240 | 23
这个同意。不过正像consumer追求流行一样,developer也会追求新技术。这个就是爱
好,跟打游戏差不多。当然对于企业来说未必是好事。不过新技术很多时候也确实能更
容易解决问题。不然也不会技术的淘汰节奏这么快了。我们应该都经历了几次更新换代
了。 |
|
|
h*****a 发帖数: 1718 | 25 这点没有问题。P用的zookeeper, Hbase, Kafka, Storm,Go,Thrift, Finagle等等也
都是新技术。不过是不是新技术刚一发布就要用我觉得不一定。
一般来说用新技术要有几个条件,一是确实有相应的需求能用新技术更好解决,二是要
有人能尽快上手。三是从现有stack migrate过去的成本不高。一更是必要条件。 |
|
p*****2 发帖数: 21240 | 26
同意。所以有人说现在搞spark已经很晚了,我不信。
一般要经过一段时间的experiment,先做一些小东西,慢慢觉得可以了,就可以更大规
模应用。很多时候experiment了之后也未必要用。 |
|
h*****a 发帖数: 1718 | 27 好啊,你有什么经验可以到时候share一下,我们也在考虑要用spark。 |
|
|
|
p*****2 发帖数: 21240 | 30
确实好多人complain过。不过有啥好替代品吗? |
|
z****e 发帖数: 54598 | 31 对呀对呀
我们用的都是破铜烂铁
不象你们有hpc的consultants可以用
我们都是自己动手,苦逼呀 |
|
z****e 发帖数: 54598 | 32 隔壁组,隔壁组
读书时候,搞hpc的computing跟我们是一个dept的
工作时候,搞mainframe的组跟我们也是一个dept的
对于这种高大上的东西,我对它们的了解停留在看猪跑的阶段
没怎么吃过猪肉 |
|
|
|
p*****2 发帖数: 21240 | 35
我的理解是thrift的性能比rest强。不过我也没用过,不知道差多少 |
|
z****e 发帖数: 54598 | 36 难不成数据结构你不用json了?
用json才是主流吧
rest用http协议,不过改成tcp/ip或者udp/ip也不难
vert.x对于主流的网络协议都有现成的例子可以直接抄
剩下的没有啥可优化的,网络协议不可能再简单了
总不能ip都不用吧 |
|
ET 发帖数: 10701 | 37 成功就是massive。
就概率而言,当然还是B2B成功性更大些。 |
|
ET 发帖数: 10701 | 38 看看square, 出了多少open source 的库!
我觉得这公司显然有很多天才,现在就是不知道公司的方向何在。 |
|
h*****a 发帖数: 1718 | 39 我们这边T过来的人不少,Thrift也已经用了很久了。你觉得Thrift有什么地方不好吗? |
|
h*****a 发帖数: 1718 | 40 看你传输的data的情况吧,binary v.s. txt, rpc v.s. http I think. |
|
w**z 发帖数: 8232 | 41 总的来说,Thrift 这个project 已经没有多少新的development 了, 还在0.9.1, 已
经一年没有新的release了。 用起来真的很不方便。每次改点东西server, client 都
要改。还有个问题,不同的软件 需要不同版本的thrift, 就惨了。我们 scribe 用
的thrift 版本和 C* 用的thrift 版本不一样,无解啊。
吗? |
|
|
w**z 发帖数: 8232 | 43 他们后来加了native protocol可以不用thrift. |
|
h*****a 发帖数: 1718 | 44 确实,你说的问题我们也有。目前code generation和version不兼容确实有些头疼。不
过暂时也只能这样。那你们有什么更好的solution? |
|
w**z 发帖数: 8232 | 45 新项目都上rest 了,或者rabbit mq, 老的就那么的了。 |
|
|
w**z 发帖数: 8232 | 47 pb 好像也要compile 吧, 还是走HTTP 好。 |
|
g*****g 发帖数: 34805 | 48 这种追求性能的数据库,binary protocol是必须有的。 |
|
y**********u 发帖数: 6366 | 49 http 和 rpc有什么区别呢?
还有很多时候读写数据库,用haproxy,性能和rest有什么大区别呢? |
|
w**z 发帖数: 8232 | 50 http 当然会有一些overhead, 但是一般的应用,应该不会对响应时间有那么高的要求。 |
|