由买买提看人间百态

topics

全部话题 - 话题: bigtable
首页 上页 1 2 3 4 (共4页)
w**z
发帖数: 8232
1
C*每个column 有个timestamp, read return 的时候,如果cl >1,会比较timestamp of
the column from different node, in case of inconsistency, return the column
with the latest timestamp. client doesn't need to deal with the vector clock
crap. the last write wins.
g*****g
发帖数: 34805
2
You want to have the timestamp as column name for indexing purpose.

of
column
clock
f*******t
发帖数: 7549
3
Hbase里有,get时可以指定一个timestamp
w**z
发帖数: 8232
4
not sure what he is asking. if he needs timeseries data, then use timeuuid
as part of composite column name as you said.
g*****g
发帖数: 34805
5
He basically wants to do range query on timestamp.

timeuuid
B*****g
发帖数: 34098
6
c*如果还没有被彻底删掉,可以用sstable2json自己慢慢找,嘿嘿
f****4
发帖数: 1359
7
timestamp怎么同步?就是ntpd也有几十~一百ms的延时。多DC下面怎么搞?
就算不把C*当queue用这return the column with the latest timestamp还是需要
timestamp是正确的才行
g*****g
发帖数: 34805
8
Timestamp can be marked on your application cluster. If you are doing mult-
DC and you are sensitive to ms order difference, you are probably doing it
wrong to begin with. i.e. You shouldn't do multi-DC for stock exchange.
f****4
发帖数: 1359
9
好吧,我没讲清楚:C* in case of inconsistency, return the column with the
latest timestamp
C*自己解决inconsistency就是假设每个record的timestamp是sync的,这不是我应用需
要到ms精确度。
App cluster来做timestamp。你在app cluster里面怎么做同步?
g*****g
发帖数: 34805
10
app cluster 总是 hit一个 node, 自然不用同步。如果你在两个DC同时写同一个
column, 结果的确有不确定性。但通常你不在乎写的是哪个。
w**z
发帖数: 8232
11
In most of cases, C* generates timestamp at server side for you. Make sure
your NTP is setup correctly which is a prerequisite for C* cluster
It's not advisable to generate timestamp at client side and pass it in with
your request.
g*****g
发帖数: 34805
12
Hmm, looks like cql has better support for time uuid now. There's a time
server side time uuid is not available.

with
f****4
发帖数: 1359
13
我的感觉就是如果你的应用对NTP那100ms左右的误差引起的不一致很敏感的话C*就不是
你正确的选择
C*解决不一致性的时候是没办法100%保证正确的。CAP的trade off。

with
w**z
发帖数: 8232
14
Or you can try to go down the vector clock hell like Riak.
a***n
发帖数: 623
15
【 以下文字转载自 JobHunting 讨论区 】
发信人: auyin (auyin), 信区: JobHunting
标 题: 关于湾区马工的现状和未来,想简单说两句
发信站: BBS 未名空间站 (Tue Apr 21 15:16:00 2015, 美东)
1. 大环境烙印多、抱团、占坑、打压华人都是现实,他们登陆美国比这代华人早(老
一代华人基本都是开餐馆的,80年代才开始有一定数量的留学生来美国),人数远远高
于华人(看看每年ICC file H1b的人数就知道),而且从小受到的教育就是敌对中国(
在人家历史课本里中印战争是“中国侵略印度”)。
2. 华人由于语言的缘故大多不喜欢抛头露面,走管理线的基本都是native speaker,
比如ABC、CBC之类。华人本身地方文化差异、价值观差异也很大,大陆港澳台新这些华
人想法观念差异都很大,但总体来说相互还是会亲切一些,个别极品除外,BBS这里的
现象就是,好事不出声,坏事传千里,其实极品奇葩也没那么多,起码我身边的华人无
论大陆还是香港台湾都挺团结。
3. flg想进去真心不难,但这些公司的薪水其实这几年并没有怎么涨,... 阅读全帖
d****n
发帖数: 1637
16
来自主题: Programming版 - Cloud Bigtable Beta
cloud app is :
Number of users equals number of computers in dealer's warehouse.
Price between buying your own and renting from dealer are same.
Difference is dealer separated the computer from you by internet.
A*******e
发帖数: 2419
17
query一定慢吗?如果有复杂逻辑,SQL可以写join,bigtable这种只能把数据全部拉过
来,在客户端处理,速度能快吗?
A*******e
发帖数: 2419
18
不会吧。Google,Facebook难道会缺钱?还是搞了bigtable和C*
w***g
发帖数: 5958
19
来自主题: Programming版 - 没人讨论狗家最新开源的tensorflow?
G这种人很多,但我很怀疑这些人在G是不是还能接着创新。
就说Jia的caffe2,我估计也没多大前景。
开源软件是一个众人捡柴火焰高的事情,作者说要推倒重来,
大家未必能认。caffe是6796个星,mxnet是842个星,caffe2是279个星。
从这个就能看出来。
至少从开源软件上来说,G放出来的都是些不痛不痒的东西,
没有啥真让人耳目一新的。少数几个比较好的,也都是收购的小公司。
真正牛B的, 就看GFS, bigtable, mapreduce这些,
paper都是从G出来的,但现在有G啥事吗?
我在中部村子里坐井观天,欢迎G家的出来反驳。
要说机群环境下大规模数据处理平台,真有创新性的
我觉得要属Grappa。将来至少能干掉GraphLab。
f******2
发帖数: 2455
20
来自主题: Programming版 - 开源的赚钱之道(转载于微信)
开源已经彻底重塑了个人在信息技术领域如何发挥作用,企业如何在内外运行业务,以
及初创公司如何迅速地牢牢抓住互联网这趟快速列车。
有关开源的最有意思的问题是,公司如何靠开源这种商业模式来赚钱,因为开源软件可
以免费下载。我想对此逐一列举。不过要注意,只要越来越多追求创新的初创公司涌现
,可能总是会出现新的商业模式,以及靠开源来赚钱的新途径。
下面是我总结的开源赚钱的几个途径。
开源常见部分,关注差异部分
为了为客户开发一款完整的产品,公司通常不得不构建与竞争对手毫无二致的常见部分
,以及对他公司而言带来差异化优势的独特部分。公司可以开源第一个部分(常见部分
),或者充分利用开源社区,减轻负担。借助开源,它可以更加专注于第二部分,那部
分为公司带来了差异化优势。
例子包括:
许多公司在开发产品时使用开源代码库或工具。
IBM Bluemix结合开源OpenStack和CloudFoundry(这是常见部分)和专有技术(差异化
优势),成为其产品。
许多公司还这么做:对流行的开源平台进行包装后,出售“改良”版本。
销售互补产品
如果有人购买产品A后,还需要产品B,A才能正常使用,那么产品A和... 阅读全帖

发帖数: 1
21
来自主题: Programming版 - 用数据库做蒙特卡洛模拟的问题

看需要什么的环境吧
如果是要上关系数据库,只考虑读的速度memcached 和上面提到的 redis 都可以
关系数据库要读写都快,那就是redis
如果数据关联性不强, 那就用 nosql。或者土方法直接 hashtable + 大文件块
真要搞海量文件系统 google那篇 bigtable 要好好读
另外现在好像有新的海量关系数据库,没仔细看
h****e
发帖数: 2125
22
来自主题: Programming版 - [bssd]区块链
会刷kaggle算个屁啊,写的出BigTable之类的东东吗?

谷。
h****e
发帖数: 2125
23
来自主题: Programming版 - [bssd]区块链
改了BigTable总行了吧??我的point是国内的程序员也就是能抄抄别人做出来的系统
,然后在上面加点services。内功太差出不了啥大成就,至少二三十年以后再说吧。
l***y
发帖数: 4671
24
在 Google 平台上,我觉得哈,更重要的是 BigTable/GFS 干的事。
m***r
发帖数: 359
25
来自主题: DataSciences版 - 大数据日报 2015年2月楼
大数据日报 2015-02-25
@好东西传送门 出品, 过刊见
http://bd.memect.com
订阅:给 [email protected]
/* */ 发封空信, 标题: 订阅大数据日报
更好看的HTML版
http://bd.memect.com/archive/2015-02-25/short.html
1) 【我为什么选择MongoDB】 by @IT技术博客大学习
关键词:数据库, MongoDB, NoSQL
【我为什么选择MongoDB】 大概在08年,那时候nosql的概念特别热,最早的那批开源
项目好多参考google bigtable来设计,我也关注过其中的几个,比如hypertable,
couchdb之类,阅读了一些相关的文档和... 详见: [1]
[1] http://blogread.cn/it/article/3662?f=wb
2) 【Apache HBase高可用性的新阶段】 by @LUPA开源社区
关键词:计算框架, 数据库, Hadoop, HBase
【Apache HBase高可用性的新阶段】Apache HBase... 阅读全帖
首页 上页 1 2 3 4 (共4页)