由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - cassandra query speed求助
相关主题
goodbug你现在懂message queue了么?Hbase new column 存储问题
Cassandra returns null row keys?mysql index优化求助
Cassandra 里的 partition怎么样实现fuzzy join
有谁能讲讲Cassandra secondary index的?请教大家一个LINQ to SQL 的 query
感觉Cassandra比HBase好用很多呀system design question (转载)
DynamoDB 只能在 create Table 时候建 indexes大家对sqlite评价如何?
Spark + C*SQL fast search in a 10 million records table (转载)
可能还得死磕Hbasedouble转换int的问题
相关话题的讨论汇总
话题: table话题: cassandra话题: query话题: records话题: speed
进入Programming版参与讨论
1 (共1页)
D**C
发帖数: 6754
1
我有一个table, partition key 是a
select * from table where a=something
这个会返回50k records,但居然用了5秒。
用的是Java,这个table有11million records
大家觉得这个速度正常吗?我应该用memory only compaction吗
c*********e
发帖数: 16335
2
返回50k records,你怎么用这些records啊? 全显示到一个网页里?

【在 D**C 的大作中提到】
: 我有一个table, partition key 是a
: select * from table where a=something
: 这个会返回50k records,但居然用了5秒。
: 用的是Java,这个table有11million records
: 大家觉得这个速度正常吗?我应该用memory only compaction吗

D**C
发帖数: 6754
3
没,计算,全在内存,没多大。
我说的是从query开始到结束5秒

【在 c*********e 的大作中提到】
: 返回50k records,你怎么用这些records啊? 全显示到一个网页里?
d****n
发帖数: 12461
4
为啥要用selet *?c*可以有成千上万列,不同的列可以出现在不同的ss表里面,你确
信你的查询正确吗?
既然你用了partition key,那有11mil行的关系就不那么大了。当然如果表经常修改的
话,还要注意tombstone,这个也严重影响查询效率。

【在 D**C 的大作中提到】
: 我有一个table, partition key 是a
: select * from table where a=something
: 这个会返回50k records,但居然用了5秒。
: 用的是Java,这个table有11million records
: 大家觉得这个速度正常吗?我应该用memory only compaction吗

J****R
发帖数: 373
5
你得看你这50k的数据量有多大。narrow table or wide table。如果每行都几百k的数
据,5秒不算夸张了。

【在 D**C 的大作中提到】
: 我有一个table, partition key 是a
: select * from table where a=something
: 这个会返回50k records,但居然用了5秒。
: 用的是Java,这个table有11million records
: 大家觉得这个速度正常吗?我应该用memory only compaction吗

D**C
发帖数: 6754
6
每行就十个columns,一天只写一次,然后truncate

【在 d****n 的大作中提到】
: 为啥要用selet *?c*可以有成千上万列,不同的列可以出现在不同的ss表里面,你确
: 信你的查询正确吗?
: 既然你用了partition key,那有11mil行的关系就不那么大了。当然如果表经常修改的
: 话,还要注意tombstone,这个也严重影响查询效率。

D**C
发帖数: 6754
7
就十个column。
所以我觉得太慢了,我那个cassandra是公司提供的测试环境,我也不知道有多少人在
用。
你们有你们的一些metrics给我参考吗

【在 J****R 的大作中提到】
: 你得看你这50k的数据量有多大。narrow table or wide table。如果每行都几百k的数
: 据,5秒不算夸张了。

x***4
发帖数: 1815
8
我觉得还行。比我这里的hive快多了。

【在 D**C 的大作中提到】
: 就十个column。
: 所以我觉得太慢了,我那个cassandra是公司提供的测试环境,我也不知道有多少人在
: 用。
: 你们有你们的一些metrics给我参考吗

c*********e
发帖数: 16335
9
如果要快,就把table分成几个小table.

【在 D**C 的大作中提到】
: 我有一个table, partition key 是a
: select * from table where a=something
: 这个会返回50k records,但居然用了5秒。
: 用的是Java,这个table有11million records
: 大家觉得这个速度正常吗?我应该用memory only compaction吗

d****n
发帖数: 12461
10
觉得不可能这么慢。你可以打开tracing看看到底都花在什么时间里面了。

【在 D**C 的大作中提到】
: 就十个column。
: 所以我觉得太慢了,我那个cassandra是公司提供的测试环境,我也不知道有多少人在
: 用。
: 你们有你们的一些metrics给我参考吗

相关主题
DynamoDB 只能在 create Table 时候建 indexesHbase new column 存储问题
Spark + C*mysql index优化求助
可能还得死磕Hbase怎么样实现fuzzy join
进入Programming版参与讨论
J****R
发帖数: 373
11
十个column什么类型?
另外cluster上的node的时间sych了吗?

【在 D**C 的大作中提到】
: 就十个column。
: 所以我觉得太慢了,我那个cassandra是公司提供的测试环境,我也不知道有多少人在
: 用。
: 你们有你们的一些metrics给我参考吗

f*******t
发帖数: 7549
12
服务器配置是啥?带宽是啥?
w**z
发帖数: 8232
13
有 schema 吗?data compact 过吗?做个 trace 看看,别瞎猜了。你这信息量太小,
没办法知道哪里是 bottle neck.

【在 D**C 的大作中提到】
: 我有一个table, partition key 是a
: select * from table where a=something
: 这个会返回50k records,但居然用了5秒。
: 用的是Java,这个table有11million records
: 大家觉得这个速度正常吗?我应该用memory only compaction吗

D**C
发帖数: 6754
14
很简单,就是text和bigint还有一个date

【在 J****R 的大作中提到】
: 十个column什么类型?
: 另外cluster上的node的时间sych了吗?

D**C
发帖数: 6754
15
这就是我不知道的,我公司比较麻烦 等我看看怎么能figure out,我现在连运行cqlsh
都有问题。。。

【在 f*******t 的大作中提到】
: 服务器配置是啥?带宽是啥?
D**C
发帖数: 6754
16
暂时没法cqlsh。。。
我得看看memoryonly compact

【在 w**z 的大作中提到】
: 有 schema 吗?data compact 过吗?做个 trace 看看,别瞎猜了。你这信息量太小,
: 没办法知道哪里是 bottle neck.

w**z
发帖数: 8232
17
去 mailing list 或 IRC channel 问问,那样反馈快点。

【在 D**C 的大作中提到】
: 暂时没法cqlsh。。。
: 我得看看memoryonly compact

D**C
发帖数: 6754
18
有link吗?,谢谢

【在 w**z 的大作中提到】
: 去 mailing list 或 IRC channel 问问,那样反馈快点。
w**z
发帖数: 8232
1 (共1页)
进入Programming版参与讨论
相关主题
double转换int的问题感觉Cassandra比HBase好用很多呀
Truncation error import csv file to SQL table (转载)DynamoDB 只能在 create Table 时候建 indexes
Partitioning (转载)Spark + C*
[合集] MS interview question可能还得死磕Hbase
goodbug你现在懂message queue了么?Hbase new column 存储问题
Cassandra returns null row keys?mysql index优化求助
Cassandra 里的 partition怎么样实现fuzzy join
有谁能讲讲Cassandra secondary index的?请教大家一个LINQ to SQL 的 query
相关话题的讨论汇总
话题: table话题: cassandra话题: query话题: records话题: speed