由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 一般操作很多的数据用什么数据结构?
相关主题
scala开发效率确实奇高请教双键的动态结构用什么数据结构比较好?
问个弱智问题,有网站用nosql做primary db么?ES怎么玩?
用数据库做蒙特卡洛模拟的问题标题党,12306今年确实比较安静 (转载)
redis是否支持python复合数据结构?Spark + C*
搞软件的四个层次SQL要学到什么程度?要写sub procedure吗?
一个关于多个Python 程序共享数据结构的问题big data,菜凉?
redis set Time complexity: O(1) 怎么可能?问一道面试题
阅读Robert Sedgewick的"algorithms in C"的感受被同事吐槽,LINQ用的太多
相关话题的讨论汇总
话题: indexes话题: query话题: 1m话题: unordered话题: 数据
进入Programming版参与讨论
1 (共1页)
h**o
发帖数: 548
1
例如1M 数据 吧,操作是指access, insert, delete之类。是 hash + BST? 还是其他的
k**********g
发帖数: 989
2

他的
别忘了query。一般search用的是什麽条件?(exact match, range, predicate)每次返
回多少笔数据?(as a percentage of whole table size). These will affect your
choice of data structure.
Most of the time, the row storage is handled separately from the "indexes",
i.e. additional data structures which accelerate these query operations.
Row operation is usually cheap in memory.
It is the trade-off between the maintenance overhead of these indexes, and
the gain from query acceleration, that determines the best data structure
for these indexes.
As an example, take a look at Boost MultiIndex.
http://www.boost.org/doc/libs/1_54_0/libs/multi_index/doc/index

【在 h**o 的大作中提到】
: 例如1M 数据 吧,操作是指access, insert, delete之类。是 hash + BST? 还是其他的
m*******l
发帖数: 12782
3
每个数据单元 多大?
这些东西理论有指导价值,实际要自己测

他的

【在 h**o 的大作中提到】
: 例如1M 数据 吧,操作是指access, insert, delete之类。是 hash + BST? 还是其他的
g*****g
发帖数: 34805
4
1M is not many. And for most cases, RDBMS will handle that easily.
There's no need to reinvent the wheel.

他的

【在 h**o 的大作中提到】
: 例如1M 数据 吧,操作是指access, insert, delete之类。是 hash + BST? 还是其他的
h**o
发帖数: 548
5
目的就是 count domain sites, user names 什么的。insert/query 是c++算, 不是
database算.domain sites 不会太多,因为横多重复。user names会很多。

your
,

【在 k**********g 的大作中提到】
:
: 他的
: 别忘了query。一般search用的是什麽条件?(exact match, range, predicate)每次返
: 回多少笔数据?(as a percentage of whole table size). These will affect your
: choice of data structure.
: Most of the time, the row storage is handled separately from the "indexes",
: i.e. additional data structures which accelerate these query operations.
: Row operation is usually cheap in memory.
: It is the trade-off between the maintenance overhead of these indexes, and
: the gain from query acceleration, that determines the best data structure

f******y
发帖数: 2971
6
unordered_map

他的

【在 h**o 的大作中提到】
: 例如1M 数据 吧,操作是指access, insert, delete之类。是 hash + BST? 还是其他的
h**o
发帖数: 548
7
unordered_map一般内部会把hash size设多大。如果设的大耗内存,设的小。access就
不是O(1)了。所以我觉得unordered_map应该不 scalable.
map就好些。
你的意思几百万还是可以用unordered_map的?

【在 f******y 的大作中提到】
: unordered_map
:
: 他的

p*****2
发帖数: 21240
8
redis不行吗?
f******y
发帖数: 2971
9
仔细读一读。
http://www.cplusplus.com/reference/unordered_map/unordered_map/

【在 h**o 的大作中提到】
: unordered_map一般内部会把hash size设多大。如果设的大耗内存,设的小。access就
: 不是O(1)了。所以我觉得unordered_map应该不 scalable.
: map就好些。
: 你的意思几百万还是可以用unordered_map的?

h**o
发帖数: 548
10
就是说只要内存允许, access不是问题。是吧。

【在 f******y 的大作中提到】
: 仔细读一读。
: http://www.cplusplus.com/reference/unordered_map/unordered_map/

f******y
发帖数: 2971
11
当然不是问题。

【在 h**o 的大作中提到】
: 就是说只要内存允许, access不是问题。是吧。
1 (共1页)
进入Programming版参与讨论
相关主题
被同事吐槽,LINQ用的太多搞软件的四个层次
请教一个python(pandas)的效率问题一个关于多个Python 程序共享数据结构的问题
想自己搞一light weight in memory数据库in C#,求教redis set Time complexity: O(1) 怎么可能?
What's the efficient way to merge two BST?阅读Robert Sedgewick的"algorithms in C"的感受
scala开发效率确实奇高请教双键的动态结构用什么数据结构比较好?
问个弱智问题,有网站用nosql做primary db么?ES怎么玩?
用数据库做蒙特卡洛模拟的问题标题党,12306今年确实比较安静 (转载)
redis是否支持python复合数据结构?Spark + C*
相关话题的讨论汇总
话题: indexes话题: query话题: 1m话题: unordered话题: 数据