由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Quant版 - 请问大牛公司如何组织处理数据?
相关主题
Algo Quant position available in HK哪位大侠帮看看这职位是干嘛的?
【database】存储market data的数据库我们组两个职位,electronic trading
offer选择进入大数据这行一个礼拜,简单说一下认识
job opportunity post for a friend, pls send email to the address in the post大家time series data 怎末存?
Quant Researcher/Data Scientist/Developer 招人,纽约,需要公民大数据技术似乎对于金融没啥用
Quant Researcher/Developer/Data Scientist 招人,纽约请问哪位有TAQ1的手册?
有大牛熟悉MS的这个职位不StatArb有什么比较经典的教材么?
几个potential非quant role比较,牛人不要笑话哪儿可以下载future和option的历史数据 ?
相关话题的讨论汇总
话题: server话题: sas话题: sql话题: 数据话题: 处理
进入Quant版参与讨论
1 (共1页)
q**j
发帖数: 10612
1
我们公司现在就是数据在ms sql里面,然后用sas,matlab之类的处理。但是这样搞频率
比较高的数据就非常费力气。首先要把数据从data server那里拿过来,然后sas这种东
西好像也不是非常的快。请问大牛,你们公司一般是否都是linux系统(哪个distribut
ion?),sas或者c都是放在有数据的server上面直接调用?存daily data或者TAQ这样
的data,mysql够用么?请多指点。
f*******y
发帖数: 988
2
处理高频数据好点的公司都是用row based的专用数据库,普通关系型的不太好

频率
distribut

【在 q**j 的大作中提到】
: 我们公司现在就是数据在ms sql里面,然后用sas,matlab之类的处理。但是这样搞频率
: 比较高的数据就非常费力气。首先要把数据从data server那里拿过来,然后sas这种东
: 西好像也不是非常的快。请问大牛,你们公司一般是否都是linux系统(哪个distribut
: ion?),sas或者c都是放在有数据的server上面直接调用?存daily data或者TAQ这样
: 的data,mysql够用么?请多指点。

D********n
发帖数: 978
3
不知道你说的ms sql是不是SQL Server. 如果是的话,SQL Server应该比MYSQL强很多
,尽管GNU的人从政治和感情上不愿意承认这个。
微软不是所有东西都差劲,你看看Open Office里面的山寨VBA吧...:)

频率
distribut

【在 q**j 的大作中提到】
: 我们公司现在就是数据在ms sql里面,然后用sas,matlab之类的处理。但是这样搞频率
: 比较高的数据就非常费力气。首先要把数据从data server那里拿过来,然后sas这种东
: 西好像也不是非常的快。请问大牛,你们公司一般是否都是linux系统(哪个distribut
: ion?),sas或者c都是放在有数据的server上面直接调用?存daily data或者TAQ这样
: 的data,mysql够用么?请多指点。

q**j
发帖数: 10612
4
多谢。我说的ms sql就是sql server。主要和mysql区别一下。你的意思是sql server也
可以应付很大量的数据?然后用visual c++去搞它?microsoft的东西好,可是人多了每
个人都买一个很费钱。
能否直接推荐一下在 MS 和 Linux下面各自的最佳方案?我打算跟it好好谈谈。

【在 D********n 的大作中提到】
: 不知道你说的ms sql是不是SQL Server. 如果是的话,SQL Server应该比MYSQL强很多
: ,尽管GNU的人从政治和感情上不愿意承认这个。
: 微软不是所有东西都差劲,你看看Open Office里面的山寨VBA吧...:)
:
: 频率
: distribut

h*****8
发帖数: 4754
5
SQL SERVER应该可以应付很大量的数据。至少几十,百GB没问题。
需要时读出来用C++做处理。读存比较耗时间。
没有用SQL SERVER 自带的STORED PROCEDURE处理过很大很复杂的数据,
不知道PERFORMANCE怎么样?
有一些IN-DATABASE的TOOL可能更快点。

server也
了每

【在 q**j 的大作中提到】
: 多谢。我说的ms sql就是sql server。主要和mysql区别一下。你的意思是sql server也
: 可以应付很大量的数据?然后用visual c++去搞它?microsoft的东西好,可是人多了每
: 个人都买一个很费钱。
: 能否直接推荐一下在 MS 和 Linux下面各自的最佳方案?我打算跟it好好谈谈。

q**j
发帖数: 10612
6
请问有没有公司真正用SAS去日常处理daily frequency的数据?另外分析数据和储存数
据是同一个计算机么?我们现在是放在data server上面,需要是从server里面拿出来,
还要从内网传到工作中用来分析的电脑上。这个是否非常低效?

【在 h*****8 的大作中提到】
: SQL SERVER应该可以应付很大量的数据。至少几十,百GB没问题。
: 需要时读出来用C++做处理。读存比较耗时间。
: 没有用SQL SERVER 自带的STORED PROCEDURE处理过很大很复杂的数据,
: 不知道PERFORMANCE怎么样?
: 有一些IN-DATABASE的TOOL可能更快点。
:
: server也
: 了每

h*****8
发帖数: 4754
7
这个我还真没太多经验,不敢乱说。
我用SQL SERVER主要是做SIMULATION和CALIBRATION的。
分析数据的工作不是需要天天做,平均1个QUARTER甚至更长时间做一次。
我知道有公司在做IN-DATABASE的TOOL,是带在DATABASE一起卖的。
据说是一些常用的东西模型直接在DATABASE里就可以CALL,应该效率更高。

来,

【在 q**j 的大作中提到】
: 请问有没有公司真正用SAS去日常处理daily frequency的数据?另外分析数据和储存数
: 据是同一个计算机么?我们现在是放在data server上面,需要是从server里面拿出来,
: 还要从内网传到工作中用来分析的电脑上。这个是否非常低效?

m***c
发帖数: 35
8
Take a look at KDB+.
www.kx.com

频率
distribut

【在 q**j 的大作中提到】
: 我们公司现在就是数据在ms sql里面,然后用sas,matlab之类的处理。但是这样搞频率
: 比较高的数据就非常费力气。首先要把数据从data server那里拿过来,然后sas这种东
: 西好像也不是非常的快。请问大牛,你们公司一般是否都是linux系统(哪个distribut
: ion?),sas或者c都是放在有数据的server上面直接调用?存daily data或者TAQ这样
: 的data,mysql够用么?请多指点。

mw
发帖数: 525
9
I guess most often it is called column based , right?

处理高频数据好点的公司都是用row based的专用数据库,普通关系型的不太好
★ Sent from iPhone App: iReader Mitbbs 7.56 - iPad Lite

【在 f*******y 的大作中提到】
: 处理高频数据好点的公司都是用row based的专用数据库,普通关系型的不太好
:
: 频率
: distribut

mw
发帖数: 525
10
Kdb has been the de facto db in the street for some years
But i always wonder if there are new comers in this area, also take a look
at memdb

Take a look at KDB . http://www.kx.com" x-apple-data-detectors="true" x-apple-d........
★ Sent from iPhone App: iReader Mitbbs 7.56 - iPad Lite

【在 m***c 的大作中提到】
: Take a look at KDB+.
: www.kx.com
:
: 频率
: distribut

相关主题
Quant Researcher/Developer/Data Scientist 招人,纽约哪位大侠帮看看这职位是干嘛的?
有大牛熟悉MS的这个职位不我们组两个职位,electronic trading
几个potential非quant role比较,牛人不要笑话进入大数据这行一个礼拜,简单说一下认识
进入Quant版参与讨论
q**j
发帖数: 10612
11
多谢帮助。好像这个可以在ms, linux上面都可以。不错。
如果我们想暂时stick with ms sql server,应该用什么样的软件处理数据呢?SAS能否
合适的处理daily or intra day data?如果不行应该用那种c++?用perl或者phython能
行么?

【在 m***c 的大作中提到】
: Take a look at KDB+.
: www.kx.com
:
: 频率
: distribut

l******n
发帖数: 9344
12
SAS其实很强大,daily的数据没有问题,问题是价格。一般都要找SAS support,这个不
便宜呀

【在 q**j 的大作中提到】
: 多谢帮助。好像这个可以在ms, linux上面都可以。不错。
: 如果我们想暂时stick with ms sql server,应该用什么样的软件处理数据呢?SAS能否
: 合适的处理daily or intra day data?如果不行应该用那种c++?用perl或者phython能
: 行么?

q**j
发帖数: 10612
13
sas license里面有support的费用。这个不是问题。

【在 l******n 的大作中提到】
: SAS其实很强大,daily的数据没有问题,问题是价格。一般都要找SAS support,这个不
: 便宜呀

l******n
发帖数: 9344
14
这个不够,你得用它的server,有个sas support team作支持,这些不是license能
cover的

【在 q**j 的大作中提到】
: sas license里面有support的费用。这个不是问题。
q**j
发帖数: 10612
15
你的意思是说如果我想把SAS装在一个server上面大家用,买了这个server的钱不包括s
upport?(我现在用的是individual 的版本。这个不是问题。)individual版本我们是
3k/per year, base only。这个server版本大概多少钱一个?如果人多了,也许还是s
erver版本便宜一些。而且这个support应该第一年非常重要,以后就可以自己google解
决了吧?

【在 l******n 的大作中提到】
: 这个不够,你得用它的server,有个sas support team作支持,这些不是license能
: cover的

l******n
发帖数: 9344
16
打个电话给SAS,你就知道SAS为什么待遇这么好了

括s
们是
是s

【在 q**j 的大作中提到】
: 你的意思是说如果我想把SAS装在一个server上面大家用,买了这个server的钱不包括s
: upport?(我现在用的是individual 的版本。这个不是问题。)individual版本我们是
: 3k/per year, base only。这个server版本大概多少钱一个?如果人多了,也许还是s
: erver版本便宜一些。而且这个support应该第一年非常重要,以后就可以自己google解
: 决了吧?

f*******y
发帖数: 988
17
啊,对,不好意思,我说反了

【在 mw 的大作中提到】
: I guess most often it is called column based , right?
:
: 处理高频数据好点的公司都是用row based的专用数据库,普通关系型的不太好
: ★ Sent from iPhone App: iReader Mitbbs 7.56 - iPad Lite

1 (共1页)
进入Quant版参与讨论
相关主题
哪儿可以下载future和option的历史数据 ?Quant Researcher/Data Scientist/Developer 招人,纽约,需要公民
请问darkpool交易记录是否会计入TAQ历史记录?Quant Researcher/Developer/Data Scientist 招人,纽约
请教实现中高频接受数据,即时储存的系统结构有大牛熟悉MS的这个职位不
弱问个人交易员在哪里能获得数据 免费或者购买都可以几个potential非quant role比较,牛人不要笑话
Algo Quant position available in HK哪位大侠帮看看这职位是干嘛的?
【database】存储market data的数据库我们组两个职位,electronic trading
offer选择进入大数据这行一个礼拜,简单说一下认识
job opportunity post for a friend, pls send email to the address in the post大家time series data 怎末存?
相关话题的讨论汇总
话题: server话题: sas话题: sql话题: 数据话题: 处理