w********s
发帖数: 1570 | 1 公司搞大数据,基本分为2波人,一波搞架构,一波搞算法.
总体来说, 倾向于在一个大数据平台上提供一些集成的模型算法模块
做啥的都有, mpi/mr/spark等等...反正感觉都不太成熟
还有搞gpu/cpu混合计算的,因为对于一些高密度的数据集,gpu比较快.
fpga也研究过, 不太合适.
大体上所用的技术基本在金融领域很少看到有用的, 大数据平台的安全也是个大问题. |
d********t
发帖数: 9628 | 2 关键是懂技术的不懂金融，懂金融的搞不定技术。
【在 w********s 的大作中提到】
: 公司搞大数据,基本分为2波人,一波搞架构,一波搞算法.
: 总体来说, 倾向于在一个大数据平台上提供一些集成的模型算法模块
: 做啥的都有, mpi/mr/spark等等...反正感觉都不太成熟
: 还有搞gpu/cpu混合计算的,因为对于一些高密度的数据集,gpu比较快.
: fpga也研究过, 不太合适.
: 大体上所用的技术基本在金融领域很少看到有用的, 大数据平台的安全也是个大问题.
|
L*******t
发帖数: 2385 | 3 所以说要搞大金工啊。
技术只懂一点，金融也只懂一点。。。。
【在 d********t 的大作中提到】
: 关键是懂技术的不懂金融，懂金融的搞不定技术。
|
k*******d
发帖数: 1340 | 4 MPI, GPU这些在银行里面很成熟了，FPGA在HFT里也很成熟了
Storm/Spark这些用的少，可能是因为market data已经有KDB,Onetick这样专有的工具
了。用其他大数据的场合不多（当然不排除有些地方搞news或者twitter sentimental
之类).MapReduce类似概念的东西其实也都有用了。
LZ是在金融公司还是IT公司？ |
D********n
发帖数: 978 | 5 这句话说的很好。确实是这么个情况。
【在 d********t 的大作中提到】
: 关键是懂技术的不懂金融，懂金融的搞不定技术。
|
p*****y
发帖数: 529 | 6 金融的那点数据， 弄几个powerful点的server就搞定了。 唯一可能有点用的是
derivative pricing, 那种eod上千server的吃， 也就沾点largescale的光， 数据量
还是个屁。 而且原来有infrastructure了， 干嘛要新的？
【在 L*******t 的大作中提到】
: 所以说要搞大金工啊。
: 技术只懂一点，金融也只懂一点。。。。
|
d********t
发帖数: 9628 | 7 大数据在金融中的重点就是把以往认为的非金融数据包括进来。比如FB的用户群变化等
。infrastructure不重要，都是骗钱的，idea很关键。
【在 p*****y 的大作中提到】
: 金融的那点数据， 弄几个powerful点的server就搞定了。 唯一可能有点用的是
: derivative pricing, 那种eod上千server的吃， 也就沾点largescale的光， 数据量
: 还是个屁。 而且原来有infrastructure了， 干嘛要新的？
|
l******o
发帖数: 52 | |
s*******0
发帖数: 3461 | |
L*******t
发帖数: 2385 | 10 牛牛牛！
【在 s*******0 的大作中提到】
: 呵呵 我都懂 谁要了我
|
|
|
a***r
发帖数: 594 | 11 the big players have solved data, parallel computing problems in house
decades ago, with capabilities tailored to their own needs. they also would
not trust any one to handle it for them. risk of service disruption and info
leak is not worth it.
the small players, well they are small, so not much fat you can scrub off of
them
【在 w********s 的大作中提到】
: 公司搞大数据,基本分为2波人,一波搞架构,一波搞算法.
: 总体来说, 倾向于在一个大数据平台上提供一些集成的模型算法模块
: 做啥的都有, mpi/mr/spark等等...反正感觉都不太成熟
: 还有搞gpu/cpu混合计算的,因为对于一些高密度的数据集,gpu比较快.
: fpga也研究过, 不太合适.
: 大体上所用的技术基本在金融领域很少看到有用的, 大数据平台的安全也是个大问题.
|
p*****y
发帖数: 529 | 12 非金融数据还没有足够的attention, 现在buy side 基本还在观望， sell side有点
motivation， 因为buy side没兴趣也没什么traction。
【在 d********t 的大作中提到】
: 大数据在金融中的重点就是把以往认为的非金融数据包括进来。比如FB的用户群变化等
: 。infrastructure不重要，都是骗钱的，idea很关键。
|
g*****o
发帖数: 812 | 13 写twitter预测标普300那篇paper的人, 他们好像已经被某司招进去了吧.
不过我感觉这个东西只能搞大盘, 对单只股票没啥用
【在 p*****y 的大作中提到】
: 非金融数据还没有足够的attention, 现在buy side 基本还在观望， sell side有点
: motivation， 因为buy side没兴趣也没什么traction。
|
s*******0
发帖数: 3461 | 14 hehe wo dou don gyidian
【在 L*******t 的大作中提到】
: 牛牛牛！
|
d****n
发帖数: 12461 | 15 我说几点看法
1. 大数据讲得是数据杂，偶尔有点错没关系。金融讲得是小数点后三位都要准。
2. 金融的数据价格当天打对折，一个星期后只有一折，一个月就差不多都是公开数据
了。大数据在这么短时间内收集到的都是噪音。
3. 这么多年来金融it都是安全压倒一切。现在监管连后台也一锅端了。不是不想搞，
是想搞根本搞不起来。
另外大家不要觉得金融完全是一门quantatative的学科，其实金融里面不缺少art和
politics。所以想把金融完全朝quantatative上靠的自己玩玩可以，搞到社会工程最后
还是会失败的。
【在 w********s 的大作中提到】
: 公司搞大数据,基本分为2波人,一波搞架构,一波搞算法.
: 总体来说, 倾向于在一个大数据平台上提供一些集成的模型算法模块
: 做啥的都有, mpi/mr/spark等等...反正感觉都不太成熟
: 还有搞gpu/cpu混合计算的,因为对于一些高密度的数据集,gpu比较快.
: fpga也研究过, 不太合适.
: 大体上所用的技术基本在金融领域很少看到有用的, 大数据平台的安全也是个大问题.
|
l******o
发帖数: 52 | 16 @dynkin： “Big Data“的基本理念与开源运动关联极大。而主流的华尔街（投行）文
化是即使没都少东西，也要捂住。
所以，“Big Data”在投行搞不搞得起来，搞得起什么来（；-）），大大地有意思。 |
w********s
发帖数: 1570 | 17 公司搞大数据,基本分为2波人,一波搞架构,一波搞算法.
总体来说, 倾向于在一个大数据平台上提供一些集成的模型算法模块
做啥的都有, mpi/mr/spark等等...反正感觉都不太成熟
还有搞gpu/cpu混合计算的,因为对于一些高密度的数据集,gpu比较快.
fpga也研究过, 不太合适.
大体上所用的技术基本在金融领域很少看到有用的, 大数据平台的安全也是个大问题. |
d********t
发帖数: 9628 | 18 关键是懂技术的不懂金融，懂金融的搞不定技术。
【在 w********s 的大作中提到】
: 公司搞大数据,基本分为2波人,一波搞架构,一波搞算法.
: 总体来说, 倾向于在一个大数据平台上提供一些集成的模型算法模块
: 做啥的都有, mpi/mr/spark等等...反正感觉都不太成熟
: 还有搞gpu/cpu混合计算的,因为对于一些高密度的数据集,gpu比较快.
: fpga也研究过, 不太合适.
: 大体上所用的技术基本在金融领域很少看到有用的, 大数据平台的安全也是个大问题.
|
L*******t
发帖数: 2385 | 19 所以说要搞大金工啊。
技术只懂一点，金融也只懂一点。。。。
【在 d********t 的大作中提到】
: 关键是懂技术的不懂金融，懂金融的搞不定技术。
|
k*******d
发帖数: 1340 | 20 MPI, GPU这些在银行里面很成熟了，FPGA在HFT里也很成熟了
Storm/Spark这些用的少，可能是因为market data已经有KDB,Onetick这样专有的工具
了。用其他大数据的场合不多（当然不排除有些地方搞news或者twitter sentimental
之类).MapReduce类似概念的东西其实也都有用了。
LZ是在金融公司还是IT公司？ |
|
|
D********n
发帖数: 978 | 21 这句话说的很好。确实是这么个情况。
【在 d********t 的大作中提到】
: 关键是懂技术的不懂金融，懂金融的搞不定技术。
|
p*****y
发帖数: 529 | 22 金融的那点数据， 弄几个powerful点的server就搞定了。 唯一可能有点用的是
derivative pricing, 那种eod上千server的吃， 也就沾点largescale的光， 数据量
还是个屁。 而且原来有infrastructure了， 干嘛要新的？
【在 L*******t 的大作中提到】
: 所以说要搞大金工啊。
: 技术只懂一点，金融也只懂一点。。。。
|
d********t
发帖数: 9628 | 23 大数据在金融中的重点就是把以往认为的非金融数据包括进来。比如FB的用户群变化等
。infrastructure不重要，都是骗钱的，idea很关键。
【在 p*****y 的大作中提到】
: 金融的那点数据， 弄几个powerful点的server就搞定了。 唯一可能有点用的是
: derivative pricing, 那种eod上千server的吃， 也就沾点largescale的光， 数据量
: 还是个屁。 而且原来有infrastructure了， 干嘛要新的？
|
l******o
发帖数: 52 | |
s*******0
发帖数: 3461 | |
L*******t
发帖数: 2385 | 26 牛牛牛！
【在 s*******0 的大作中提到】
: 呵呵 我都懂 谁要了我
|
a***r
发帖数: 594 | 27 the big players have solved data, parallel computing problems in house
decades ago, with capabilities tailored to their own needs. they also would
not trust any one to handle it for them. risk of service disruption and info
leak is not worth it.
the small players, well they are small, so not much fat you can scrub off of
them
【在 w********s 的大作中提到】
: 公司搞大数据,基本分为2波人,一波搞架构,一波搞算法.
: 总体来说, 倾向于在一个大数据平台上提供一些集成的模型算法模块
: 做啥的都有, mpi/mr/spark等等...反正感觉都不太成熟
: 还有搞gpu/cpu混合计算的,因为对于一些高密度的数据集,gpu比较快.
: fpga也研究过, 不太合适.
: 大体上所用的技术基本在金融领域很少看到有用的, 大数据平台的安全也是个大问题.
|
p*****y
发帖数: 529 | 28 非金融数据还没有足够的attention, 现在buy side 基本还在观望， sell side有点
motivation， 因为buy side没兴趣也没什么traction。
【在 d********t 的大作中提到】
: 大数据在金融中的重点就是把以往认为的非金融数据包括进来。比如FB的用户群变化等
: 。infrastructure不重要，都是骗钱的，idea很关键。
|
g*****o
发帖数: 812 | 29 写twitter预测标普300那篇paper的人, 他们好像已经被某司招进去了吧.
不过我感觉这个东西只能搞大盘, 对单只股票没啥用
【在 p*****y 的大作中提到】
: 非金融数据还没有足够的attention, 现在buy side 基本还在观望， sell side有点
: motivation， 因为buy side没兴趣也没什么traction。
|
s*******0
发帖数: 3461 | 30 hehe wo dou don gyidian
【在 L*******t 的大作中提到】
: 牛牛牛！
|
|
|
d****n
发帖数: 12461 | 31 我说几点看法
1. 大数据讲得是数据杂，偶尔有点错没关系。金融讲得是小数点后三位都要准。
2. 金融的数据价格当天打对折，一个星期后只有一折，一个月就差不多都是公开数据
了。大数据在这么短时间内收集到的都是噪音。
3. 这么多年来金融it都是安全压倒一切。现在监管连后台也一锅端了。不是不想搞，
是想搞根本搞不起来。
另外大家不要觉得金融完全是一门quantatative的学科，其实金融里面不缺少art和
politics。所以想把金融完全朝quantatative上靠的自己玩玩可以，搞到社会工程最后
还是会失败的。
【在 w********s 的大作中提到】
: 公司搞大数据,基本分为2波人,一波搞架构,一波搞算法.
: 总体来说, 倾向于在一个大数据平台上提供一些集成的模型算法模块
: 做啥的都有, mpi/mr/spark等等...反正感觉都不太成熟
: 还有搞gpu/cpu混合计算的,因为对于一些高密度的数据集,gpu比较快.
: fpga也研究过, 不太合适.
: 大体上所用的技术基本在金融领域很少看到有用的, 大数据平台的安全也是个大问题.
|
l******o
发帖数: 52 | 32 @dynkin： “Big Data“的基本理念与开源运动关联极大。而主流的华尔街（投行）文
化是即使没都少东西，也要捂住。
所以，“Big Data”在投行搞不搞得起来，搞得起什么来（；-）），大大地有意思。 |
c********g
发帖数: 54 | 33
【在 g*****o 的大作中提到】
: 写twitter预测标普300那篇paper的人, 他们好像已经被某司招进去了吧.
: 不过我感觉这个东西只能搞大盘, 对单只股票没啥用
|
m******n
发帖数: 233 | 34 大数据到底是个啥子东西
【在 w********s 的大作中提到】
: 公司搞大数据,基本分为2波人,一波搞架构,一波搞算法.
: 总体来说, 倾向于在一个大数据平台上提供一些集成的模型算法模块
: 做啥的都有, mpi/mr/spark等等...反正感觉都不太成熟
: 还有搞gpu/cpu混合计算的,因为对于一些高密度的数据集,gpu比较快.
: fpga也研究过, 不太合适.
: 大体上所用的技术基本在金融领域很少看到有用的, 大数据平台的安全也是个大问题.
|
