h******r
发帖数: 201 | |
k***g
发帖数: 7244 | 2 10 G 不算大，算 moments, 最多几个millisecond
【在 h******r 的大作中提到】
: 数据很大，有10g。
|
d********t
发帖数: 9628 | 3 10T都不算大
【在 h******r 的大作中提到】
: 数据很大，有10g。
|
s*******0
发帖数: 3461 | 4 你们牛逼 我现在处理的大数据 是 100m
10t的数据 你们从什么地方搞来的 ？ |
d********t
发帖数: 9628 | 5 Monte Carlo很容易就过T
【在 s*******0 的大作中提到】
: 你们牛逼 我现在处理的大数据 是 100m
: 10t的数据 你们从什么地方搞来的 ？
|
n******t
发帖数: 4406 | 6 你这个有点扯淡了。不过也看你要干什么。
【在 d********t 的大作中提到】
: 10T都不算大
|
r********n
发帖数: 7441 | 7 如果大数据是simulate出来的，那就没有多大意义，尤其tail上，得重新考虑算法效率
【在 d********t 的大作中提到】
: Monte Carlo很容易就过T
|
r********n
发帖数: 7441 | 8 log数据，尤其是meta data确实是增长很快
【在 n******t 的大作中提到】
: 你这个有点扯淡了。不过也看你要干什么。
|
s**********e
发帖数: 16 | 9 算moments就知道是什么分布？这不扯得么。
【在 k***g 的大作中提到】
: 10 G 不算大，算 moments, 最多几个millisecond
|
q********n
发帖数: 308 | 10 随机抽出一小部分做个histgram，多抽几次叠加一下就差不多了吧
或者数据分成1k份，分开做hist，然后加起来
【在 h******r 的大作中提到】
: 数据很大，有10g。
|
|
|
k***g
发帖数: 7244 | 11 Google Cullen and Frey Graph if you haven't heard of it. it's a very
simple and fast technique.
【在 s**********e 的大作中提到】
: 算moments就知道是什么分布？这不扯得么。
|
s**********e
发帖数: 16 | 12 OK. Suppose I calculated the moments, it is right skew distribution with
two peaks, can you tell me what kind of distribution it is?
【在 k***g 的大作中提到】
: Google Cullen and Frey Graph if you haven't heard of it. it's a very
: simple and fast technique.
|
s**********e
发帖数: 16 | 13 OK. Suppose I calculated the moments, it is right skew distribution with
two peaks, can you tell me what kind of distribution it is?
【在 k***g 的大作中提到】
: Google Cullen and Frey Graph if you haven't heard of it. it's a very
: simple and fast technique.
|
k***g
发帖数: 7244 | 14 kurt - skew^2 >= 1. The first proof was given by Pearson one-hundred years
ago.
10 G data is not large. e.g. on August 24, AAPL's option nbbo data is about
10 G in csv format. It's about 106 million rows. Then think about bbo data
of 13 option exchanges. If you cannot handle it, you are not in the game.
【在 s**********e 的大作中提到】
: OK. Suppose I calculated the moments, it is right skew distribution with
: two peaks, can you tell me what kind of distribution it is?
|
s**********e
发帖数: 16 | 15 Just answer my question, "what distribution it is". Tell me the "name" of
that distribution.
about
data
【在 k***g 的大作中提到】
: kurt - skew^2 >= 1. The first proof was given by Pearson one-hundred years
: ago.
: 10 G data is not large. e.g. on August 24, AAPL's option nbbo data is about
: 10 G in csv format. It's about 106 million rows. Then think about bbo data
: of 13 option exchanges. If you cannot handle it, you are not in the game.
|
k***g
发帖数: 7244 | 16 hehe, if you saw the formula I gave above but are still unable to figure out
the family of dist I was referring to, go grab a textbook and read :-)
【在 s**********e 的大作中提到】
: Just answer my question, "what distribution it is". Tell me the "name" of
: that distribution.
:
: about
: data
|
h******r
发帖数: 201 | 17 你好大牛，能否具体推荐一本书或者相关paper？谢谢
out
【在 k***g 的大作中提到】
: hehe, if you saw the formula I gave above but are still unable to figure out
: the family of dist I was referring to, go grab a textbook and read :-)
|
w**********y
发帖数: 1691 | 18 统计master 101应该就会学到一个定理，满足一些条件下，moment generating
function 可以一对一的决定一个distribution
实际应用中，2013年的诺贝尔奖不是重新confirm了 Generalized Method of Moments
的伟大地位了么
【在 s**********e 的大作中提到】
: 算moments就知道是什么分布？这不扯得么。
|
L****8
发帖数: 3938 | 19 https://en.wikipedia.org/wiki/Moment-generating_function
如果不能用 exponential family 之类有名有姓的pdf来表示呢？
Moments
【在 w**********y 的大作中提到】
: 统计master 101应该就会学到一个定理，满足一些条件下，moment generating
: function 可以一对一的决定一个distribution
: 实际应用中，2013年的诺贝尔奖不是重新confirm了 Generalized Method of Moments
: 的伟大地位了么
|
s**********e
发帖数: 16 | 20 1, 请问需要满足什么条件？你如何匹配有无限个moments的分布？
2， GMM 是使parameter fit模型的一种方法，你如何证明一组观测就一定是哪种分布？
Moments
【在 w**********y 的大作中提到】
: 统计master 101应该就会学到一个定理，满足一些条件下，moment generating
: function 可以一对一的决定一个distribution
: 实际应用中，2013年的诺贝尔奖不是重新confirm了 Generalized Method of Moments
: 的伟大地位了么
|
s**********e
发帖数: 16 | 21 1, 请问您这个分布的名字：一个分布有两个峰，一个峰左偏，一个峰右偏，请问你这
个分布的名字？再或者，一个分部，其他部分都很像正态分布，但是在尾部 96%-97%的
地方数据量很少，几乎没有数据，但在98%-99%的地方突然变出来很多数据，请问你这
是什么分布？
2，再次请你正面回答这个问题，如何根据你观测到moments证明一组数据就一定是哪个
分布？（分布的名字）。 如果您会，请回答，如果不会，就说不会，没任何问题。
谢谢
out
【在 k***g 的大作中提到】
: hehe, if you saw the formula I gave above but are still unable to figure out
: the family of dist I was referring to, go grab a textbook and read :-)
|
K*****2
发帖数: 9308 | 22 他以为看个kurtosis和skewness就知道distribution了，开国际玩笑呢
【在 s**********e 的大作中提到】
: 1, 请问您这个分布的名字：一个分布有两个峰，一个峰左偏，一个峰右偏，请问你这
: 个分布的名字？再或者，一个分部，其他部分都很像正态分布，但是在尾部 96%-97%的
: 地方数据量很少，几乎没有数据，但在98%-99%的地方突然变出来很多数据，请问你这
: 是什么分布？
: 2，再次请你正面回答这个问题，如何根据你观测到moments证明一组数据就一定是哪个
: 分布？（分布的名字）。 如果您会，请回答，如果不会，就说不会，没任何问题。
: 谢谢
:
: out
|
