F****3
发帖数: 1504 | 1 是不是要用hadoop比较有效率？现在已经run了20多个小时了，还没有run完。请如果用
hadoop是不是快很多。
学起来难吗？ |
p********a
发帖数: 5352 | |
F****3
发帖数: 1504 | |
d********h
发帖数: 2048 | 4 health claims随便搞搞都是tb级的，
【在 p********a 的大作中提到】
: 很好奇什么东西有800G
|
p********a
发帖数: 5352 | 5 是可以。不过一般不会放在一个TABLE上。东西太大处理起来就有效率的问题
【在 d********h 的大作中提到】
: health claims随便搞搞都是tb级的，
|
p********a
发帖数: 5352 | 6 我就猜到是这个。每毫秒一个QUOTE，一天就几个G了
【在 F****3 的大作中提到】
: 股票
|
z*********i
发帖数: 146 | 7 很对 我这一个table100G 现在都后悔没多分几个了 效率确实不高
【在 p********a 的大作中提到】
: 是可以。不过一般不会放在一个TABLE上。东西太大处理起来就有效率的问题
|
k*z
发帖数: 4704 | |
z*********i
发帖数: 146 | 9 哦 做好的table 放到server上后再改动 流程比较多 有点麻烦 现在效率低点 但还在
接受范围 只是感叹当时自己没什么经验 考虑的不够周到
【在 k*z 的大作中提到】
: 过后也可以做分区。
|
F****3
发帖数: 1504 | 10 table分开了怎么运算了。什么proc sql什么都不能用了吧？
请问分区是什么意思呢？SAS英文叫什么。这些文件本来都是单个文件的。我自己
append搞成一个巨大文件。以前是按天分的。请问那样子可以不用合并，把所有文件视
为一个文件吗？ |
g****l
发帖数: 213 | 11 这个应该用hadoop 加 pig/hive 处理数据了，可以考虑AWS ? |
F****3
发帖数: 1504 | 12 问了CS的人说Hadoop很难学。和SAS不是一个level的
SAS里面的hadoop是不是编程起来容易一些？ |
