由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Statistics版 - 如何在R 里 提高读取大数据的速度
相关主题
请教数据读取问题菜鸟请教用SAS比较两个文件
请教如果用SAS读有format的excel data?[合集] 这种双层数据问题怎么统计比较好?
大数据该怎么处理?请教如何用R处理比较大的文件。
问一个编程EFFICIENT的问题请教target都是1的问题
Re: 请问怎么把数据变成正态分布的数据?excel问题 求教
Re: 请问哪里可以找到以下数据[合集] 请问,那里可以找到可以下载的数据(health care area)?如何
[合集] SAS 读入数据的问题请教一个SAS问题,烦请大家帮我看看
郁闷了,到哪里去找统计数据?还是三组数据的问题。
相关话题的讨论汇总
话题: 64bit话题: memroy话题: gb话题: any话题: 4gb
进入Statistics版参与讨论
1 (共1页)
h**t
发帖数: 1678
1
整个file 4.67 Gb 20million rows
64bit R in win 64bit machine, memroy 4Gb
Any package?
Thank you!
n******0
发帖数: 61
2
看你的内存, 好像不能一下子处理这么大的数据, 估计300Mb的都够呛。只能搞个循
环几万行几万行的读吧,写的时候也是。 It will take days. BTW:多少个列啊, 63么还是
120?
d*******1
发帖数: 854
3
desktop上就别这么玩了, 得用linux server, 没有的话, 换工具.

【在 h**t 的大作中提到】
: 整个file 4.67 Gb 20million rows
: 64bit R in win 64bit machine, memroy 4Gb
: Any package?
: Thank you!

h**t
发帖数: 1678
4
一个半小时,我还是读进去了。
54cols
l******n
发帖数: 9344
5
读进去了,啥也干不了
做点事情就报错

【在 h**t 的大作中提到】
: 一个半小时,我还是读进去了。
: 54cols

c*****a
发帖数: 808
6
R calls C。。。。
h**t
发帖数: 1678
7
详细说说?

【在 c*****a 的大作中提到】
: R calls C。。。。
a***d
发帖数: 336
8
http://stat.ethz.ch/R-manual/R-patched/library/base/html/Foreig
and you have to write the C++ code.

【在 h**t 的大作中提到】
: 详细说说?
X***n
发帖数: 366
9
Using Revolutionary R.
http://www.revolutionanalytics.com/
h**t
发帖数: 1678
10
这个要花钱买了。。。而且要安hadoop。。。我都不太熟。。。你用这个吗?

【在 X***n 的大作中提到】
: Using Revolutionary R.
: http://www.revolutionanalytics.com/

X***n
发帖数: 366
11
I am in university, it's free for academic.
I don't use them.

【在 h**t 的大作中提到】
: 这个要花钱买了。。。而且要安hadoop。。。我都不太熟。。。你用这个吗?
1 (共1页)
进入Statistics版参与讨论
相关主题
还是三组数据的问题。Re: 请问怎么把数据变成正态分布的数据?
一个已经问过的问题(出现新情况),多谢!Re: 请问哪里可以找到以下数据
请问如何用sas求一列数据1000个数据的乘积[合集] SAS 读入数据的问题
[合集] 包子问两个sas和spss数据转换的问题郁闷了,到哪里去找统计数据?
请教数据读取问题菜鸟请教用SAS比较两个文件
请教如果用SAS读有format的excel data?[合集] 这种双层数据问题怎么统计比较好?
大数据该怎么处理?请教如何用R处理比较大的文件。
问一个编程EFFICIENT的问题请教target都是1的问题
相关话题的讨论汇总
话题: 64bit话题: memroy话题: gb话题: any话题: 4gb