由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字 访问原贴
Quant版 - 如何用R处理大文件 (转载)
相关主题
● SQL combine two columns from two different tables no shared (转载)● how to apply hedge fund company
● C++: how to dynamically allocate a 2-D array● 第一次电面，求指点
● count unique values in file with 1 million rows (转载)● Job open
● job posting: Sr. Credit Risk Analyst● job opportunity
● How to write this query in Oracle?● an opening coming to my mailbox (转载)
● 请教一道面试题啊！关于SQL的！● Equity Research Associate Summer Intern Position - Could lead to associate position after the summer
● GS middle office vs UBS front office (update)● Quant Researcher / Data Scientist Position
● Quantitative Analyst (Portfolio Analysis) - UBS - Shanghai● 有谁要找HR或者投资方面的工作吗？有两个opening (转载)
相关话题的讨论汇总
话题: 文件话题: python话题: 处理话题: 如何话题: rows
进入Quant版参与讨论
1 (共1页)
l******9
发帖数: 579
1
【 以下文字转载自 Statistics 讨论区 】
发信人: light009 (light009), 信区: Statistics
标 题: 如何用R处理大文件
发信站: BBS 未名空间站 (Thu May 1 14:19:13 2014, 美东)
我有 两个 CSV 文件 (800 million rows, 3 columns)， 每个有 30GB。
我的电脑内存 8GB。
请问 ， 如何用R ，load and process／analyze 这样的文件
谢谢
y*****9
发帖数: 149
2
我非常非常弱，就会最愚蠢的办法，你写个loop先处理1 million rows，然后循环8次
。处理完了把result存了。如果需要再combine result再把result combine了。
S******y
发帖数: 1123
3
Python will a better tool than R in your case :--)
==============================================
欢迎浏览Python/R/Hadoop实战速成课网页-
http://plus.google.com/+statsGuyMITBBS/about
1 (共1页)
进入Quant版参与讨论
相关主题
● 有谁要找HR或者投资方面的工作吗？有两个opening (转载)● How to write this query in Oracle?
● Equity Research Intern Position - Healthcare Sector● 请教一道面试题啊！关于SQL的！
● [合集] WorldQuant phone interview● GS middle office vs UBS front office (update)
● [合集] 继续作贡献，一道积分题。● Quantitative Analyst (Portfolio Analysis) - UBS - Shanghai
● SQL combine two columns from two different tables no shared (转载)● how to apply hedge fund company
● C++: how to dynamically allocate a 2-D array● 第一次电面，求指点
● count unique values in file with 1 million rows (转载)● Job open
● job posting: Sr. Credit Risk Analyst● job opportunity
相关话题的讨论汇总
话题: 文件话题: python话题: 处理话题: 如何话题: rows

未名新帖统计// 7月16日

#版面帖数(主题数)
-全站4871 (796)
1Military3777 (569)
2Stock341 (51)
3Joke117 (17)
4History116 (3)
5Automobile100 (9)
6USANews55 (9)
7Midlife45 (1)
8Headline41 (41)
9Dreamer33 (13)
10FleaMarket32 (20)
11Living30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)

历史上的今天

  1. faintcat妹妹看进来～～ 发表于12年前.
  2. NSC, PD 1/7/2007, EB2, ... 发表于11年前.
  3. [FBA求购]MJVE2 758 MJVM2 ... 发表于6年前.
  4. 老生常谈,归与不归 发表于10年前.
  5. 【申请】Seattle西雅图 版版主——申请人... 发表于9年前.
  6. 宝宝出生，头骨骨折，求祝福 发表于9年前.
  7. 求推荐舒缓优美的古典音乐 发表于11年前.
  8. 百分之一的北京人上北大 中国网友愤怒(转载） 发表于10年前.
  9. 新人带狗狗Bailey来报道 发表于12年前.
  10. 全世界最有价值的运动队 发表于10年前.
  11. 请问大切诺基的质量如何 发表于6年前.
  12. TNND，军版全是BKC 发表于15年前.
  13. Inception 发表于12年前.
  14. 微软的有些家属可真恶心，为了卖保险脸都不要了 发表于10年前.
  15. 每周坐高铁的苦逼来说说感受吧!! 发表于9年前.
除非另有声明，本站内容采用Creative Commons BY-NC-SA 3.0协议进行许可，转载请注明来自未名观察 - 隐私政策2011-07-24 10:06:12由admin编辑