用perl如何读进一个很大的文件 - Programming版 - 未名存档

本页内容为未名空间相应帖子的节选和存档，一周内的贴子最多显示50字，超过一周显示500字访问原贴

Programming版 - 用perl如何读进一个很大的文件

相关主题
● 问题：如何打开搜索二进制文件 (转载)	● 虚心求教，我这样的应该怎么找编程的工作？
● Perl search string	● Help! Read random number of lines in a input file.
● 请问用mmap分配的共享内存如何回收？	● 如何快速保存大块数据（工作中遇到的问题）
● 新手请问用mmap() copy file	● linux下面的程序间通信怎么样最快？
● 求教：c++中如何从raw data中创建对象？	● 为啥用mmap访问文件的效率高呢？
● "brk()" 和 mmap() 有什么区别？ (转载)	● 请问关于 share memory 的问题
● 奇怪的问题：关于一个简单的malloc()小程序 (转载)	● 问一个跟 memory (process address space) 的有关的问题 (转载)
● 怎样读一个不断更新的文件	● 程序占用很大内存

相关话题的讨论汇总
话题: 5g话题: perl话题: 读进话题: 文件话题: 矩阵

进入Programming版参与讨论

1

(共1页)

d********t 发帖数: 9628	1 需要处理一个5G大小的binary文件，里面其实是一个50000x50000的下三角矩阵。因为需要频繁读取数据，所以得cache。因为legacy的原因程序得是perl。发现如果用array，得30G才能装完，如果是hash，得50G。用mmap到一个string可以5G 就够了，但是用substr读取的时候发现后面的数据就不对了。大侠们有啥好办法没？
s*****V 发帖数: 21731	2 perl原来也可以搞这么大的矩阵啊 5G 【在 d********t 的大作中提到】 : 需要处理一个5G大小的binary文件，里面其实是一个50000x50000的下三角矩阵。 : 因为需要频繁读取数据，所以得cache。因为legacy的原因程序得是perl。 : 发现如果用array，得30G才能装完，如果是hash，得50G。用mmap到一个string可以5G : 就够了，但是用substr读取的时候发现后面的数据就不对了。大侠们有啥好办法没？
w******p 发帖数: 166	3 if you could use pdl it would be compact en.wikipedia.org/wiki/Perl_Data_Language

1

(共1页)

进入Programming版参与讨论

相关主题
● 程序占用很大内存	● 求教：c++中如何从raw data中创建对象？
● 突然发现现在很反感malloc了	● "brk()" 和 mmap() 有什么区别？ (转载)
● Linux下C++如何快速返回超大文件的某一行字符串？	● 奇怪的问题：关于一个简单的malloc()小程序 (转载)
● C++中释放的内存可能立即返回系统吗？	● 怎样读一个不断更新的文件
● 问题：如何打开搜索二进制文件 (转载)	● 虚心求教，我这样的应该怎么找编程的工作？
● Perl search string	● Help! Read random number of lines in a input file.
● 请问用mmap分配的共享内存如何回收？	● 如何快速保存大块数据（工作中遇到的问题）
● 新手请问用mmap() copy file	● linux下面的程序间通信怎么样最快？

相关话题的讨论汇总
话题: 5g话题: perl话题: 读进话题: 文件话题: 矩阵

未名新帖统计// 7月16日

#	版面	帖数(主题数)
-	全站	4871 (796)
1	Military	3777 (569)
2	Stock	341 (51)
3	Joke	117 (17)
4	History	116 (3)
5	Automobile	100 (9)
6	USANews	55 (9)
7	Midlife	45 (1)
8	Headline	41 (41)
9	Dreamer	33 (13)
10	FleaMarket	32 (20)
11	Living	30 (7)

* 这里只显示发帖超过25的版面，努力灌水吧:-)