y**b
发帖数: 10166 | 1 大量文件，一次几个T吧，目录也多，有的文件较大，比如几百G。
我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式)，
一开始很快，100MB/s,
可是后面就越来越慢，
甚至到了慢的惊人的地步，200kB/s。
把外置硬盘格成ext等格式有帮助吗。
见有人用tar的办法，会更快？
cd /source; tar cf - * | ( cd /target && tar xfp -) |
r******i
发帖数: 610 | 2 ntfs3g的性能确实不高，大概也就是能用的水平。不过降速太大可能跟你拷的文件有关
，拷大量小文件(几百k)的时候速度就是慢，什么文件系统都差不多。
【在 y**b 的大作中提到】
: 大量文件，一次几个T吧，目录也多，有的文件较大，比如几百G。
: 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式)，
: 一开始很快，100MB/s,
: 可是后面就越来越慢，
: 甚至到了慢的惊人的地步，200kB/s。
: 把外置硬盘格成ext等格式有帮助吗。
: 见有人用tar的办法，会更快？
: cd /source; tar cf - * | ( cd /target && tar xfp -)
|
w****w
发帖数: 521 | 3 我有类似的情况。小文件多一定要先tar起来压缩。
具体做法是同时跑4，5个tar，tar完后产生一个md5文件。另一个script专门找md5,找
到后就copy md5和相应的tgz文件到硬盘。对方拿到硬盘md5都过了就没我事了。
【在 y**b 的大作中提到】
: 大量文件，一次几个T吧，目录也多，有的文件较大，比如几百G。
: 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式)，
: 一开始很快，100MB/s,
: 可是后面就越来越慢，
: 甚至到了慢的惊人的地步，200kB/s。
: 把外置硬盘格成ext等格式有帮助吗。
: 见有人用tar的办法，会更快？
: cd /source; tar cf - * | ( cd /target && tar xfp -)
|
y**b
发帖数: 10166 | 4 是应该tar打包一下，
有人说cd /source; tar cf - * | ( cd /target && tar xfp -)
可以只用1/4时间,
当然这看具体问题,
刚拷完一个750GB的目录，
平均速度18.3MB/s，
这算是不错了。 |
l*******g
发帖数: 27064 | 5 直接tar到移动硬盘是不是更好
【在 w****w 的大作中提到】
: 我有类似的情况。小文件多一定要先tar起来压缩。
: 具体做法是同时跑4，5个tar，tar完后产生一个md5文件。另一个script专门找md5,找
: 到后就copy md5和相应的tgz文件到硬盘。对方拿到硬盘md5都过了就没我事了。
|
f*****i
发帖数: 143 | 6 你的问题，其实是机械式硬盘的通病。大文件可以连续扇区高吞吐量访问，
从而达到100mb/s的传输速度；海量小文件必须频繁移动磁头，
每个文件打开和新文件关闭的开销大于读取/转移/存储数据，所以速度低。
最好方案：
第一，找个大容量ssd硬盘把机械硬盘的内容整体复制源数据。这个速度可以
高达400MB/S, 当然要用sataIII (6gbps),也受限于源盘读速度.复制完成了就
用ssd取代原来的硬盘，以后读取小文件数据的速度会提高10倍不止。
第二，外置硬盘最好不用ntfs格式。ext4最快，但是windows不支持，还是
fat32好些。连接接口最好是e-sata,如果是usb3那么要用支持UARP的，同时
ssd也很关键。如果外置硬盘不需要看单个文件，那么用机械式硬盘usb3也
可以，用一个大个的tar 就可以备份，速度不会低到200kB/s这样夸张。
【在 y**b 的大作中提到】
: 大量文件，一次几个T吧，目录也多，有的文件较大，比如几百G。
: 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式)，
: 一开始很快，100MB/s,
: 可是后面就越来越慢，
: 甚至到了慢的惊人的地步，200kB/s。
: 把外置硬盘格成ext等格式有帮助吗。
: 见有人用tar的办法，会更快？
: cd /source; tar cf - * | ( cd /target && tar xfp -)
|
y**b
发帖数: 10166 | 7 ssd还是容量小，也贵，再说大量4tb硬盘组成的raid，搞成ssd太麻烦。
还好平时对硬盘没太高要求，也就烤盘时难以忍受。 |
y**b
发帖数: 10166 | 8 测试了tar的办法，一分钟也就快10秒，对我的文件特点。 |
a9
发帖数: 21638 | 9 用tar读的时候也得一个个小文件读，不见的快多少
【在 f*****i 的大作中提到】
: 你的问题，其实是机械式硬盘的通病。大文件可以连续扇区高吞吐量访问，
: 从而达到100mb/s的传输速度；海量小文件必须频繁移动磁头，
: 每个文件打开和新文件关闭的开销大于读取/转移/存储数据，所以速度低。
: 最好方案：
: 第一，找个大容量ssd硬盘把机械硬盘的内容整体复制源数据。这个速度可以
: 高达400MB/S, 当然要用sataIII (6gbps),也受限于源盘读速度.复制完成了就
: 用ssd取代原来的硬盘，以后读取小文件数据的速度会提高10倍不止。
: 第二，外置硬盘最好不用ntfs格式。ext4最快，但是windows不支持，还是
: fat32好些。连接接口最好是e-sata,如果是usb3那么要用支持UARP的，同时
: ssd也很关键。如果外置硬盘不需要看单个文件，那么用机械式硬盘usb3也
|
f*********e
发帖数: 8453 | 10 直接dd吧。不过结果肯定是做成镜像盘了。
【在 y**b 的大作中提到】
: 大量文件，一次几个T吧，目录也多，有的文件较大，比如几百G。
: 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式)，
: 一开始很快，100MB/s,
: 可是后面就越来越慢，
: 甚至到了慢的惊人的地步，200kB/s。
: 把外置硬盘格成ext等格式有帮助吗。
: 见有人用tar的办法，会更快？
: cd /source; tar cf - * | ( cd /target && tar xfp -)
|
|
|
j*a
发帖数: 14423 | 11 先测测这usb硬盘的io性能呗
【在 y**b 的大作中提到】
: 大量文件，一次几个T吧，目录也多，有的文件较大，比如几百G。
: 我试了一下cp或rsync拷贝到usb 3.0外置硬盘(ntfs格式)，
: 一开始很快，100MB/s,
: 可是后面就越来越慢，
: 甚至到了慢的惊人的地步，200kB/s。
: 把外置硬盘格成ext等格式有帮助吗。
: 见有人用tar的办法，会更快？
: cd /source; tar cf - * | ( cd /target && tar xfp -)
|
a9
发帖数: 21638 | 12 这是个好办法。
【在 f*********e 的大作中提到】
: 直接dd吧。不过结果肯定是做成镜像盘了。
|
w****w
发帖数: 521 | 13 所以要同时跑好多个tar,最好在不同的机器上跑。copy script只要跑一个就行了。
【在 a9 的大作中提到】
: 用tar读的时候也得一个个小文件读，不见的快多少
|
w****w
发帖数: 521 | 14 我22TB数据，用7zip在4台server上跑，3个礼拜压到2.5TB。用gzip一个多礼拜只能压
到6TB。 |
y**b
发帖数: 10166 | 15 恐怖啊。
这种情况为啥不用blu-ray呢，很便宜。我买了还没来得及折腾。 |
