有很多小文件(百万级)需要转移,用U盘拷太慢了,于是压缩成zip后进行转移。压缩的时候倒是挺快的(不到1小时),但是解压缩的需要很长很长时间(10天左右)。
请问有什么高效的转移方式,谢谢。
请问有什么高效的转移方式,谢谢。
1
finler May 12, 2012 linux系统下可以tar命令分类型打包,每包10k个以下,速度不慢,对内存要求高,win下容易资源耗尽
|
2
skydiver May 12, 2012
处理小文件的速度跟 文件系统类型 有很大关系的
|
3
skydiver May 12, 2012 Windows的ntfs系统本身对于小文件的处理就很慢。。。
|
5
bulldozer May 12, 2012 打包但不压缩呢?
|
6
shao May 12, 2012 不知道用ftp方式转移,是否够快?
|
7
zxp May 12, 2012 下面两个方法效率应该都不错,前提是网速要给力。
1. rsync -avz user@host:/src /dst 2. tar cf - dir | ssh user@host tar xf - -c /dest-dir |
8
qiuai PRO 推荐用tar打包.
|
9
9hills May 12, 2012 TAR打包没有压缩会快很多。。
嘛其实最快的是磁盘对拷,直接用dd命令,就没有小文件和大文件的区别了,直接整个分区过去。。 |
10
9hills May 12, 2012
P.S. dd命令生成img,然后又把img还原到分区。
|