Linux怎么样提升大文件的拷贝效率

Linux系统操作中，当你在进行机器直接的拷贝时，遇见大文件的时候很费时，尤其是将文件同时拷贝到多台机器上的时候，那样有哪些好的办法可以提升大文件的拷贝效率呢？一块儿学习下吧。

你可以从源机器逐个拷贝到逐台目的机器，但总是时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目的机器，但受制于源机器的带宽等原因，速度并不见得真的非常快。

还好，借用一些UNIX工具可以做的更好。把tee和FIFO组合起来，可以形成一个文件迅速分发链：处于分发链中的每台机器会保存文件，同时还分发给它的下一环。

第一，选定一台目的机器做为分发链的最后一环，在这台机器上仅需用nc监听（假定端口是1234），再通过管道由pigz解压缩，继续通过管道把数据交由tar来分解。

nc -l 1234| pigz -d | tar xvf -

然后，再从分发链的末端往上走，设置其它目的机器，同样要经过监听、解压、分解，不过在解压之前大家通过tee命令将数据输出到命名管道（FIFO），另外的一条shell管道会将这类未解压的数据同时分发到分发链的下一环：

mkfifo myfifo

nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -

最后，在源机器上启动分发链，让数据传输到分发链的第一环：

tar cv some_files | pigz | nc hostname_of_first_box 1234

在我的测试中，分发链中的每台机器大概损失了3%-10%的性能（相对于1对1的拷贝而言），但相对逐个逐个的拷贝或者单台机器向多台机器同时分发，效率提高是非常明显的。

上面就是Linux提升大文件拷贝效率的办法介绍了，主要通过UNIX工具形成一个文件迅速分发链来达成大文件的迅速拷贝，效率提升了不少。