资讯

精准传达 • 有效沟通

从品牌网站建设到网络营销策划,从策略到执行的一站式服务

Linux大文件重定向和管道的效率是怎样的

这篇文章主要讲解了“Linux大文件重定向和管道的效率是怎样的”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Linux大文件重定向和管道的效率是怎样的”吧!

成都创新互联主要从事网站设计、做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务化隆,十余年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:028-86922220

导读大家先看一下二个 命令,假如huge_dump.sql文件很大,然后猜测一下哪种导入方式效率会更高一些?
# 命令1,管道导入 
shell> cat huge_dump.sql | MySQL -uroot;
# 命令2,重定向导入 
shell> mysql -uroot < huge_dump.sql;

大家先看一下上面二个命令,假如huge_dump.sql文件很大,然后猜测一下哪种导入方式效率会更高一些?

这个问题挺有意思的,我的第一反应是:没比较过,应该是一样的,一个是cat负责打开文件,一个是bash

这种场景在MySQL运维操作里面应该比较多,所以就花了点时间做了个比较和原理上的分析:

我们先构造场景:

首先准备一个程序b.out来模拟mysql对数据的消耗:

int main(int argc, char *argv[]) 
  while(fread(buf, sizeof(buf), 1, stdin) > 0); 
    return 0; 
} 
 
$  gcc  -o b.out b.c 
$ ls|./b.out

再来写个systemtap 脚本用来方便观察程序的行为。

$ cat test.stp 
function should_log(){ 
  return (execname() == "cat" || 
      execname() == "b.out" || 
      execname() == "bash") ; 
} 
probe syscall.open, 
      syscall.close, 
      syscall.read, 
      syscall.write, 
      syscall.pipe, 
      syscall.fork, 
      syscall.execve, 
      syscall.dup, 
      syscall.wait4 
{ 
  if (!should_log()) next; 
  printf("%s -> %s\n", thread_indent(0), probefunc()); 
} 
  
probe kernel.function("pipe_read"), 
      kernel.function("pipe_readv"), 
      kernel.function("pipe_write"), 
      kernel.function("pipe_writev") 
{ 
  if (!should_log()) next; 
  printf("%s -> %s: file ino %d\n",  thread_indent(0), probefunc(), __file_ino($filp)); 
} 
probe begin { println(":~") }

这个 脚本重点观察几个系统调用的顺序和pipe的读写情况,然后再准备个419M的大文件huge_dump.sql,在我们几十G内存的机器很容易在内存里放下:

$ sudo dd if=/dev/urandom of=huge_dump.sql bs=4096 count=102400 
102400+0 records in 
102400+0 records out 
419430400 bytes (419 MB) copied, 63.9886 seconds, 6.6 MB/s

因为这个文件是用bufferio写的,所以它的内容都cache在pagecahce内存里面,不会涉及到磁盘。

好了,场景齐全了,我们接着来比较下二种情况下的速度,第一种管道:

# 第一种管道方式 
$ time (cat huge_dump.sql|./b.out) 
  
real    0m0.596s 
user    0m0.001s 
sys     0m0.919s

从执行时间数看出来速度有3倍左右的差别了,第二种明显快很多。

是不是有点奇怪?好吧我们来从原来上面分析下,还是继续用数据说话:

这次准备个很小的数据文件,方便观察然后在一个窗口运行stap

$ echo hello > huge_dump.sql 
$ sudo stap test.stp 
:~ 
     0 bash(26570): -> sys_read 
     0 bash(26570): -> sys_read 
     0 bash(26570): -> sys_write 
     0 bash(26570): -> sys_read 
     0 bash(26570): -> sys_write 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_pipe 
     0 bash(26570): -> sys_pipe 
     0 bash(26570): -> do_fork 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> do_fork 
     0 bash(13775): -> sys_close 
     0 bash(13775): -> sys_read 
     0 bash(13775): -> pipe_read: file ino 20906911 
     0 bash(13775): -> pipe_readv: file ino 20906911 
     0 bash(13776): -> sys_close 
     0 bash(13776): -> sys_close 
     0 bash(13776): -> sys_close 
     0 bash(13776): -> do_execve 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_close 
     0 bash(13775): -> sys_close 
     0 bash(26570): -> sys_wait4 
     0 bash(13775): -> sys_close 
     0 bash(13775): -> sys_close 
     0 b.out(13776): -> sys_close 
     0 b.out(13776): -> sys_close 
     0 bash(13775): -> do_execve 
     0 b.out(13776): -> sys_open 
     0 b.out(13776): -> sys_close 
     0 b.out(13776): -> sys_open 
     0 b.out(13776): -> sys_read 
     0 b.out(13776): -> sys_close 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_close 
     0 b.out(13776): -> sys_read 
     0 b.out(13776): -> pipe_read: file ino 20906910 
     0 b.out(13776): -> pipe_readv: file ino 20906910 
     0 cat(13775): -> sys_open 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_open 
     0 cat(13775): -> sys_read 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_open 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_open 
     0 cat(13775): -> sys_read 
     0 cat(13775): -> sys_write 
     0 cat(13775): -> pipe_write: file ino 20906910 
     0 cat(13775): -> pipe_writev: file ino 20906910 
     0 cat(13775): -> sys_read 
     0 b.out(13776): -> sys_read 
     0 b.out(13776): -> pipe_read: file ino 20906910 
     0 b.out(13776): -> pipe_readv: file ino 20906910 
     0 cat(13775): -> sys_close 
     0 cat(13775): -> sys_close 
     0 bash(26570): -> sys_wait4 
     0 bash(26570): -> sys_close 
     0 bash(26570): -> sys_wait4 
     0 bash(26570): -> sys_write

stap在收集数据了,我们在另外一个窗口运行管道的情况:

$ cat huge_dump.sql|./b.out

我们从systemtap的日志可以看出:

  • bash fork了2个进程。

  • 然后execve分别运行cat 和 b.out进程, 这二个进程用pipe通信。

  • 数据从由cat从 huge_dump.sql读出,写到pipe,然后b.out从pipe读出处理。

  • 那么再看下命令2重定向的情况:

    $ ./b.out < huge_dump.sql
      
    stap输出: 
          0 bash(26570): -> sys_read 
         0 bash(26570): -> sys_read 
         0 bash(26570): -> sys_write 
         0 bash(26570): -> sys_read 
         0 bash(26570): -> sys_write 
         0 bash(26570): -> sys_close 
         0 bash(26570): -> sys_pipe 
         0 bash(26570): -> do_fork 
         0 bash(28926): -> sys_close 
         0 bash(28926): -> sys_read 
         0 bash(28926): -> pipe_read: file ino 20920902 
         0 bash(28926): -> pipe_readv: file ino 20920902 
         0 bash(26570): -> sys_close 
         0 bash(26570): -> sys_close 
         0 bash(26570): -> sys_wait4 
         0 bash(28926): -> sys_close 
         0 bash(28926): -> sys_open 
         0 bash(28926): -> sys_close 
         0 bash(28926): -> do_execve 
         0 b.out(28926): -> sys_close 
         0 b.out(28926): -> sys_close 
         0 b.out(28926): -> sys_open 
         0 b.out(28926): -> sys_close 
         0 b.out(28926): -> sys_open 
         0 b.out(28926): -> sys_read 
         0 b.out(28926): -> sys_close 
         0 b.out(28926): -> sys_read 
         0 b.out(28926): -> sys_read 
         0 bash(26570): -> sys_wait4 
         0 bash(26570): -> sys_write 
         0 bash(26570): -> sys_read
  • bash fork了一个进程,打开数据文件。

  • 然后把文件句柄搞到0句柄上,这个进程execve运行b.out。

  • 然后b.out直接读取数据。

  • 现在就非常清楚为什么二种场景速度有3倍的差别:

  • 命令1,管道方式: 读二次,写一次,外加一个进程上下文切换。

  • 命令2,重定向方式:只读一次。

感谢各位的阅读,以上就是“Linux大文件重定向和管道的效率是怎样的”的内容了,经过本文的学习后,相信大家对Linux大文件重定向和管道的效率是怎样的这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


文章题目:Linux大文件重定向和管道的效率是怎样的
网页路径:http://cdkjz.cn/article/gpceig.html
多年建站经验

多一份参考,总有益处

联系快上网,免费获得专属《策划方案》及报价

咨询相关问题或预约面谈,可以通过以下方式与我们联系

大客户专线   成都:13518219792   座机:028-86922220