如何并发执行Linux命令
大孩爱小孩 2020-11-06
本文转载自微信公众号「Linux开发那些事儿」，作者LinuxThings 。转载本文请联系Linux开发那些事儿公众号。
串行是按照顺序一条接着一条的执行命令，与串行相对的是多条命令同时执行，称做并行
用途
在bash脚本中，并发执行命令的用途很多，比如：批量上传和下载，批量启动和关闭程序，批量打包日志，批量检查远程机器是否可达等等
并行执行能充分利用系统资源，极大的提高效率，节省大量的时间
例如：现需要下载20个文件，假设每个文件下载时间需要1分钟
串行下载是一个文件下载完之后再下载另一个文件，这样20个文件就需要20分钟才能下载完
并行下载是启动20个进程，20个进程同时下载，每个进程负责下载一个文件，这样20个文件理论上只需要1分钟左右就能全部下载完
串行和并行
在命令后面加上 & 符号就表示这条命令会在子进程中执行，下面是比较串行和并行的两个实例
c.sh脚本
#!/bin/bash
func_a()
{
echo "func_a..$1.."
sleep 1
}
for n in $(seq 1 5);
do
func_a $n
done
echo "c.sh..finish.." 执行 time ./c.sh，结果如下
[root@ecs-centos-7 mult]# time ./c.sh func_a..1.. func_a..2.. func_a..3.. func_a..4.. func_a..5.. c.sh..finish.. real 0m5.008s user 0m0.005s sys 0m0.003s
上面的例子，连续调用5次 func_a函数，每次调用都会睡眠1秒，，只有等上一次调用结束了才能进行下一次调用，所以5次调用总共花费了5秒钟
修改 c.sh脚本，内容如下
#!/bin/bash
func_a()
{
echo "func_a..$1.."
sleep 1
}
for n in $(seq 1 5);
do
func_a $n &
done
wait
echo "c.sh..finish.." 再次执行 time ./c.sh，结果如下
[root@ecs-centos-7 mult]# time ./c.sh func_a..1.. func_a..3.. func_a..2.. func_a..4.. func_a..5.. c.sh..finish.. real 0m1.006s user 0m0.004s sys 0m0.005s
修改之后的脚本在循环体内 func_a $n 语句后面加了 & 符号，表示后在子进程中执行 func_a $n命令
循环结束后面有一个 wait 语句，表示等待前面循环体里的子进程全部结束才会执行后面的命令
由于子进程不会阻塞当前进程，所以当前进程可以继续执行下一次调用，所以5次调用总共只花费了1秒左右
在执行 time ./c.sh命令期间，打开另一个终端输入ps aux | grep c.sh 回车，输出如下
[root@ecs-centos-7 ~]# ps aux | grep c.sh root 29086 0.0 0.0 113188 1400 pts/1 S+ 22:55 0:00 /bin/bash ./c.sh root 29088 0.0 0.0 113188 628 pts/1 S+ 22:55 0:00 /bin/bash ./c.sh root 29089 0.0 0.0 113188 628 pts/1 S+ 22:55 0:00 /bin/bash ./c.sh root 29090 0.0 0.0 113188 628 pts/1 S+ 22:55 0:00 /bin/bash ./c.sh root 29091 0.0 0.0 113188 628 pts/1 S+ 22:55 0:00 /bin/bash ./c.sh root 29093 0.0 0.0 113188 628 pts/1 S+ 22:55 0:00 /bin/bash ./c.sh root 29099 0.0 0.0 112728 972 pts/2 S+ 22:55 0:00 grep --color=auto c.sh
从上面的输出可以看到，同时有6个c.sh脚本进程，其中5个是5次循环产生的子进程，剩下1个是执行c.sh脚本本身的进程
检查主机是否可达
当有许多远程主机的需要管理的时候，经常会对这些主机做一些检查，而批量检查主机是否可达是常见的操作，下面简单介绍下如何利用并发执行快速检查主机是否可达
假如有 host.txt 文件，里面存储的是主机的IP地址，具体内容如下
[root@ecs-centos-7 mult]# cat host.txt 192.168.0.1 192.168.0.2 192.168.0.3 192.168.0.4 192.168.0.5 192.168.0.6 192.168.0.7 192.168.0.8 192.168.0.9
c.sh脚本，内容如下
#!/bin/bash
ping_test()
{
ping $1 -c 2 -W 3 &>/dev/null
if [ $? -eq 0 ]; then
echo "$1 reachable..."
else
echo "$1 unreachable..."
fi
}
for n in $(cat host.txt);
do
ping_test $n &
done
wait
echo "c.sh..finish.." 执行 time ./c.sh，结果如下
[root@ecs-centos-7 mult]# time ./c.sh 192.168.0.1 reachable... 192.168.0.9 reachable... 192.168.0.4 unreachable... 192.168.0.3 unreachable... 192.168.0.6 unreachable... 192.168.0.2 unreachable... 192.168.0.8 unreachable... 192.168.0.7 unreachable... 192.168.0.5 unreachable... c.sh..finish.. real 0m3.010s user 0m0.014s sys 0m0.011s
