18 shell 重定向以及文件描述符

/dev/stdin -> /proc/self/fd/0

/proc/self/fd/0 -> /dev/pts/2

/dev/stdout -> /proc/self/fd/1

/proc/self/fd/1 -> /dev/pts/2

/dev/stderr -> /proc/self/fd/2

/proc/self/fd/2 -> /dev/pts/2

1.文件描述符标志

2.文件指针(open file handle)

通过文件描述符，可以找到文件指针，从而进入打开文件表

1.文件偏移量，也就是文件内部指针偏移量。调用 read() 或者 write() 函数时，文件偏移量会自动更新，当然也可以使用 lseek() 直接修改。

2.状态标志，比如只读模式、读写模式、追加模式、覆盖模式等。

3.i-node 表指针。

要想真正读写文件，要通过打开文件表的 i-node 指针进入 i-node 表

1.文件类型，例如常规文件、套接字或 FIFO。

2.文件大小。

3.时间戳，比如创建时间、更新时间。

4.文件锁。

若fd与>之间有空格：

echo "c.biancheng.net" 1 >log.txt

cat log.txt

则输出结果为：c.biancheng.net 1

实际执行命令为：echo "c.biancheng.net" 1 1>log.txt

统计 readme.txt 文件中有多少行文本：

cat readme.txt #预览一下文件内容

aa

bb

cc

dd

wc -l <readme.txt #输入重定向

4

Linux wc 命令可以用来对文本进行统计，包括单词个数、行数、字节数，它的用法如下：

wc  [选项]  [文件名]

其中，-c选项统计字节数，-w选项统计单词数，-l选项统计行数。

> 123

> 789

> abc

> xyz

> END

4

输入重定向符号<<，这个符号的作用是使用特定的分界符作为命令输入的结束标志，而不使用 Ctrl+D 键。

<<之后的分界符可以自由定义，只要再碰到相同的分界符，两个分界符之间的内容将作为命令的输入（不包括分界符本身）。

wc -l < test.txt >result.txt

cat result.txt 

4

代码块重定向

{}<file1

#!/bin/bash
while read str; do
    echo $str
done <readme.txt

运行结果：

aa

bb

cc

dd

n>filename

以输出的方式打开文件 filename，并绑定到文件描述符 n。n 可以不写，默认为 1，也即标准输出文件。

n>&m

[n]>&word ：将文件描述符n复制于word 代表的文件或描述符。可以理解为文件描述符n重用word代表的文件或描述符，即word原来对应哪个文件，现在n作为它的副本也对应这个文件。n不指定则默认为1(标准输出就是1)，表示标准输出也将输出到word所代表的文件或描述符中。

3>&1表示fd=3复制于fd=1，而fd=1目前的重定向目标文件是/dev/stdout，因此fd=3也重定向到/dev/stdout，以后进程将数据写入fd=3的时候，将直接输出到屏幕。

这里的3>&1等价于3>&/dev/stdout。如果用"复制"来理解，就是fd=3是当前fd=1的一个副本，即指向/dev/stdout设备。如果后面改变了fd=1的输出目标(如file1)，由于fd=3的目标仍然是/dev/stdout，所以可以拿fd=3来还原fd=1使其目标变回/dev/stdout。

n>&-

关闭文件描述符 n 及其代表的文件。n 可以不写，默认为 1。

[n]>&digit-

将文件描述符digit代表的输出文件移动到n上，并关闭digit值的描述符。

&>filename

将正确输出结果和错误信息全部重定向到 filename。

n<filename

以输入的方式打开文件 filename，并绑定到文件描述符 n。n 可以不写，默认为 0，也即标准输入文件。

n<&m

[n]<&word ：将文件描述符n复制于word 代表的文件或描述符。可以理解为文件描述符n重用word代表的文件或描述符，即word原来对应哪个文件，现在n作为它的副本也对应这个文件。n不指定则默认为0(标准输入就是0)，表示标准输入也将输入到word所代表的文件或描述符中。

cat <&1表示fd=0复制于fd=1上，而此时fd=1的重定向文件是/dev/stdout，所以fd=0也指向这个/dev/stdout文件，而cat从fd=0中读取标准输入，于是/dev/stdout既是标准输入设备，也是标准输出设备，也就是说进程从/dev/stdout(屏幕)接受输入，输入后再直接输出到/dev/stdout。

cat 0<&1 #进入交互模式

aa #输入aa

aa #输出aa

^C

n<&-

关闭文件描述符 n 及其代表的文件。n 可以不写，默认为 0。

[n]<&digit-

将文件描述符digit代表的输入文件移动到n上，并关闭digit值的描述符。

n<>filename

同时以输入和输出的方式打开文件 filename，并绑定到文件描述符 n，相当于 n>filename 和 n<filename 的总和。。n 可以不写，默认为 0，若filename文件不存在，则先创建filename文件。

exec 3<> /tmp/a.log

lsof -n | grep "/a.log" | column -t 

bash  13637  root  3u  REG  8,2  292018  69632965  /tmp/a.log

command >file 2>&1

等价于&>file

表示标准输出和标准错误都重定向到file中

先打开file，再将fd=1重定向到file文件上，这样file文件就成了标准输出的输出目标；之后再将fd=2复制于fd=1，而fd=1此时已经重定向到file文件上，因此fd=2也重定向到file上。所以，最终的结果是标准输出重定向到file上，标准错误也重定向到file上。

先将fd=2复制于fd=1，而此时fd=1重定向的文件是默认的/dev/stdout，所以fd=2也重定向到/dev/stdout；之后再将fd=1重定向到file文件上。

即最终的结果是标准错误输出到/dev/stdout，即屏幕上，而标准输出将输出到file文件中。

文件描述符的移动

exec 3<> /tmp/a.log

lsof -n | grep "/a.log" | column -t 

bash  13637  root  3u  REG  8,2  292018  69632965  /tmp/a.log

exec 1>&3-  # 将3移动到1上，关闭3

lsof -n | grep "/a.log" | column -t   # 在另一个bash窗口查看

bash  13637  root  1u  REG  8,2  292018  69632965  /tmp/a.log

可见，fd=3移动到fd=1后，原本与fd=3关联的/tmp/a.log已经关联到fd=1上。

exec 文件描述符操作

eg: exec 2>&3

重定向未发生

exec >log.txt

echo "aa"

echo "bb"

exec >&2

echo "重定向已恢复"

重定向已恢复

cat log.txt

aa

bb

• exec >log.txt将当前 Shell 进程的所有标准输出重定向到 log.txt 文件，它等价于exec 1>log.txt。
• 后面的两个 echo 命令都没有在显示器上输出，而是输出到了 log.txt 文件。
• exec >&2用来恢复重定向，让标准输出重新回到显示器，它等价于exec 1>&2。2 是标准错误输出的文件描述符，它也是输出到显示器，并且没有遭到破坏，我们用1来复制2，就能修复 1，让 1 重新指向显示器。
• 接下来的 echo 命令将结果输出到显示器上，证明exec >&2奏效了。
• 最后我们用 cat 命令来查看 log.txt 文件的内容，发现就是中间两个 echo 命令的输出。

重定向的恢复

• /dev/tty 文件代表的就是显示器，将标准输出重定向到 /dev/tty 即可，也就是 exec >/dev/tty。
• 如果还有别的文件描述符指向了显示器，那么也可以别的文件描述符来恢复标号为 1 的文件描述符，例如 exec >&2。但是如果文件描述符 2 也被重定向了，那么这种方式就无效了。

1. #!/bin/bash
2. exec 6<&0 #先将0号文件描述符保存
3. exec <nums.txt #输入重定向
4. sum=0
5. while read n; do
6. ((sum += n))
7. done
8. echo "sum=$sum"
9. exec 0<&6 6<&- #恢复输入重定向，并关闭文件描述符6

将代码保存到 test.txt，并执行下面的命令：

cat nums.txt
80
33
bash ./test.sh
sum=113

echo 1234567890 > File # (1)写字符串到"File".

exec 3<> File          # (2)打开"File"并且给它分配fd 3.

read -n 4 <&3          # (3)只读4 个字符.

echo -n . >&3          # (4)写一个小数点.

exec 3>&-              # (5)关闭fd 3.

cat File               # (6)1234.67890

(1)向文件File中写入几个字符。

(2)打开文件File以备read/write，并分配fd=3给该文件。

(3)将fd=0复制于fd=3上，而fd=3的重定向目标为File，所以fd=0的目标也是File，即从File中读取数据。这里读取4个字符，由于read命令中没有指定变量，因此分配给默认变量REPLY。注意，这个命令执行结束后，fd=0的重定向目标会变回/dev/stdin。

(4)将fd=1复制于fd=3上，而fd=3的重定向目标文件为File，所以fd=1的目标也是File，即数据写入到File中。这里写入一个小数点。注意，这个命令结束后，fd=1的重定向目标回变回/dev/stdout。

(5)关闭fd=3，这也会关闭其指向的文件File。

(6)File文件中已经写入了一个小数点。如果此时执行echo $REPLY，将输出"1234"。

exec 6>&1                   # (1)

exec > /tmp/file.txt        # (2)

echo "---------------"      # (3)

exec 1>&6 6>&-              # (4)

echo "==============="      # (5)

(1)首先将fd=6复制于fd=1，此时fd=1的重定向目标为/dev/stdout，因此fd=6的重定向目标为/dev/stdout。 

(2)将fd=1重定向到/tmp/file.txt文件。此后所有标准输出都将写入到/tmp/file.txt中。 

(3)写入数据。该数据将写入到/tmp/file.txt中。 

(4)将fd=1重新复制回fd=6，此时fd=6的重定向目标为/dev/stdout，因此fd=1将恢复到/dev/stdout上。最后将fd=6关闭。 

(5)写入数据，这段数据将输出在屏幕上。

1.为什么要先将fd=1复制于fd=6，再用fd=6来恢复fd=1，恢复的时候直接将fd=1重定向回/dev/stdout不就可以了吗？

答：在这里借用fd=6这个中转描述符是为了方便操作，在恢复fd=1的重定向目标的时候，应该重定向到`/dev/{伪终端字符设备}`上，而不是/dev/stdout。因为/dev/stdout是软链接，其目标指向/proc/self/fd/1，而/proc/self/fd/1文件还是软链接，它指向/dev/{伪终端字符设备}。同理/dev/stdin和/dev/stderr都一样。

:/data/1learn_linux$ ll /dev/stdout /proc/self/fd/1

lrwxrwxrwx 1 root   root   15 Sep 12 03:02 /dev/stdout -> /proc/self/fd/1

lrwx------ 1 roaddb roaddb 64 Sep 16 08:08 /proc/self/fd/1 -> /dev/pts/2

pts/2是当前所在的终端！！

因此，如果你当前所在的终端如果是pts/2，那么可以使用下面的命令来实现上面同样的功能：

exec > /tmp/file.txt

echo "---------------"

exec >/dev/pts/2

echo "==============="

2.exec >/dev/tty  # 这样更方便

如果不借用fd=6这个中转描述符，你要先去获取并记住当前shell所在的终端，很不方便。但可以使用/dev/tty这个文件来表示当前所在终端，这会方便的多。

但如果要恢复的不是终端相关的文件，那么可能就只能通过文件描述符的备份、还原来恢复了。

一个比较厉害的重定向

将本机的public key添加到目标机器上，实现免密登录

ssh -p2242 ‘mkdir -p .ssh && cat >> .ssh/authorized_keys‘ < ~/.ssh/id_rsa.pub

ssh "，表示登录远程主机；

‘mkdir .ssh && cat >> .ssh/authorized_keys‘，表示登录后在远程shell上执行的命令

mkdir -p .ssh"的作用是，如果用户主目录中的.ssh目录不存在，就创建一个；

‘cat >> .ssh/authorized_keys‘ < ~/.ssh/id_rsa.pub的作用是，将本地的公钥文件~/.ssh/id_rsa.pub，重定向追加到远程文件authorized_keys的末尾。

写入authorized_keys文件后，公钥登录的设置就完成了。