Linux 基础 - AWK 用法

Proudoffaith 2020-04-08

AWK 去重

awk ‘{a[$1]++}{!b[$0]++}END{for (i in a) print i,"-",a[i]}‘ 源文件

{a[$1]++}  ：表示你需要去重的那一列，放到数组A中  //计数

!b[$0]++   去重

AWK 消除字符 

awk -F " " ‘{gsub(/ /,"", $0 );print  $0 ;}‘  源文件 

-F  " "（表示以空格为分界符）

gsub 为awk 内置函数 

使用方式： gsub(/ /,"", $0）  / /  斜杠内，就是你需要删除的东西。斜杠内容一般为 字符 、 空格、引号、冒号 等等

根据需要删除对应的字符即可。

" " 第二个参数为内置分隔符

$0 第三个参数为你需要修改的变量。例如awk 提取的第一列，或者 多列。

AWK 还有其它的内置变量

sub(/^[[:blank:]]*/,"",变量)  是去掉变量左边的空白符   // 注释 blank 是表示空白

sub(/[[:blank:]]*$/,"",变量) 是去掉变量右边的空白符  // 注释 blank 是表示空白

Proudoffaith

Proudoffaith

相关推荐

awk命令详解

awk ‘BEGIN{print "姓","名","QQ号","捐款记录"}{print $0}‘ awk_test.txt |column -t. awk ‘BEGIN{FS

chenpro / 0评论 2020-07-04

[Linux Shell学习系列十四]sed和awk-6.awk与Shell

我们可以将awk和Shell脚本结合使用来执行各种任务。一般会将信息传入awk脚本，再将信息以对Shell有用的格式传回。如使用shell变量来保存awk程序搜索用的模式是很常见的。1）最常见的方法：使用Shell引用来替换变量的值到Shell脚本内部的a

fendou00sd / 0评论 2020-06-16

Linux下科学计数法(e)转化为数字的方法

科学计数法使用e标识数值，将科学计算学转化为数字的思路：按e右边的数字移动小数点位数。那么在shell中，如何转化科学计数法为数字呢，方法如下：这里以"1.7615562e+06" 为示例：。2）e后面的数字若是负数，则小数点后面要保留

RealJianyuan / 0评论 2020-06-14

shell脚本-awk

awk [option] ‘script‘ file1 file2 ...awk将符合PATTERN的文本逐行取出，并按照指定的分割符(默认为空白,awk ‘BEGIN{print "line one\nline two\nline three&

cwgxiaoguizi / 0评论 2020-06-05

shell awk 常见命令

比如 ls -alh |awk /TD/ | awk ‘{print $5}‘。ls -alh 返回文件详情列表。awk /TD/ 返回有 TD 字符的那一行。命令 | awk ‘/location/{getline a;print a}‘。返回的就是 l

chenpro / 0评论 2020-06-02

zabbix监控nginx状态信息

} #开启nginx的stub_staus模块，这个模块主要作用是提供对基本信息状态的访问。/usr/bin/curl "http://$HOST/status" 2>/dev/nul

Neptune / 0评论 2020-05-31

Linux awk统计日志中出现过的IP(或出现次数最多的N个IP)

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk ‘BEGIN{ commands }

老谢的自留地 / 0评论 2020-05-09

awk教程

AWK是一种解释性编程语言。它是非常强大的，专为文本处理。AWK 提供了极其强大的功能：可以进行样式装入、流控制、数学运算符、进程控制语句甚至于内置的变量和函数。它具备了一个完整的语言所应具有的几乎所有精美特性。AWK名字是从它的作者的姓氏衍生的，它的作者

YukiRain / 0评论 2020-05-08

shell脚本之awk(一)

　　1.awk是一种编程语言，用于linux/unix下对文本和数据进行扫描。　　2.linux中常用的awk编译器版本有mawk,gawk。Redhat使用的是gawk，Ubuntu使用的是mawk.　　2. awk 基本结构包括模式匹配和处理过程。如果

baobaozai / 0评论 2020-04-29

Linux 文本处理利器--Awk常用命令

在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任

fenxinzi / 0评论 2020-03-01

awk命令

　　program由{ pattern + action statements}组成，动作语句之间用分号“;”分隔。[ ~]# awk -v FS=: -v OFS=" | " ‘{print $1,$3}‘ /etc/passwd.

zhiliang / 0评论 2020-01-31

Linux 中awk 提取包含某个关键字的段落

AWK是一种处理文本文件的语言，是一个强大的文本分析工具。本文将使用命令awk将具有某个关键字的段落提取出来。"Finalizer" #3 daemon prio=8 os_prio=0 tid=0x00007fb2dc1aa800 n

wannagonna / 0评论 2020-01-13

shell监控系统资源并通过短信报警的脚本

Critical="当前系统登录用户人数超过1人，具体人数为：$LoginUser 个,请确认操作者人数。MemTotal=`free -m | grep Mem | awk -F: '{print $2}' | awk '{print $1}'

wandererdl / 0评论 2019-12-25

网站维护：Linux服务器查看外网访问IP指令汇总

Shellnetstat -ntu | awk ‘{print $5}‘ | cut -d: -f1 | sort | uniq -c | sort -n1netstat -ntu | awk ‘{print $5}‘ | cut -d: -f1 | so

chenchuang / 0评论 2020-01-25

正则表达式awk学习（三）

语句之间用分号分隔。变量名必须以字母或_开头。输出的个item可以是字符串,也可以是数字；当前记录的字段、变量或awk的表达式。如省略item,相当于print $0. 案例1：打印用户名和对应的shell. [ ~]# awk -F":&quo

jyj00 / 0评论 2020-01-09

shell-分析服务器日志

awk ‘{++S[$1]} END {for print a,S[a]}‘ log_file > log.txtsort -n -t ‘ ‘ -k 2 log.txt 配合sort进一步排序。grep ^111.111.111.111 log_f

fendou00sd / 0评论 2020-01-07

SHELL用法九（awk练习）

Awk主要是用于对文本文件进行处理，通常是逐行处理，其语法参数格式为，单引号‘‘是为了和shell命令区分开;大括号{ }表示一个命令分组;pattern是一个过滤器，表示匹配pattern条件的行才进行Action处理;action是处理动作，常见动作为

fendou00sd / 0评论 2020-01-06

三剑客

awk是一种编程语言，主要用于在linux/unix下对文本和数据进行处理，是linux/unix下的一个工具。数据可以来自标准输入、一个或多个文件，或其它命令的输出。awk的处理文本和数据的方式：逐行扫描文件，默认从第一行到最后一行，寻找匹配的特定模式的

PHP学习笔记 / 0评论 2020-01-06

杀进程批量和单个演示

批量根据服务名称查询进程id然后批量杀sudops-ef|grepjava|awk‘{print$2}‘|sudoxargskill-9sudops-ef|greppython|awk‘{print$2}‘|sudoxargskill-9sudops-ef

AndesStay / 0评论 2020-01-03

awk常用命令汇总

awk '{print $1}' ~/.bash_history | sort | uniq -c | sort -rn | head -n 10. ifconfig -a | awk '/Bcast/{print $2}' | cut -c 5-19.

xiaopc / 0评论 2013-06-19

shell学习笔记4---awk的执行顺序控制(原创)

next语句从输入文件中读取下一行，然后从头开始执行awk脚本。当其左右有重定向符 | 或 < 时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不

applecarelte / 0评论 2013-06-12

shell学习笔记3---awk的执行过程(原创)

awk的运行过程1、如果BEGIN 区块存在，awk执行它指定的actions。如果输入文件省略，将从标准输入读取3、awk将读入的记录分割成字段，将第1个字段放入变量$1中，第2个字段放入$2，以此类推。$0表示整条记录。字段分隔符使用shell环境变量

misszc / 0评论 2013-06-12

awk命令详解

awk语言的最基本功能是在文件或字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作，完整的awk脚本通常用来格式化文本文件中的信息。第二种，将所有awk命令插入一个文件，并使awk程序可执行，然后用awk命令解释器作为脚本的首行，以

PHP学习笔记 / 0评论 2019-12-31

帮助你排序文本文件的Awk命令行或脚本

Awk 是一个强大的工具，可以执行某些可能由其它常见实用程序来完成的任务。Awk 是个普遍存在的 Unix 命令，用于扫描和处理包含可预测模式的文本。令人困惑的是，有不止一个 awk。GNU 版本的 awk 是该实用程序的一个高度可移植的自由软件版本，具有

88281640 / 0评论 2019-12-17

如何把awk脚本移植到Python

将一个 awk 脚本移植到 Python 主要在于代码风格而不是转译。脚本是解决问题的有效方法，而 awk 是编写脚本的出色语言。它特别擅长于简单的文本处理，它可以带你完成配置文件的某些复杂重写或目录中文件名的重新格式化。但是在某些方面，awk 的限制开始

susmote / 0评论 2019-12-09

精通awk系列(16)：gawk支持的正则表达式

\B 和\y相反，匹配单词内部的空字符位置，例如"crate" ~ `/c\Brat\Be/`成功。gawk不支持正则修饰符，所以无法直接指定忽略大小写的匹配。如果想要实现忽略大小写匹配，则可以将字符串先转换为大写、小写再进行匹配

eroshn / 0评论 2019-12-08

如何把 awk 脚本移植到 Python

将一个 awk 脚本移植到 Python 主要在于代码风格而不是转译。脚本是解决问题的有效方法，而 awk 是编写脚本的出色语言。何时从 awk 转向 Python但是在某些方面，awk 的限制开始显现出来。它没有将文件分解为模块的真正概念，它缺乏质量错误

mlujian / 0评论 2019-12-08

正则表达式及三剑客（grep，awk，sed）详解

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。但如果加上-n参数后，则只有经过sed特殊处理的那一行才会被列出来。awk是一个强大的工

Darklovy / 0评论 2019-12-03

详解Linux中的awk命令

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。awk有3个不同版本: awk、nawk和g

liiuweii / 0评论 2019-11-18

Shell编程：awk使用总结

awk是Unix/Linux提供的样式扫描与处理工具，非常擅长处理结构化数据和生成表单。与sed 和grep 很相似，但功能却超过大于两者，由于awk具备各种脚本语言的特点，所以也可以把它看做一种脚本语言。本文介绍了awk的使用方法。awk程序由三部分组成

伏雌摘星阁 / 0评论 2013-09-16

awk的使用

awk ‘BEGIN{print"开头"}{print$0}END{print"结束"}‘ /etc/passwd. #先匹配dev，应为dev开头的才是真正挂载的找出磁盘空间大于20%的，思路先用%切成两段，把第一

数据齿轮 / 0评论 2019-11-19

awk合并行、linux shell 字符串操作、sed字符替换

在做shell批处理程序时候，经常会涉及到字符串相关操作。有很多命令语句，如：awk,sed都可以做字符串各种操作。其实shell内置一系列操作符号，可以达到类似效果，大家知道，使用内部操作符会省略启动外部程序等时间，因此速度会非常的快。如果var没有被声

yoshubom / 0评论 2015-01-18

[转] 工程师追查线上问题（或运维）常用的shell命令

比如cpu idle急剧下降，要看一下当前的流量如何，是否是由于流量突增引起。可以使用该命令：。其中wap_log是日志名，4 是时间那一列，简单介绍下这个shell命令。在这个shell命令中，cut先根据空格分隔符对日志行进行分割，然后取第4个fiel

LINUXHome / 0评论 2015-01-15

Linux三剑客之awk详解

模式扫描和处理，处理数据和生成报告。sed处理stream editor文本流，水流。本文涉及的awk为gawk，即GNU版本的awk。lrwxrwxrwx. 1 root root 4 Nov 7 14:47 /usr/bin/awk -> ga

andyzhaojianhui / 0评论 2019-11-17

正则表达式及编程三剑客（grep、sed、awk）命令详解

正则表达式又称正规表达式、常规表达式。在代码中常简写为regex、regexp或RE。正则表达式是使用单个字符串来描述，匹配一系列符合某个句法规则的字符串。简单的说，正则表达式是一种匹配字符串的方法，通过一些特殊符号，实现快速查找、删除、替换某个特定字符串

qidu / 0评论 2019-11-10

实时查看Linux网卡流量Shell脚本

将下列脚本保存为可执行脚本文件，比如叫linuxidc.sh。用法为watch -n 1 ./linuxidc.sh即可开始监看流量，按ctrl+c退出。

陈伟堂 / 0评论 2011-01-22

Linux awk数组操作详细介绍

用awk进行文本处理，少不了就是它的数组处理。那么awk数组有那些特点，一般常见运算又会怎么样呢。我们先看下下面的一些介绍，结合例子我们会讲解下它的不同之处。在 awk 中数组叫做关联数组，因为下标记可以是数也可以是串。awk 中的数组不必提前声明，也不必

nuligannima / 0评论 2010-12-28

Linux 之 awk文本分析工具

AWK是一种处理文本文件的语言，是一个强大的文本分析工具。命令行awk [-F field-separator] ‘commands‘ input-file. /bin/awk awk -f 脚本文件 待处理文件

xiaohouye / 0评论 2019-11-08

分享一个实用脚本--一键获取linux内存、cpu、磁盘IO等信息

概述今天主要分享一个shell脚本，用来获取linux系统CPU、内存、磁盘IO等信息。

JESSIEfoo / 0评论 2019-11-07

awk 入门——强大的文本分析工具

让我们开始使用它。awk 是用于 Unix 和类 Unix 系统的强大文本解析工具，但是由于它有可编程函数，因此你可以用它来执行常规解析任务，因此它也被视为一种编程语言。你可能不会使用 awk 开发下一个 GUI 应用，并且它可能不会代替你的默认脚本语言，

jiazhou / 0评论 2019-11-06

Linux Shell中浮点运算方式

用bc或awk. $a=3.4 b=345.3. echo "scale=4;$a*$b/2"|bc. 587.0100. $echo $a*$b/2|bc -l. $awk 'BEGIN{printf '$a'*'$b'/2}'. 5

唐门问心 / 0评论 2011-07-25

Linux下bash脚本:计算重新索引Table时间

我主要运用awk和sed等方法，提取出如05:06:01的时间start 和05:06:07 Complete部分，后者减去前者即得时间差值。此处贴出Bash脚本代码，其中有简单英文注释，方法比较拙劣，请勿见笑。#delete the first line

amethystqi / 0评论 2011-05-18

查看 Linux 下 CPU、内存的占用率的方法集锦

我们可以使用下面命令的组合来达到此目的。在该方法中，我们使用的是 free 和 awk 命令的组合来获取内存占用率。#free -t | awk ‘FNR ==2 {print"Current Memory Utilization is: &qu

GeorgeTH / 0评论 2019-11-02

shell脚本学习（6）awk 编排字段

2 其中program 可以写成 ‘parrtern {action}’ pattern 或 action可以只写一个，只写一个pattern 根据pattern结果，做if判断， 成立就打印数据，awk -F: ‘{print "yuyuyu

Yyqingmofeige / 0评论 2019-10-30

截取Nginx日志文件中一周内的文件访问次数最多的记录

' '{print $1}'|sort|uniq -c|sort -nr |head-n 100 |tee -a /home/www/test.log

MJlife / 0评论 2011-05-18

Linux运维需要掌握的命令汇总

1.删除0字节文件代码如下：find -type f -size 0 -exec rm -rf {} \;2.查看进程按内存从大到小排列代码如下：ps -e -o “%C ： %p ： %z ： %a”|sort -k5 -nr3.按cpu利用率从大到小排

zaqwsx0 / 0评论 2017-02-10

linux awk命令详解

awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。实际上 AWK 的确拥有自己的语言： AWK

hyfcomeon / 0评论 2017-02-23

Linux文档查询笔记

2.cat t.log |awk 'BEGIN{sum=0;num=0}{sum+=$8;num+=1}END{print "avg:" sum/num}' #求平均值，求列平均值 340

征服Linux / 0评论 2017-03-22

使用AWK在shell中生成日历小程序

最近在学习sed和awk时，发现了一本入门级别的好书：《Software Design 中文版 03》。我们这里的日历程序也是从那里得来，这里强烈推荐希望了解sed和awk的同志们入手本书。if (y>0) s += --y + int(y/4) -

xiaonamylove / 0评论 2019-07-31