awk 使用经验笔记

2025/3/14 23:46:43 来源：https://blog.csdn.net/qq_45831414/article/details/141285891 浏览: 次关键词：awk 使用经验笔记

awk 是一个用于文本处理的强大工具，它可以在 Unix/Linux 系统中找到广泛的应用。awk 脚本可以用来执行各种文本处理任务，如查找模式、替换文本、计算数值、格式化输出等。

awk 通常是 Unix/Linux 系统的一部分，不需要单独安装。如果你使用的是 Windows 系统，可以安装 Cygwin 或者 MinGW 来使用 awk。

打印文件的第一列:
```
awk '{print $1}' file.txt
```
这里 $1 表示第一列。
计算文件中第二列的总和:
```
awk '{sum += $2} END {print sum}' file.txt
```
这里 $2 表示第二列。
查找包含特定字符串的行:
```
awk '/pattern/ {print}' file.txt
```
/pattern/ 表示匹配模式 pattern 的行。
替换文件中的字符串:
```
awk '{gsub("old", "new"); print}' file.txt
```
gsub 函数全局替换 old 为 new。
基于条件打印行:
```
awk '$1 == "value" {print $0}' file.txt
```
这里 $0 表示整行。
统计文件中不同值的数量:
```
awk '{count[$1]++} END {for (i in count) print i, count[i]}' file.txt
```
这个例子展示了如何统计第一列的不同值及其出现次数。

使用多个文件:
```
awk 'NR==FNR{a[$1]; next} $1 in a' file1.txt file2.txt
```
这个例子展示了如何处理两个文件，并找到第一个文件中出现过的值在第二个文件中的行。
自定义分隔符:
```
awk -F: '{print $1}' file.txt
```
-F: 设置字段分隔符为冒号。
格式化输出:
```
awk '{printf "%-10s %s\n", $1, $2}' file.txt
```
使用 printf 格式化输出，这里 -10s 表示左对齐的宽度为10的字符串。
多条件判断:
```
awk '$1 == "value" && $2 > 10 {print $0}' file.txt
```
这里使用了逻辑运算符 && 来组合多个条件。
数组操作:
```
awk '{arr[$1] = $2} END {for (i in arr) print i, arr[i]}' file.txt
```
这个例子展示了如何使用数组来存储和处理数据。

避免在大文件上使用 awk:

对于非常大的文件，awk 可能会变得非常慢。在这种情况下，考虑使用 sort, uniq 或 grep 等工具进行预处理。
使用 BEGIN 和 END 块:

使用 BEGIN 块来初始化变量或执行预处理任务，使用 END 块来执行后处理任务，如输出总结信息。
使用 NR 和 FNR:

NR 表示当前处理的行数，FNR 表示当前文件中的行数。这些变量可以帮助你处理多文件的情况。
性能优化:

使用 getline 读取文件，使用 next 和 nextfile 跳过不需要处理的行或文件。