Linux 常用命令与文本三剑客教程：从入门到进阶

引言：为何要精通命令行？

在图形化界面（GUI）主导的今天，为何我们仍需回归看似“原始”的命令行（CLI）？对于工程师而言，命令行不仅是操作系统暴露的底层接口，更是一种高效、可编程、可复现的通用“语言”。它能让你：

• 自动化重复任务：通过脚本批量处理文件、部署应用、监控系统，极大提升效率。
• 深入理解系统：直接与操作系统交互，观察进程、网络、文件系统的真实状态，培养“庖丁解牛”般的洞察力。
• 驾驭无界面环境：在服务器、容器、CI/CD 等环境中，命令行是唯一且最高效的交互方式。
• 构建强大工具链：将多个简单命令通过管道组合，以“流”的方式处理数据，构建出远超单个 GUI 工具能力的强大工作流。

本教程旨在帮助已有一定开发经验的工程师，系统性地掌握 Linux 环境下最高频的命令、I/O 与管道思想，以及被誉为“文本三剑客”的 grep、sed、awk 的核心用法与思维模型。无论你是后端、数据、还是平台工程师， mastery of these tools will prove to be a significant force multiplier in your daily work.

一、 命令行基础与通用技能

本章节覆盖了日常工作中 80% 的高频命令，掌握它们是高效操作 Linux 系统的基石。

1. 路径与文件管理

核心心法：在 Linux 中，“一切皆文件”。目录是特殊的文件，设备也是文件。理解文件系统层次结构与路径的表达方式是第一步。

软链接 (Symbolic Link) vs. 硬链接 (Hard Link)

• 软链接：像一个快捷方式，存储的是指向源文件的路径。删除源文件，链接失效。
• 硬链接：同一个文件内容的多个名字。所有硬链接共享 inode 和数据块，删除任意一个链接不影响文件实体，直到最后一个链接被删除。

2. 内容查看与文本工具

3. 搜索与查找

4. 压缩与归档

5. 进程与作业

6. 磁盘与文件系统

7. 用户与身份

8. 网络与诊断

9. 日志与系统服务

10. Shell I/O 与组合

核心心法：这是命令行的精髓所在！将命令视为处理“数据流”的节点，通过 I/O 操作将它们灵活地“焊接”在一起。

• 标准输入/输出/错误 (stdin/stdout/stderr)
  • stdin (文件描述符 0): 默认是键盘输入。
  • stdout (文件描述符 1): 默认是屏幕输出。
  • stderr (文件描述符 2): 默认是屏幕输出，用于错误信息。
• 重定向 (Redirection)
  • >: 将 stdout 重定向到文件 (覆盖)。command > file.out
  • >>: 将 stdout 重定向到文件 (追加)。command >> file.log
  • <: 将文件内容作为 stdin。command < file.in
  • 2>: 将 stderr 重定向到文件。command 2> file.err
  • 2>&1: 将 stderr 重定向到 stdout。
  • &>: (bash 简写) 将 stdout 和 stderr 都重定向。command &> file.all
• 管道 (Pipe |)
  • 将前一个命令的 stdout 连接到后一个命令的 stdin。
  • 示例: cat access.log | grep '404' | wc -l (统计访问日志中 404 错误的数量)。
• 子进程与命令替换
  • $(command) 或 `command`: 将命令的 stdout 作为变量值或参数。
  • 示例: echo "Today is $(date)"
• 导出与引用
  • export VAR=value: 设置环境变量，使其在子 shell 中可用。
  • 单引号 '': 强引用，内部所有字符都视为字面量。echo 'Hello $USER' -> Hello $USER
  • 双引号 "": 弱引用，$、\``、\` 会被解析。echo "Hello $USER" -> Hello mojucheng

二、 文本三剑客系统讲解：grep, sed, awk

如果说管道是命令行的“龙骨”，那么 grep, sed, awk 就是龙骨上最锋利的“三齿”。它们分别代表了文本处理的三个核心能力：筛选 (Searching)、编辑 (Editing) 和 报告 (Reporting)。

1. grep：文本筛选大师 (Global Regular Expression Print)

grep 的核心任务是从文本流中筛选出匹配特定模式的行。

正则表达式方言 (BRE/ERE/PCRE)

• BRE (Basic): 默认模式，?, +, {}, |, () 等需转义，如 \\(a\\|b\\)。
• ERE (Extended, -E): 无需转义 ?, +, {}, |, ()。更常用，推荐。
• PCRE (Perl-compatible, -P): 功能最强，支持 \d, \s, look-around 等高级语法，但并非所有 grep 版本都支持。

常见正则速查

• ^: 行首, $: 行尾
• .: 任意单字符, *: 前项 0 或多次, +: 前项 1 或多次, ?: 前项 0 或 1 次
• [abc]: 字符集, [^abc]: 排除字符集
• {n}, {n,}, {n,m}: 精确/范围重复次数
• (a|b): 分组或, \b: 单词边界

2. sed：流编辑器 (Stream Editor)

sed 是一种非交互式的行编辑器，它逐行读取文本，应用指定的编辑命令，然后输出结果。核心是 地址{命令} 的模式。核心心法：sed 的世界里，你是一位“流水线工人”，面对传送带上（标准输入）源源不断的产品（文本行），你根据图纸（脚本命令）对其进行修改、丢弃或复制，然后放到另一条传送带上（标准输出）。

安全替换直接使用 sed -i 有风险，推荐使用 sed -i.bak 创建备份，或者先预览结果再决定是否覆盖：sed 's/old/new/g' file > file.tmp && mv file.tmp file

3. awk：全能文本报告生成器

awk 不仅仅是一个工具，它本身就是一门编程语言。它将每一行文本按指定分隔符切分为字段，然后让你基于模式对这些字段进行计算、处理和格式化输出。核心心法：awk 的世界里，你是一位“数据分析师”，面对一张张报表（文本行），你读取每个单元格（字段），进行计算、判断和聚合，最终生成一份新的、结构化的报告。awk 的基本模型是 PATTERN { ACTION }。对每一行，如果匹配 PATTERN，则执行 { ACTION }。核心变量与概念

内建函数与编程结构

• 字符串函数: length(), substr(), split(), match(), gsub()/gensub()
• 算术运算: + - * / %
• 控制流: if/else, while, for
• 数组 (关联数组): awk 的数组是关联数组 (类似 Python 的 dict 或 Java 的 Map)。awk '{counts[$1]++} END{for(ip in counts) print ip, counts[ip]}' access.log (统计各 IP 访问次数)

典型 awk 用法

GNU awk (gawk) 进阶特性

• gensub(): 更强大的替换函数，可指定替换第几次出现。
• strftime(): 格式化时间戳。
• @include: 包含其他 awk 脚本。
• ENVIORN: 访问环境变量。
• 真正的多维数组。

三、 进阶范式与高效实践

掌握单个命令是基础，将它们组合成优雅、高效、健壮的工作流，才是真正拉开差距的地方。

1. 管道化思维：构建你的数据处理流水线

忘掉繁琐的 GUI 点击操作，将你的任务分解为标准的“生产-消费”流程。这种思维模型具有极强的复用性和扩展性。核心流程：产生数据 → 筛选 → 转换 → 聚合 → 格式化 → 输出暂时无法在飞书文档外展示此内容

• 产生数据: cat, ls, curl, journalctl, ps ... 任何能产生文本输出的命令。
• 筛选: grep 找出你关心的行。
• 转换: sed 清洗、归一化数据；awk 提取、重排字段；tr 转换字符。
• 聚合: sort | uniq -c 排序、计数；awk 使用数组进行复杂聚合。
• 格式化输出: awk '{printf ...}' 生成报告；tee 分流保存中间结果。

2. find + xargs: 海量文件处理的黄金搭档

当需要对大量文件执行同一操作时（如删除、修改、压缩），find -exec ... {} \; 方式效率低下，因为它为每个文件都启动一个新进程。正确姿势：

• find ... -exec ... {} +: find 会将文件名凑成一批，然后一次性传给 exec 后面的命令，大大减少进程创建开销。
• find ... -print0 | xargs -0 ...: 终极方案，完美解决文件名中包含空格、换行符等特殊字符的问题。
  • -print0: find 以 NULL 字符 (\0) 分隔文件名输出。
  • -0: xargs 以 NULL 字符作为输入分隔符。

# 安全高效地删除所有临时文件
find . -type f -name "*.tmp" -print0 | xargs -0 rm

3. sort/uniq 与 LC_ALL=C

sort 的行为受本地化设置（Locale）影响，这可能导致排序结果不符合预期或性能下降。

• LC_ALL=C: 强制 sort 使用最原始的、基于字节值的排序规则。
  • 优点 1: 加速。字节排序比按字典序快得多。
  • 优点 2: 稳定。结果唯一确定，不受系统语言环境影响。

# 对大数据集进行排序和去重计数时，推荐使用
export LC_ALL=C
cat large_log.txt | sort | uniq -c | sort -nr # 找出出现频率最高的行

4. 大文件与流式处理

• 避免读入内存: 命令行工具天然善于流式处理，逐行读取，内存占用极低。多用管道，避免将大文件内容存入 shell 变量。
• tee 分支: 在长管道中，有时需要保存中间结果用于调试或存档。tee 在此时非常有用。... | tee stage1.log | grep ... | tee stage2.log | ...
• 并发处理: xargs -P 可以轻松实现并发。cat image_list.txt | xargs -P 8 -I {} convert {} {}.webp (使用 8 个进程并发转换图片格式)注意: 确保任务之间是独立的，没有共享状态或资源竞争。

5. 可见性与边界（概念类比）

虽然 Linux 没有像 Bazel 那样强制的包边界和可见性规则，但我们可以借鉴其思想来组织项目和脚本，形成逻辑上的“模块”。

• 目录结构: 将功能相关的脚本、配置文件放在同一目录下。
• 接口脚本: 在目录顶层提供一个或少数几个入口脚本 (类似 BUILD 文件中的 xx_library)，内部实现细节对外部隐藏。
• 依赖管理: 尽量通过参数传递依赖（如配置文件路径），而不是依赖硬编码的全局路径或环境变量。这使得你的脚本更具可移植性和可测试性。

四、 实战示例与对照表

理论结合实践，才能真正掌握。

1. 三剑客速查对照表

这张表帮助你快速映射同一个需求在三剑客中的不同实现方式。

2. 高频命令速查表

3. 两套可复制的最小实践

a) 日志分析：统计 Nginx 日志 Top 10 访问 IP

目标：从原始 Nginx access.log 中，找出访问量最高的 10 个 IP 地址。日志格式 (示例):192.168.1.1 - - [19/Apr/2026:10:00:00 +0800] "GET /index.html HTTP/1.1" 200 1234 ...一步到位管道命令:

cat access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -n 10

分解步骤:

1. cat access.log: 产生数据源。
2. awk '{print $1}': awk 默认以空格为分隔符，$1 就是 IP 地址。(转换)
3. sort: 对 IP 地址进行排序，为 uniq 做准备。
4. uniq -c: 对已排序的 IP 进行去重，并统计每个 IP 出现的次数。(聚合)
5. sort -nr: -n 按数值排序，-r 倒序。即按访问次数从高到低排序。(聚合/排序)
6. head -n 10: 取出前 10 行，即 Top 10 结果。(格式化/输出)

b) CSV 处理：清洗并统计数据

目标：有一个 sales.csv 文件，统计每个城市的总销售额，并忽略无效数据行。sales.csv (示例):

ID,City,Product,Amount
1,Shanghai,Book,100
2,Beijing,Pen,10
# This is a comment
3,Shanghai,Book,150
,Invalid,Data,
4,Beijing,Paper,20

一步到位管道命令:

cat sales.csv | sed '/^#/d;/^,/d' | awk -F, 'NR > 1 {sales[$2]+=$4} END {for(city in sales) print city","sales[city]}' > city_sales.csv

分解步骤:

1. cat sales.csv: 产生数据源。
2. sed '/^#/d;/^,/d': 使用 sed 清洗数据。/^#/d 删除注释行，/^,/d 删除以逗号开头的无效行。（转换/清洗）
3. awk -F, 'NR > 1 {sales[$2]+=$4} END {for(city in sales) print city","sales[city]}'：
   1. -F,: 设置字段分隔符为逗号。
   2. NR > 1: 跳过表头。
   3. {sales[$2]+=$4}: (核心聚合) 以城市名 ($2) 为 key，累加销售额 ($4) 到关联数组 sales。
   4. END {...}: 所有行处理完毕后，遍历 sales 数组，打印 "城市,总销售额" 格式的结果。(格式化/输出)
4. > city_sales.csv: 将最终报告输出到新文件。

4. 易错点与替代方案

• grep -P 可用性: grep -P 依赖 PCRE 库，在某些极简系统或 macOS 上可能默认不安装。可使用 grep -E 替代多数场景，或安装 pcre 包。
• BSD/GNU 差异: macOS 默认的命令行工具 (如 sed, awk) 是 BSD 版本的，参数和行为与 Linux 上常见的 GNU 版本有差异。例如，BSD sed 的 -i 必须提供备份文件后缀 (sed -i '.bak' ...)。可通过 brew install gnu-sed 安装 GNU 版本，并用 gsed 调用。
• 安全替换: 重申，直接 sed -i 是危险操作。善用备份 sed -i.bak，或预览 sed ... file > file.tmp && mv file.tmp file。对于复杂替换，有时 awk 更安全可控。
• 文件名中的空格: 老生常谈，但极易出错。在 for 循环或管道中处理文件名时，始终考虑使用 find ... -print0 | xargs -0 ... 或在 shell 脚本中设置 IFS=$'\\n'。