`sed`と`awk`によるテキスト操作
ストリーム編集に`sed`を、高度なテキスト処理とレポート作成に`awk`を活用します。
「`sed`と`awk`によるテキスト操作」はCoddyKit上の無料Linux Command Line Masteryレッスンです。 これはレッスン3/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはLinux Command Line Mastery学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 Linux Command Line Masteryコースには全4レッスンが含まれています。
このレッスンの一部はまだ翻訳されておらず、英語で表示されています。
Meet `sed` and `awk`
Welcome to a powerful lesson on text manipulation! We'll explore two essential Linux command-line tools: sed and awk.
These tools are incredibly useful for editing and processing text files, making them indispensable for system administrators, developers, and data analysts.
sed(Stream Editor): Great for simple text transformations like finding and replacing text or deleting lines.awk(Pattern Scanning and Processing Language): A more robust language for advanced data extraction, reporting, and conditional processing.
`sed` for Simple Substitutions
The most common use for sed is substitution. You can replace specific text patterns on a line using the s command, which stands for substitute.
The basic syntax is sed 's/pattern/replacement/'. By default, it replaces only the first occurrence of the pattern on each line.
echo "hello world, hello universe" | sed 's/hello/hi/'Global & Case-Insensitive `sed`
What if you want to replace all occurrences on a line, or ignore case? sed has flags for that!
- The
gflag (global) replaces all matches on a line. - The
iflag (case-insensitive) makes the pattern matching ignore uppercase/lowercase differences.
You can combine flags, like gi.
echo "Apple apple APPLE" | sed 's/apple/orange/gi'Deleting Lines with `sed`
Beyond substitution, sed can also delete entire lines based on a pattern or line number. The d command is used for deletion.
To delete lines containing a specific word, you'd use sed '/pattern/d'. You can also delete specific line numbers, like sed '2d' for the second line.
echo -e "Line 1
REMOVE THIS LINE
Line 3" | sed '/REMOVE/d'Inserting & Appending Lines
sed can also insert new lines of text before or after existing lines. This is useful for adding headers, footers, or context to your files.
- The
icommand inserts text before a matched line. - The
acommand appends text after a matched line.
The text to insert/append must be on a new line after the command, or escaped with a backslash.
echo "Existing line" | sed 'i\New line before'`awk` for Pattern Scanning
Now, let's dive into awk. It's more than just a stream editor; it's a programming language designed for pattern scanning and processing!
awk processes text files line by line. For each line, it checks if it matches a given pattern. If it does, it performs an associated action. The basic structure is awk 'pattern { action }'.
echo -e "apple
banana
orange" | awk '{ print }'Working with `awk` Fields
A key feature of awk is its ability to automatically split each line into fields (columns). By default, whitespace (spaces, tabs) acts as the field separator.
$1, $2, $3, ...: Refer to the first, second, third field, and so on.$0: Refers to the entire line.-Foption: Use this to specify a custom field separator, e.g.,-F','for comma-separated values.
echo "Name:Alice,Age:30" | awk -F',' '{ print "Hello, " $1 }'Conditional Logic in `awk`
awk allows you to use conditional statements, like if, within its actions. This means you can process lines or fields only if certain criteria are met.
This is extremely powerful for filtering data based on numeric comparisons, string matches, and more.
echo -e "itemA 10
itemB 5
itemC 12" | awk '{ if ($2 > 8) print $1 " is expensive" }'`awk`'s Handy Variables
awk provides several built-in variables that offer useful information during processing:
NR(Number of Record): The current line number being processed.NF(Number of Fields): The total number of fields in the current line.FILENAME: The name of the current input file.
These variables help you create dynamic and context-aware scripts.
echo -e "one two
three four five" | awk '{ print "Line " NR ": " NF " fields" }'`sed` Substitution Quiz
Time to test your knowledge of sed!
`sed` & `awk` Recap
Great job! You've learned the basics of two incredibly powerful text processing tools: sed and awk.
sedis your go-to for stream editing, perfect for quick substitutions (s), deleting lines (d), and inserting/appending text. Remember theg(global) andi(case-insensitive) flags!awkis a versatile language for pattern scanning. It excels at splitting lines into fields ($1, $2, ...), using custom delimiters (-F), applying conditional logic (if), and leveraging built-in variables likeNRandNF.
Practice these commands to master your text manipulation skills!
よくある質問
「`sed`と`awk`によるテキスト操作」レッスンは無料ですか?
はい。「`sed`と`awk`によるテキスト操作」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し(組み込みコードエディタと24時間対応のAIチューター)、Linux Command Line Masteryコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 Linux Command Line Masteryコースには全4レッスンが含まれています。
「`sed`と`awk`によるテキスト操作」で何を学びますか?
ストリーム編集に`sed`を、高度なテキスト処理とレポート作成に`awk`を活用します。 ブラウザで直接実行するハンズオンコードでLinux Command Line Masteryを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
Linux Command Line Masteryを始めるのに経験は必要ですか?
事前経験は必要ありません。CoddyKitのLinux Command Line Masteryは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン3/4です。
「`sed`と`awk`によるテキスト操作」レッスンにはどのくらい時間がかかりますか?
ほとんどのCoddyKitレッスンは約5~10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このLinux Command Line Masteryレッスンでコードを書いて実行できますか?
はい。すべてのLinux Command Line Masteryレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- 標準ストリームとリダイレクト
- `grep`によるテキストの絞り込み
- `sed`と`awk`によるテキスト操作
- sort、uniq、cut で出力を結合・並べ替える