POSIX sedでなにができる？

シェル芸が好きな割には普段 s コマンドしか使っていないので、思いつく使い道を洗い出してみる
思いつき次第追記するかもしれない

前提として、他のPOSIXコマンドのほうが早い用法はなるべく避けたい
例：ただ単に y/source/dest/ コマンド使うだけなら tr source dest で良いよね

使用バージョンは下記

$ sed --version
sed (GNU sed) 4.8

x〜y行目だけを抽出する

head | tail するよりも直感的でわかりやすい

$ seq 10 | sed --posix -n 2,5p
2
3
4
5

$ seq 10 | sed --posix '' # コマンドが空文字
1
2
3
4
5
6
7
8
9
10

$ seq 10 | sed --posix -n ''
# 何も出ない

$ seq 10 | sed --posix -n '4p;6p' #4行目だけ出すコマンド、6行目だけ出すコマンド
4
6

改行をまたぐ文字列の置換を行う

次行の読み込み（ N コマンド）を行うことで、2行分の置換を繰り返す

下記のようなファイルがあるとする

$ cat 8width.txt # a~zを繰り返しているだけ
abcdefgh
ijklmnop
qrstuvwx
yzabcdef
ghijklmn
opqrstuv
wxyz

「h(改行)ij」を置換する場合

$ cat 8width.txt | sed --posix -E '$!{N;s/h\nij/#\n##/;P;D}'
abcdefg#   ←ここが変わってる
##klmnop
qrstuvwx
yzabcdef
ghijklmn
opqrstuv
wxyz

「hij」という文字列があったら改行関係なく書き換えたいという場合
（ただしこれは固定長を前提にしている。 別にtr -d \\n | sed | fold -w8 でもいいのでsedで完結させることの優位性は微妙。）

$ cat 8width.txt | sed --posix -E '$!{N;s/\n//;s/hij/###/;s/^.{8}/&\n/;P;D}'
abcdefg#   ←ここが変わってる
##klmnop
qrstuvwx
yzabcdef
g###klmn   ←ここも変わってる
opqrstuv
wxyz

2行以上の空白を1行に圧縮する

下記のようなファイルがあるとする

$ cat random_newline.txt
2 newlines below


3 newlines below


1 newline below

3 newlines below



end

labelを使えば重複する改行をループで取り除ける

$ sed --posix -nE ':top;$p;N;s/^$\n^$//;ttop;P;D' random_newline.txt
2 newlines below
 
3 newlines below
 
1 newline below
 
3 newlines below
 
end

POSIXのマニュアルに別解があったぜ（記事書いているときに気づいた）

sed -n '
# Write non-empty lines.
/./ {
    p
    d
    }
# Write a single empty line, then look for more empty lines.
/^$/    p
# Get next line, discard the held <newline> (empty line),
# and look for more empty lines.
:Empty
/^$/    {
    N
    s/.//
    b Empty
    }
# Write the non-empty line before going back to search
# for the first in a set of empty lines.
    p
'

https://pubs.opengroup.org/onlinepubs/9699919799/utilities/sed.html

5行おきにテーブルの見出しを再掲する

hold spaceを使うことで、テーブルの見出しを保存して定期的に出力できる

$ cat tables.txt
+----+------+
| No | Name |
+----+------+
|  1 | AAA  |
|  2 | BBB  |
|  3 | CCC  |
|  4 | DDD  |
|  5 | EEE  |
|  6 | FFF  |
|  7 | GGG  |
|  8 | HHH  |
|  9 | III  |
| 10 | JJJ  |
| 11 | KKK  |
| 12 | LLL  |
+----+------+

$ cat tables.txt | sed --posix -En '1{N;N;h};p;/[05] \|/{g;p}'
+----+------+
| No | Name |
+----+------+
|  1 | AAA  |
|  2 | BBB  |
|  3 | CCC  |
|  4 | DDD  |
|  5 | EEE  |
+----+------+
| No | Name |
+----+------+
|  6 | FFF  |
|  7 | GGG  |
|  8 | HHH  |
|  9 | III  |
| 10 | JJJ  |
+----+------+
| No | Name |
+----+------+
| 11 | KKK  |
| 12 | LLL  |
+----+------+

おまけ：xxdコマンドの出力から特定バイナリ列をgrepする

あまりにも難産でコマンドが複雑になったので、見てもらったほうが早い
ランダムなバイト列から、「0xc2」が対象となる箇所をハイライト表示し、行末に「###」をつけている

$ xxd random.bin | sed --posix -En '$bl4;N;s/^([[:xdigit:]]+): (((\x00?[[:xdigit:]]\x01?){4} ){8}) (.{16})\n([[:xdigit:]]+): (([[:xdigit:] ]{4} ){8}) (.{,16})/\1:\6:#\2\7:\5\9/;:l1;s/#((\x00?[[:xdigit:]]\x01?){4}) /\1#/;tl1;:l2;s/([[:xdigit:]]+:[[:xdigit:]]+:[[:xdigit:] #:]+)(c2)([[:xdigit:] #:])/\1\x00\2\x01\3/;tl2;:l3;s/((\x00?[[:xdigit:]]\x01?){4})#/#\1 /;tl3;s/#((\x00?[[:xdigit:]]\x01?){4} ){8}/&#/;s/#(.*\x00[[:xdigit:] ]+)#/#\1\x01#/g;s/#([[:xdigit:] ]+\x01[[:xdigit:] ]+):/#\x00\1:/;s/^([[:xdigit:]]+):([[:xdigit:]]+):#([^:]*)#([^:]*):(.{16})(.{,16})$/\1: \3 \5\n\2: \4 \6/;s/^(.*\x00.*)\n/\1 ###\n/;:l4;s/^([^\n]*)\x00/\1\x1b\[31m/;s/^([^\n]*)\x01/\1\x1b\[m/;tl4;P;D'

ワンライナーでやるのに限界を感じたのでせめてスクリプトにしましょうね

$ cat xxdgrep.sh 
#!/bin/bash

sed -En "
\$bl4
N
s/^([[:xdigit:]]+): (((\x00?[[:xdigit:]]\x01?){4} ){8}) (.{16})\\n([[:xdigit:]]+): (([[:xdigit:] ]{4} ){8}) (.{,16})/\1:\6:#\2\7:\5\9/
:l1
s/#((\x00?[[:xdigit:]]\x01?){4}) /\1#/
tl1
:l2
s/([[:xdigit:]]+:[[:xdigit:]]+:[[:xdigit:] #:]+)($1)([[:xdigit:] #:])/\1\x00\2\x01\3/
tl2
:l3
s/((\x00?[[:xdigit:]]\x01?){4})#/#\1 /
tl3
s/#((\x00?[[:xdigit:]]\x01?){4} ){8}/&#/
s/#(.*\x00[[:xdigit:] ]+)#/#\1\x01#/g
s/#([[:xdigit:] ]+\x01[[:xdigit:] ]+):/#\x00\1:/
s/^([[:xdigit:]]+):([[:xdigit:]]+):#([^:]*)#([^:]*):(.{16})(.{,16})$/\1: \3 \5\\n\2: \4 \6/
s/^(.*\x00.*)\\n/\1 ###\\n/
:l4
s/^([^\\n]*)\x00/\1\x1b\[31m/
s/^([^\\n]*)\x01/\1\x1b\[m/
tl4
P
D"

$ xxd random.bin | ./xxdgrep.sh bf5a9c61 # コードブロックなので伝わらないが、ちゃんとc2の部分が赤色になる
00000000: 96fe 0009 a4f2 69b3 eb42 8490 eb82 55c1  ......i..B....U.
00000010: 6cbd 125f 71f2 7aeb 2eea 2299 1305 255c  l.._q.z..."...%\
00000020: 26b0 1620 b66e ba44 f0fd 5d1c fd34 820b  &.. .n.D..]..4..
00000030: 9c5d 4359 a029 285c aec1 5ca1 8590 bf5a  .]CY.)(\..\....Z ###
00000040: 9c61 e1fd c9dd 417d bd1c 97fc 0b8e 2641  .a....A}......&A ###
00000050: 401b 809f d621 17d8 f522 5e24 afbe bd82  @....!..."^$....
00000060: 3af2 1976 badf 4633 8cea 37e2 4cb9 e39f  :..v..F3..7.L...
00000070: 5ecd 42d2 06fd 40d9 3b6c 6c41 9355 8322  ^.B...@.;llA.U."
00000080: c3ff eaef 0408 abfa 36ba 912d a0c2 90fe  ........6..-....
00000090: 07b5 5830 3d67 2334 849e e6aa 1450 7cf1  ..X0=g#4.....P|.
000000a0: df2a 579b 107d 8e99 48f5 dd72 d733 00db  .*W..}..H..r.3..
000000b0: edc1 87dc 1b0e 3acb 83dd 02d1 06d7 3069  ......:.......0i
000000c0: 5d80 b079 e851 94cd                      ]..y.Q..