sedコマンドで大量ファイルを一括置換する方法(CSVの二重引用符削除・タブ変換・バックアップまで)

概要

今回はsedコマンドで、大量のファイルを一括置換する方法について紹介していきます。

CSVを開いたら""だらけで見づらい、TSVをCSVに変えたい、パスの文字列をまとめて書き換えたい。
こういう作業を1ファイルずつエディタで直していると、ファイル数が増えた時点で心が折れます(- -;

sedは、テキストを行単位で加工するコマンドです。
置換の書き方さえ覚えれば、*.csvのようにワイルドカードを使って数十〜数百ファイルを1コマンドで書き換えられます。
基本構文から、実際に使った例、事故を防ぐための確認方法まで書いていきます。
それではやっていきましょう!

目次

sedの基本構文

まずは基本の形です。

1
sed -i -e 's/置換前/置換後/g' ファイル名

それぞれの意味は次のとおりです。

要素 意味
sed ストリームエディタ。テキストを行単位で加工します
-i ファイルを直接上書き(in-place)します
-e スクリプト(編集コマンド)を指定します。1つだけなら省略できます
s/A/B/ 最初に見つかったAをBに置換します
g 行内のすべての一致箇所を置換します

gを付けないと、1行につき最初の1個しか置換されません。
迷ったらgを付けておけば、思っていた結果になることがほとんどです(^^

使用例

ここからは、実際の使用例を順番に見ていきます。

カレントディレクトリの全CSVから””を削除

1
sed -i -e 's/""//g' *.csv

*.csvに一致するすべてのファイルが対象で、ダブルクォート2つ("")を空文字に置換して消します。
CSVの中に""が入っていてファイルが見づらいときに使いました。

ただし、この例である”の置換はDBに取り込むCSVに対して実行するのはお勧めしません。
CSVでは、空の文字列や、値の中のダブルクォートを表すために""が使われることがあります。
消してしまうと、取り込み時に列の意味が変わる可能性があるからです。
あくまで「人間が目で見て確認したいだけのCSV」に使うのが安全です。
-iは元のファイルを直接上書きするので、実行前にバックアップを残す方法も確認しておくと安心です。

特定のファイルの文字列を置換

1
sed -i -e 's/ほげ/あいうえお/g' test.csv

こちらは、カレントディレクトリのtest.csvだけが対象です。
全角のほげをあいうえおに置換します。
ワイルドカードを使わずにファイル名を直接指定すれば、1ファイルだけ書き換えられます。

タブをカンマに置換(TSV→CSV)

1
sed -i -e 's/\t/,/g' test.csv

\t(タブ)を,に置換します。
TSVをCSVに変換するときは、タブを\tと書くのがコツです。

逆に、\tという文字列そのものをタブに置換したい場合は、次のように書きます。

1
sed -i -e 's/\\t/\t/g' test.csv

置換前の\\tは、\の前にもう1つ\を置くことで「バックスラッシュという文字そのもの」として解釈されます(エスケープ)。
置換後の\tは、通常どおりタブとして扱われます。
ここがごちゃごちゃして一番混乱しやすいところなので、動かして確かめるのが早いです(^^

なお、\tをタブとして扱えるのはGNU sed(Linuxなど)です。
Macに入っているBSD版のsedでは動かないことがあるので、その場合は別の方法を探す必要があります。

事故を防ぐための使い方

-iはファイルを直接上書きするので、失敗すると元に戻せません。
大量のファイルを一括で書き換えるときほど、次の3つを習慣にしておくと安心です。

  • バックアップを残しつつ置換する
    • -iの直後に拡張子を付けると、元のファイルがその拡張子で残る
  • 別ファイルに出力して、元ファイルは触らない
    • -iを付けず、>でリダイレクトする
  • 実行前に結果だけ確認する
    • -iを付けず、headで先頭だけ表示する

バックアップを残しつつ置換

1
sed -i.bak -e 's/""//g' *.csv

全ての*.csvを置換しつつ、.bakが付いた元のファイルが残ります。
test.csvならtest.csv.bakができる形です。
迷ったらバックアップは、エンジニアならみんなやります(^^

置換結果を別ファイル名に出力

1
sed -e 's/*****/あいうえお/g' test.csv > out.csv

-iを付けなければ、sedは置換後の内容を画面に出力するだけで、元ファイルは変えません。
それを>でファイルに保存すれば、元のファイルはそのままに、置換結果だけをout.csvに取り出せます。

実行前に実行結果を軽く確認

1
sed -e 's/\/\//\//g' test.csv | head

-iなしでheadに渡せば、置換後の先頭10行だけを確認できます。
//を/にするような、エスケープだらけの置換は特に間違えやすいです。
そういうときに、いきなり本番実行せず、まずこの形で結果を見るのをお勧めします。

区切り文字を変更して読みやすくする

パスやURLのように/を含む文字列を置換しようとすると、エスケープの\/だらけになって読みにくくなります。
そんなときは、区切り文字を/以外に変えられます。

1
sed -i -e 's#/old/path#/new/path#g' file.txt

sの直後の1文字が区切り文字として扱われるので、#や|に変えても同じように動きます。
パスやURLを置換するときは、#や|に変えるとかなり読みやすくなります(^^

締め

いかがでしたか?
まとめてみると今回の使い分けはこんな感じです。

  • まず確認したいとき
    • sed -e '...' ファイル | headで、上書きせずに結果だけ見る
  • 元ファイルを残したいとき
    • sed -i.bak -e '...' ファイルでバックアップ付きにするか、>で別ファイルに出力する
  • /を含む文字列を置換するとき
    • 区切り文字を#や|に変えて、エスケープを減らす

sedは覚えるまでは取っつきにくいですが、一度使えるようになると手放せません。
まだ手作業でファイルを1つずつ直している方は、まず安全安心な-i.bak付きで試してみてください(^^

以上となります。
置換はGUIアプリのテキストエディタならもはや標準機能ですよね!
それではお疲れさまでした。

広告・PR|神秘ノシSELECT(セルフ広告)

神秘ノシSELECT。夜に飲めるお茶を探す人へ。ノンカフェインのルイボスティー。レビューを読む