sedコマンドで大量ファイルを一括置換する方法(CSVの二重引用符削除・タブ変換・バックアップまで)
概要
今回はsedコマンドで、大量のファイルを一括置換する方法について紹介していきます。
CSVを開いたら""だらけで見づらい、TSVをCSVに変えたい、パスの文字列をまとめて書き換えたい。
こういう作業を1ファイルずつエディタで直していると、ファイル数が増えた時点で心が折れます(- -;
sedは、テキストを行単位で加工するコマンドです。
置換の書き方さえ覚えれば、*.csvのようにワイルドカードを使って数十〜数百ファイルを1コマンドで書き換えられます。
基本構文から、実際に使った例、事故を防ぐための確認方法まで書いていきます。
それではやっていきましょう!
目次
sedの基本構文
まずは基本の形です。
1 | sed -i -e 's/置換前/置換後/g' ファイル名 |
それぞれの意味は次のとおりです。
| 要素 | 意味 |
|---|---|
sed |
ストリームエディタ。テキストを行単位で加工します |
-i |
ファイルを直接上書き(in-place)します |
-e |
スクリプト(編集コマンド)を指定します。1つだけなら省略できます |
s/A/B/ |
最初に見つかったAをBに置換します |
g |
行内のすべての一致箇所を置換します |
gを付けないと、1行につき最初の1個しか置換されません。
迷ったらgを付けておけば、思っていた結果になることがほとんどです(^^
使用例
ここからは、実際の使用例を順番に見ていきます。
カレントディレクトリの全CSVから””を削除
1 | sed -i -e 's/""//g' *.csv |
*.csvに一致するすべてのファイルが対象で、ダブルクォート2つ("")を空文字に置換して消します。
CSVの中に""が入っていてファイルが見づらいときに使いました。
ただし、この例である”の置換はDBに取り込むCSVに対して実行するのはお勧めしません。
CSVでは、空の文字列や、値の中のダブルクォートを表すために""が使われることがあります。
消してしまうと、取り込み時に列の意味が変わる可能性があるからです。
あくまで「人間が目で見て確認したいだけのCSV」に使うのが安全です。-iは元のファイルを直接上書きするので、実行前にバックアップを残す方法も確認しておくと安心です。
特定のファイルの文字列を置換
1 | sed -i -e 's/ほげ/あいうえお/g' test.csv |
こちらは、カレントディレクトリのtest.csvだけが対象です。
全角のほげをあいうえおに置換します。
ワイルドカードを使わずにファイル名を直接指定すれば、1ファイルだけ書き換えられます。
タブをカンマに置換(TSV→CSV)
1 | sed -i -e 's/\t/,/g' test.csv |
\t(タブ)を,に置換します。
TSVをCSVに変換するときは、タブを\tと書くのがコツです。
逆に、\tという文字列そのものをタブに置換したい場合は、次のように書きます。
1 | sed -i -e 's/\\t/\t/g' test.csv |
置換前の\\tは、\の前にもう1つ\を置くことで「バックスラッシュという文字そのもの」として解釈されます(エスケープ)。
置換後の\tは、通常どおりタブとして扱われます。
ここがごちゃごちゃして一番混乱しやすいところなので、動かして確かめるのが早いです(^^
なお、\tをタブとして扱えるのはGNU sed(Linuxなど)です。
Macに入っているBSD版のsedでは動かないことがあるので、その場合は別の方法を探す必要があります。
事故を防ぐための使い方
-iはファイルを直接上書きするので、失敗すると元に戻せません。
大量のファイルを一括で書き換えるときほど、次の3つを習慣にしておくと安心です。
- バックアップを残しつつ置換する
-iの直後に拡張子を付けると、元のファイルがその拡張子で残る
- 別ファイルに出力して、元ファイルは触らない
-iを付けず、>でリダイレクトする
- 実行前に結果だけ確認する
-iを付けず、headで先頭だけ表示する
バックアップを残しつつ置換
1 | sed -i.bak -e 's/""//g' *.csv |
全ての*.csvを置換しつつ、.bakが付いた元のファイルが残ります。test.csvならtest.csv.bakができる形です。
迷ったらバックアップは、エンジニアならみんなやります(^^
置換結果を別ファイル名に出力
1 | sed -e 's/*****/あいうえお/g' test.csv > out.csv |
-iを付けなければ、sedは置換後の内容を画面に出力するだけで、元ファイルは変えません。
それを>でファイルに保存すれば、元のファイルはそのままに、置換結果だけをout.csvに取り出せます。
実行前に実行結果を軽く確認
1 | sed -e 's/\/\//\//g' test.csv | head |
-iなしでheadに渡せば、置換後の先頭10行だけを確認できます。//を/にするような、エスケープだらけの置換は特に間違えやすいです。
そういうときに、いきなり本番実行せず、まずこの形で結果を見るのをお勧めします。
区切り文字を変更して読みやすくする
パスやURLのように/を含む文字列を置換しようとすると、エスケープの\/だらけになって読みにくくなります。
そんなときは、区切り文字を/以外に変えられます。
1 | sed -i -e 's#/old/path#/new/path#g' file.txt |
sの直後の1文字が区切り文字として扱われるので、#や|に変えても同じように動きます。
パスやURLを置換するときは、#や|に変えるとかなり読みやすくなります(^^
締め
いかがでしたか?
まとめてみると今回の使い分けはこんな感じです。
- まず確認したいとき
sed -e '...' ファイル | headで、上書きせずに結果だけ見る
- 元ファイルを残したいとき
sed -i.bak -e '...' ファイルでバックアップ付きにするか、>で別ファイルに出力する
/を含む文字列を置換するとき- 区切り文字を
#や|に変えて、エスケープを減らす
- 区切り文字を
sedは覚えるまでは取っつきにくいですが、一度使えるようになると手放せません。
まだ手作業でファイルを1つずつ直している方は、まず安全安心な-i.bak付きで試してみてください(^^
以上となります。
置換はGUIアプリのテキストエディタならもはや標準機能ですよね!
それではお疲れさまでした。





