Corredor

ウェブ、プログラミングの勉強メモ。

ファイルを指定行数ごとに分割するスクリプトを PowerShell と Bash で

何万行もある大容量のテキストファイルがあって、中身を見たいが重すぎて開けない。

そんな時は、ファイルを指定の行数で分割し、分割したファイルを参照するようにしたい。

それを実現する PowerShell コードがコチラ。

PS1> $i=0; cat .\src.log -ReadCount 5 | % { $_ > dest_$i.log; $i++ }

src.log ファイルが分割したいファイル。コレを実行すると、-ReadCount 5 と指定しているとおり、5行ずつのテキストファイルに分割され、dest_1.logdest_2.log といったファイルが同ディレクトリに生成される。

実際に大容量のテキストファイルを区切るなら、1万行ずつぐらいで区切るとちょうど良いだろう。


同様の処理を Bash で行うには以下のように実行する。

$ split -d --additional-suffix='.log' -l 5 ./src.log 'dest_'

split コマンドを使い、-l 5 部分で分割する行数を指定する。分割後のファイル名を、PowerShell 版と同じく dest_01.log のような連番にするため、-d --additional-suffix='.log' というオプションを付けている。デフォルトだと xaa のようなアルファベットのファイル名になってしまうため、少なくとも -d で数字の連番にしておくと扱いやすいだろう。


以上。コレで、Windows でも Mac / Linux でも、大容量のテキストファイルを参照できるようになっただろう。

PowerShell実践ガイドブック ~クロスプラットフォーム対応の次世代シェルを徹底解説~

PowerShell実践ガイドブック ~クロスプラットフォーム対応の次世代シェルを徹底解説~

  • 作者:吉崎 生
  • 出版社/メーカー: マイナビ出版
  • 発売日: 2018/05/30
  • メディア: 単行本(ソフトカバー)