サーバーのよく使うコマンドメモ | split

2015年2月26日

コマンド サーバー テクノロジー

Summery

1つのファイルを複数のファイルに分割する。 膨大なログデータファイルをPHPなどで読み込んで処理する場合、 メモリオーバーするのを防ぐ為に、ファイル分割を行う事ができる。

Construction

$ split [option] [file]

Option

-a : 付番の桁数を指定(※デフォルト2) -b : 指定したバイト数で分割 -l : 指定した行数で分割(※省略可) -b *k : 指定Kbで分割 -b *m : 指定Mbで分割

Sample

# "hoge.txt"ファイルを100Kb毎に分割してファイルを作る $ split -b 100k hoge.txt # "hoge.txt"ファイルを100行毎に分割してファイルを作る $ sort -l 100 hoge.txt

Discription

The split utility reads the given file and breaks it up into files of 1000 lines each. If file is a single dash (`-') or absent, split reads from the standard input. The options are as follows: -a suffix_length Use suffix_length letters to form the suffix of the file name. -b byte_count[k|m] Create smaller files byte_count bytes in length. If ``k'' is appended to the number, the file is split into byte_count kilobyte pieces. If ``m'' is appended to the number, the file is split into byte_count megabyte pieces. -l line_count Create smaller files n lines in length. -p pattern The file is split whenever an input line matches pattern, which is interpreted as an extended regular expression. The matching line will be the first line of the next output file. This option is incompatible with the -b and -l options. If additional arguments are specified, the first is used as the name of the input file which is to be split. If a second additional argument is specified, it is used as a prefix for the names of the files into which the file is split. In this case, each file into which the file is split is named by the prefix followed by a lexically ordered suf- fix using suffix_length characters in the range ``a-z''. If -a is not specified, two letters are used as the suffix. If the name argument is not specified, the file is split into lexically ordered files named with the prefix ``x'' and with suffixes as above.

このブログを検索

ごあいさつ

このWebサイトは、独自思考で我が道を行くユゲタの少し尖った思考のTechブログです。 毎日興味がどんどん切り替わるので、テーマはマルチになっています。 もしかしたらアイデアに困っている人の助けになるかもしれません。