【PowerShell】ファイルを件数ごとに分割する

 大容量ファイルをWindows PCで分割する一つの方法

先日、サイズの大きなcsvファイルをPC上で処理する必要があったのですが、あまりにもサイズが大きかったため、急遽、分割することにしました。
このときはWindows PC で作業していたため、Powershellで対応しました。

以下のスクリプトでは、$num に設定した件数で、ファイル分割しています。
出力ファイルのファイル名の末尾に連番が振られます。

✏スクリプト

$inFile='入力ファイルのパス';
$outFile='出力ファイルのパス';
$num=10000;
$i=0;Get-Content $inFile -ReadCount $num | % {$_ | Out-File $outFile"_$i.csv" -Encoding UTF8 -Append; $i++}

☝スクリプトの説明

♦1行目:

  $inFile='入力ファイルのパス';
分割する対象ファイルを指定。


♦2行目:

  $outFile='出力ファイルのパス';
出力ファイルのパスを指定。


♦3行目:

  $num=10000;
分割する件数を指定。


♦4行目:

  $i=0;Get-Content $inFile -ReadCount $num | % {$_ | Out-File $outFile"_$i.csv" -Encoding UTF8 -Append; $i++}
ファイルを10,000(=$num)件ごとに分割。出力ファイルの末尾は0から連番が振られる。

コメント

このブログの人気の投稿

【論文メモ】A systematic literature review on source code similarity measurement and clone detection: techniques, applications, and challenges

【論文メモ】<2022>コードクローン検索手法の調査

【論文】A Survey on Causal Inference<2021>