| bzip2(1) | General Commands Manual | bzip2(1) |
bzip2, bunzip2 -
ブロックソートによってファイルを圧縮・伸長する。バージョン
1.0.8
bzcat -
ファイルを標準出力に伸長する
bzip2recover - 破損した bzip2
ファイルからデータを復元する
bzip2 [ -cdfkqstvzVL123456789 ] [ filenames
... ]
bunzip2 [ -fkvsVL ] [ filenames ... ]
bzcat [ -s ] [ filenames ... ]
bzip2recover filename
bzip2 は、Burrows-Wheeler ブロックソートテキスト圧縮アルゴリズムと Huffman 符号化を使ってファイルを圧縮します。 圧縮率は、一般的な LZ77/LZ78 ベースの圧縮率に比べると、大抵の場合でとても向上しています。 また、圧縮速度は、統計的圧縮法である PPM 圧縮の速度に近づいています。
コマンドラインオプションは GNU gzip のオプションに意図的に似せていますが、同じではありません。
bzip2 は、 コマンドラインフラグとファイル名のリストを受け取ります。 各ファイルは、"original_name.bz2" という名前の圧縮されたファイルに置き換えられます。 各圧縮ファイルの修正日、アクセス権、 (設定可能な場合の) 所有者は、 元のファイルと同じになります。 これにより、伸長時に属性が正しく復元されます。 ファイル名の操作は、 元のファイル名、アクセス権、所有者を保存する仕組みがファイルシステムになかったり、 MS-DOS のように深刻なファイル名の長さ制限があるために、 とても面倒です。
bzip2 と bunzip2 はデフォルトでは既存のファイルを上書きしません。 上書きしたい場合は -f フラグを指定してください。
ファイル名が指定されない場合、 bzip2 は標準入力を圧縮して標準出力に書き出します。 この場合、 bzip2 は圧縮された出力を端末には書き出しません。 なぜなら、この出力は全く分かりにくくて、無駄なものだからです。
bunzip2 (または bzip2 -d) は、指定された全てのファイルを伸長します。 bzip2 で圧縮されていないファイルは検知され、無視されます。 さらに警告が出力されます。 bzip2 は、以下のようにして圧縮ファイルの名前から伸長後のファイル名を推測します。
filename.bz2 は filename
になります。
filename.bz は filename
になります。
filename.tbz2 は filename.tar
になります。
filename.tbz は filename.tar
になります。
anyothername は anyothername.out
になります。
ファイル名が .bz2, .bz, .tbz2, .tbz のような認識される拡張子のいずれかで終っていない場合、 bzip2 は元のファイル名が推測できないという警告を出し、 .out を付加した名前を元のファイル名として使用します。
圧縮の場合と同様に、 ファイル名が指定されない場合は、 標準入力を伸長して標準出力に書き出します。
bunzip2 は 2 つ以上の圧縮ファイルを連結したファイルでも正しく伸長します。 伸長して得られるファイルは、圧縮前のファイルを連結したものになります。 連結した圧縮ファイルの完全性テスト (-t) もサポートされています。
-c フラグを指定することにより、 圧縮または伸長されたファイルを標準出力に書き出すこともできます。 このフラグを指定して、複数のファイルを圧縮または伸長することもできます。 結果の出力は標準出力に順番に書き出されます。 この方式による複数ファイルの圧縮では、 複数圧縮ファイル表現を含むストリームが生成されます。 このようなストリームは、 バージョン 0.9.0 以降の bzip2 でしか正しく伸長できません。 これより前のバージョンの bzip2 ではストリーム中の最初のファイルを伸長した後に停止します。
bzcat (または bzip2 -dc) は指定した全てのファイルを伸長し、標準出力に書き出します。
bzip2 は環境変数 BZIP2, BZIP からこの順番で引数を読み込み、 コマンドラインから読み込まれた引数よりも先に処理します。 これはデフォルトの引数を与える便利な方法です。
圧縮後のファイルが元のファイルより少し大きくなる場合であっても、 圧縮は常に行われます。 100 バイトより小さいぐらいのファイルは、圧縮によって大きくなる傾向があります。 なぜなら、この圧縮メカニズムが 50 バイトの固定サイズのオーバーヘッドを持つからです。 (大部分のファイル圧縮法による出力を含め) ランダムなデータは、 1 バイト当たり約 8.05 ビットで符号化され、約 0.5% 大きくなります。
データ保護のための自己チェックとして、 bzip2 は 32 ビット CRC を使って伸長されたファイルが元のファイルと同一であることを保証します。 これにより、圧縮データの破損や未知の bzip2 のバグ (めったにないことを期待する) からデータを保護できます。 データの破損が検知されない確率は非常に少なく、 各ファイル処理につき 40 億回に 1 回程度です。 しかし、このチェックは伸長時にしか行われないので、 何かおかしい点があることを知らせるだけである点に注意してください。 オリジナルの圧縮されていないデータを復元する助けにはなりません。 bzip2recover を使って、破損したファイルからのデータの復元を試すことができます。
返り値: 正常終了の場合、0 が返されます。 実行環境の問題 (ファイルがない、 不正なフラグ、 I/O エラーなど) がある場合、1 が返されます。 破損した圧縮ファイルの場合、2 が返されます。 bzip2 にパニックを引き起こす内部整合性エラー (バグなど) の場合、3 が返されます。
通常 bzip2 は正しいマジックヘッダーバイトを持たないファイルを伸長しません。 ただし (-f オプションで) 強制すれば、これらのファイルも修正せずに通過させます。 これは GNU gzip の動作と同じです。
圧縮の場合、-s フラグを使うと 200kB のブロックサイズが選択されます。 メモリ使用量はこれと同じくらいになりますが、圧縮率が犠牲になります。 つまり、計算機にメモリが少ない (8 MB 以下) 場合は、 全てのファイルについて -s フラグを使ってください。 以下の「メモリ管理」セクションを参照してください。
bzip2 はブロック毎に大きなファイルを圧縮します。 ブロックサイズは、最終的な圧縮率と圧縮・伸長に必要なメモリ使用量の両方に影響を及ぼします。 フラグ -1 から -9 は、それぞれブロックサイズ 100,000 バイトから (デフォルトの) 900,000 バイトを指定します。 伸長時には、圧縮に使われたブロックサイズが圧縮ファイルのヘッダから読み込まれ、 bunzip2 はファイルを伸長するのにちょうど必要なメモリを確保します。 ブロックサイズは圧縮ファイルに格納されているので、 伸長時にはフラグ -1 から -9 は意味を持たず無視されます。
圧縮・伸縮に必要なメモリ使用量 (バイト単位) は、 以下のように推測できます:
圧縮: 400k + ( 8 x
ブロックサイズ )
伸長: 100k + ( 4 x
ブロックサイズ ),
または
100k + ( 2.5 x ブロックサイズ )
ブロックサイズを大きくした場合に得られる効果は、 ブロックサイズが大きくなるにつれて急激に減少していきます。 大部分の圧縮は、最初の 200kB から 300kB のブロックサイズで作られます。 bzip2 をメモリの少ない計算機で使う場合は、 このことを覚えておく価値があります。 また、伸長に必要なメモリは、 圧縮時のブロックサイズの選択で決まる点を知っておくことも重要です。
デフォルトの 900kB ブロックサイズで圧縮されたファイルの場合、 bunzip2 は伸長時に約 3700kB のメモリを必要とします。 4MB のメモリの計算機でどんなファイルでも伸長できるようにするため、 bunzip2 には、このメモリ量の約半分、約 2300kB を使って伸長を行うオプションがあります。 伸長速度も半分になるので、このオプションは必要な場合にのみ使うべきです。 関連するフラグとして -s があります。
一般的には、メモリの制限が許す限り一番大きなブロックサイズを使ってください。 こうすることで圧縮率が最も良くなります。 圧縮・伸長の速度は事実上ブロックサイズに影響されません。
単一ブロックに収まるようなファイルに関しては、重要な点がもう一つあります。 入手するほとんどのファイルは、 大きいブロックサイズを使っています。 このファイルのサイズはブロックサイズより小さいので、 実際のメモリ使用量はファイルサイズに比例します。 例えば、20,000 バイト (20kB) のファイルを -9 フラグで圧縮する場合、 7600kB のメモリが確保されますが、400k + 20000 * 8 = 560kB しか使用しません。 同様に、伸長時には 3700kB が確保されますが、 100k + 20000 * 4 = 180 kB しか使用しません。
様々なブロックサイズに対しての最大メモリ使用量をまとめたテーブルを以下に示します。 カルガリー大学のテキスト圧縮コーパス (14 個のファイル、合計 3,141,622 バイト) を圧縮した合計サイズも記載しています。 この合計サイズの列を見ると、ブロックサイズによって圧縮がどのように変わるかを知ることができます。 この数字は、大きなファイルに対して大きなブロックサイズを使うことの利点を、 控え目にしか示していません。 なぜなら、このコーパスは小さめのファイルが多いからです。
圧縮時の 伸長時の -s
伸長時の コーパスの
フラグ 使用量 使用量
使用量 サイズ
-1 1200k 500k 350k 914704
-2 2000k 900k 600k 877703
-3 2800k 1300k 850k 860338
-4 3600k 1700k 1100k 846899
-5 4400k 2100k 1350k 845160
-6 5200k 2500k 1600k 838626
-7 6100k 2900k 1850k 834096
-8 6800k 3300k 2100k 828642
-9 7600k 3700k 2350k 828642
bzip2 は、通常 900kB のブロックでファイルを圧縮します。 各ブロックは独立に操作されます。 メディアのエラーや転送エラーにより、 複数ブロックからなる .bz2 ファイルが破損しても、 ファイルの破損していないブロックからデータを復元できる可能性があります。
各ブロックの圧縮された表現は、48 ビットのパターンで区切られます。 このパターンにより、妥当な確実性でブロック境界を見つけることができます。 各ブロックにはそれぞれの 32 ビット CRC があるので、 破損したブロックは破損していないものと区別できます。
bzip2recover は簡単なプログラムで、.bz2 ファイルのブロックを探索し、 各ブロックをそれぞれ .bz2 ファイルとして書き出します。 ユーザーは、 得られたファイルの完全性を bzip2 -t を使ってテストし、 破損していないファイルを伸長できます。
bzip2recover は、破損したファイルの名前を唯一の引数として受け取り、 "rec00001file.bz2", "rec00002file.bz2", ..., という、抽出されたブロックが入ったファイルをたくさん書き出します。 出力ファイルの名前は、 その後の処理でワイルドカードが使えるように設計されています -- 例えば、 "bzip2 -dc rec*file.bz2 > recovered_data" -- とすれば、ファイルを正しい順番で処理することができます。
bzip2recover が使われるのは、大きな .bz2 ファイルに対してがほとんどです。 大きな .bz2 ファイルにはブロックが多く含まれているからです。 1 ブロックで構成されるファイルが破損した場合に使っても明らかに無駄です。 破損したブロックは復元できないからです。 メディアエラーや転送エラーによる潜在的なデータ損失を少なくしたいなら、 小さいブロックサイズで圧縮することを考えた方が良いでしょう。
圧縮のソートフェーズでは、ファイル内の同一の文字列を集めます。 そのため、"aabaabaabaab ..." のように同じシンボルが (数百回) 長く繰り返されているファイルは、 通常のものより圧縮が遅くなります。 バージョン 0.9.5 以降では、 それ以前のバージョンに比べると、この点がかなり良くなっています。 圧縮時間の最も悪い場合と平均の場合の比率は、10:1 の範囲です。 以前のバージョンでは、この比率は 100:1 でした。 もし見てみたいなら、-vvvv オプションを使って、 詳細な圧縮過程の進行を見ることができます。
伸長速度は、この現象に影響されません。
bzip2 は通常、操作のために数メガバイトのメモリを確保し、 確保されたメモリ全体にわたってかなりランダムなアクセスで変更を行います。 これは、「圧縮・伸長の両方の性能は、 キャッシュミスが起こった場合に計算機が対応する速度に大きく依存する」 ということを意味します。 そのため、キャッシュミスの割合を減らすためのちょっとしたコードの変更が、 非常に大きな性能の向上をもたらしたのを見たことがあります。 bzip2 は、非常に大きなキャッシュを持った計算機で、 最も良い性能を発揮すると考えられます。
I/O エラーのメッセージは、それほど役立たちません。 bzip2 は、できるだけ I/O エラーを検知してきれいに終了しようとします。 しかし、何が問題なのかの詳細は、時としてかなり誤解を招きやすいものになることもあります。
この man ページは、バージョン 1.0.8 の bzip2 について述べています。 このバージョンで生成された圧縮データは、 以前のパブリックリリースであるバージョン 0.1pl2, 0.9.0, 0.9.5, 1.0.0, 1.0.1, 1.0.2 とそれ以降に対して、 前方互換性と後方互換性があります。 ただし、次のような例外があります: 0.9.0 以降では複数のファイルを連結して圧縮したファイルを伸長できますが、 0.1pl2 では伸長できず、ストリームの最初にあるファイルを伸長した後に停止します。
1.0.2 より前の bzip2recover は、圧縮ファイルでのビット位置を表現するために、 32 ビット整数を使っていました。そのため 512MB 以上の圧縮ファイルを扱えませんでした。 バージョン 1.0.2 以降では、 64 ビット整数をサポート可能なプラットフォーム (GNU がサポートするターゲットと Windows) では、 64 ビット整数を使用します。 この制限の有無について bzip2recover がビルドされているかを確認するには、 bzip2recover を引数なしで実行してください。 少なくとも MaybeUInt64 を符号なし 64 ビット整数型に設定して再コンパイルすることにより、 制限のないバージョンをビルドすることができます。
Julian Seward, jseward@acm.org.
https://sourceware.org/bzip2/
bzip2 に含まれているアイデアは、(少なくとも) 以下の方々のおかげです: Michael Burrows, David Wheeler (ブロックソート変換), David Wheeler (Huffman 符号化についても), Peter Fenwick (オリジナルの bzip における構造符号化モデル、そして多くの改良), Alistair Moffat, Radford Neal, Ian Witten (オリジナルの bzip における算術符号化)。 私は、彼らの助け、サポート、助言に対して感謝しています。 ドキュメントのソースの場所については、ソース配布の中のマニュアルを参照してください。 Christian von Roques は、圧縮速度の向上のために、 より速いソートアルゴリズムを探すことを勧めてくれました。 Bela Lubkin は、圧縮速度が最も遅い場合の改良を勧めてくれました。 Donna Robinson はドキュメントの XML 化をしてくれました。 bz* スクリプトは GNU gzip のものに由来しています。 多くの方々がパッチを送り、移植性の問題について助けてくれました。 また、計算機を貸してくれたり、アドバイスをしてくれた人達もいました。 これらは全て助けになりました。