3: 2004-10-20 (水) 02:16:49 |
現: 2024-01-08 (月) 12:59:04 k-tan |
- | * sarアーカイブ形式の紹介 | + | * sarアーカイブ形式の紹介 [#v37acd4f] |
| -(by [[K]], 2004.10.19) | | -(by [[K]], 2004.10.19) |
| | | |
| -(註) | | -(註) |
| --このページは、OSASKなどをsar形式で公開するときに「sar形式についてはこちら」でリンクされる予定のページです(OSASK ver.4.7からはOSASKの一般公開版は、sarとlzhの両方で公開されます)。 | | --このページは、OSASKなどをsar形式で公開するときに「sar形式についてはこちら」でリンクされる予定のページです(OSASK ver.4.7からはOSASKの一般公開版は、sarとlzhの両方で公開されます)。 |
- | --このページは肝心のsartol0hができてから書くべきなのですが、思いついた文面をどこかに書いておかないと忘れてしまいそうなので、ややフライングして書いています(sartol0hはtek5にも対応したsartolです)。 | + | --他のかたでも、sarで公開したものがあって、でもsarについて説明するのが面倒だったりした場合は、このページへのリンクをしていただいて構いません。 |
- | --この註は、OSASK ver.4.7の公開と同時にコメントアウトします。 | + | //--このページは肝心のsartol0hができてから書くべきなのですが、思いついた文面をどこかに書いておかないと忘れてしまいそうなので、ややフライングして書いています(sartol0hはtek5にも対応したsartolです)。 |
| + | //--この註は、OSASK ver.4.7の公開と同時にコメントアウトします。 |
| | | |
| -sar形式は、lzhやzipやtar.gzなどのような、書庫形式の一つです。 | | -sar形式は、lzhやzipやtar.gzなどのような、書庫形式の一つです。 |
| -展開には「えんやこらsar」を使います(Windowsの場合)。 | | -展開には「えんやこらsar」を使います(Windowsの場合)。 |
- | --えんやこらsar ver.1.4 のダウンロード:(ここにダウンロードURLを書く予定) | + | //--えんやこらsar ver.0.06 のダウンロード: http://koya.marokun.net/soft/soft.php?enyasar |
| + | --えんやこらsar ver.0.06 のダウンロード: http://www.vector.co.jp/soft/win95/util/se355121.html |
| --使い方: | | --使い方: |
| ---インストールしたらenyasar.exeができますので、解凍したいsarアーカイブをドラック&ドロップしてください。 | | ---インストールしたらenyasar.exeができますので、解凍したいsarアーカイブをドラック&ドロップしてください。 |
| ---展開に関する設定をしたいとき(展開場所など)は、enyasar.exeをダブルクリックで起動してください。設定画面が出ます。 | | ---展開に関する設定をしたいとき(展開場所など)は、enyasar.exeをダブルクリックで起動してください。設定画面が出ます。 |
| ---拡張子sarにenyasar.exeを関連付けさせる場合は次のようにします。まずいきなり適当なsarアーカイブをダブルクリックして「ファイルを開くアプリケーションの選択」ウィンドウを出させて、「その他」ボタンを押してenyasar.exeを選び、「これらのファイルを開くときは、いつもこのアプリケーションを使う」にチェックをつけたままでOKを押してください。これで以降はsarアーカイブをダブルクリックするだけで展開されます。 | | ---拡張子sarにenyasar.exeを関連付けさせる場合は次のようにします。まずいきなり適当なsarアーカイブをダブルクリックして「ファイルを開くアプリケーションの選択」ウィンドウを出させて、「その他」ボタンを押してenyasar.exeを選び、「これらのファイルを開くときは、いつもこのアプリケーションを使う」にチェックをつけたままでOKを押してください。これで以降はsarアーカイブをダブルクリックするだけで展開されます。 |
- | -UNIX系OSユーザのための展開ツールもあります。→(I.Tak.さんのツールへリンクする予定) | + | -UNIX系OSユーザのための展開ツールもあります。 |
| + | --http://user.ecc.u-tokyo.ac.jp/~t40370/osask/index.html のページの「sartol0i for Linux」(2004.11.11)を使います。(リンク切れ) |
| + | ---現在このパッケージを再配布しています。 → http://osask.jp/files/ の一番下の、 itak_sartol0i-linux.tar.gz です。 |
| + | --必要なのはこの中のsartolとsarshです。両方をパスの通ったところに置いておき、 |
| + | $ sarsh xf a.sar -C destdir |
| + | --とすると、destdirにa.sarの内容が展開されます。 |
| | | |
- | *** なぜsar形式で配布するのか | + | *** なぜsar形式で配布するのか [#fcaa08ac] |
| -多くの人は、こんな面倒な形式で配布などせずに、すなおにzipやlzhで配布すればいいじゃないかと思うでしょう。これには理由があります。 | | -多くの人は、こんな面倒な形式で配布などせずに、すなおにzipやlzhで配布すればいいじゃないかと思うでしょう。これには理由があります。 |
| -sar形式は多くの場合でtek圧縮と組み合わされて配布されますが、これによりアーカイブがとても小さくなります。また展開も高速に行われます。 | | -sar形式は多くの場合でtek圧縮と組み合わされて配布されますが、これによりアーカイブがとても小さくなります。また展開も高速に行われます。 |
| -もともとsarやtekというフォーマットを作ることになったのは、[[K]]がOSASKやKHBIOSで標準的にサポートする圧縮形式を決めるにあたって、既存のアーカイブ形式に強い不満を感じたからです。これらは圧縮率が良くなかったり、どんなにプログラムで工夫しても展開を速くできないようになっていたりしました(これは根底の圧縮アルゴリズムに原因があるのでどうしようもない)。 | | -もともとsarやtekというフォーマットを作ることになったのは、[[K]]がOSASKやKHBIOSで標準的にサポートする圧縮形式を決めるにあたって、既存のアーカイブ形式に強い不満を感じたからです。これらは圧縮率が良くなかったり、どんなにプログラムで工夫しても展開を速くできないようになっていたりしました(これは根底の圧縮アルゴリズムに原因があるのでどうしようもない)。 |
| -常識的な議論として、圧縮率が高い形式は展開時間が長くかかります。逆に展開時間が短いものは、圧縮率があまりよくありません。それは圧縮率を上げるために高度なアルゴリズムを使っているからなので、傾向としては当然のことです。 | | -常識的な議論として、圧縮率が高い形式は展開時間が長くかかります。逆に展開時間が短いものは、圧縮率があまりよくありません。それは圧縮率を上げるために高度なアルゴリズムを使っているからなので、傾向としては当然のことです。 |
- | -しかし同じくらいの圧縮率なのに展開が他のものよりも速い形式というのがあります。そういう形式こそ、真に価値ある形式だと[[K]]は考えます。もちろん展開速度というものは展開プログラムをうまく作るかどうかで大きく左右されるものですが、どんなにうまく作っても圧縮形式(圧縮アルゴリズム)による限界があるのです。その限界速度が速い形式こそ、圧縮形式としては良い形式ではないでしょうか。 | + | -しかし同じくらいの圧縮率なのに展開が他のものよりも速い形式というのがあります。もしくは同じくらいの展開速度なのに圧縮率が他よりも良い形式です。そういう形式こそ、真に価値ある形式だと[[K]]は考えます。もちろん展開速度というものは展開プログラムをうまく作るかどうかで大きく左右されるものですが、どんなにうまく作っても圧縮形式(圧縮アルゴリズム)による限界があるのです。圧縮率が同程度なら、その限界速度が速い形式こそ、圧縮形式としては良い形式ではないでしょうか。 |
| + | -他の観点もあります。それは展開作業のためにたくさんのメモリを要しないことです。実用的な展開速度のためには大量の作業用メモリが必要、という形式がありますが、そういうものはメモリが少ない環境での展開が絶望的になります(メモリが少ない環境というのは、たいてい利用可能なCPUの処理能力もそれほど大きくはないので、展開速度が落ちるのは致命的)。自分だけが自分のPCで使う場合は問題がないのですが、不特定多数の人にファイルを渡す場合や将来携帯用端末で使うときなどにはこれが問題になり、結果的に負の資産になる可能性もあります。 |
| -もちろん、多少のエラーを自動的に修復できることや、暗号化機能を持ったもの、アーカイブファイル分割機能の有無、OSでの標準サポート、それよりなにより使いやすいツール群が揃っていることなどこそ、使いやすいアーカイブ形式に求められる条件だという観点もあります。それはそのとおりです。エラー修復や暗号化や分割機能は、sar形式でも当初より対応を検討していて、かつそのための拡張に速やかに対応できるように準備をしてあります。OSでのサポートやツールの充実は、ユーザが増えれば自然に充実していくことでしょう。 | | -もちろん、多少のエラーを自動的に修復できることや、暗号化機能を持ったもの、アーカイブファイル分割機能の有無、OSでの標準サポート、それよりなにより使いやすいツール群が揃っていることなどこそ、使いやすいアーカイブ形式に求められる条件だという観点もあります。それはそのとおりです。エラー修復や暗号化や分割機能は、sar形式でも当初より対応を検討していて、かつそのための拡張に速やかに対応できるように準備をしてあります。OSでのサポートやツールの充実は、ユーザが増えれば自然に充実していくことでしょう。 |
| -現在では実に多くのアーカイブ形式が開発されています。しかし圧縮率の割には展開速度が遅いような、そんな形式でCD-RやDVDにバックアップとして残していくべきでしょうか。今までのぶんはしょうがないと思いますが、これからはもっと積極的にどの形式が良いかを考えて、もし使いにくいという問題があれば、使いやすくなるようにツールを充実させていくべきだと[[K]]は思います。その意思の反映として、sar形式での配布を行っているというわけです。 | | -現在では実に多くのアーカイブ形式が開発されています。しかし圧縮率の割には展開速度が遅いような、そんな形式でCD-RやDVDにバックアップとして残していくべきでしょうか。今までのぶんはしょうがないと思いますが、これからはもっと積極的にどの形式が良いかを考えて、もし使いにくいという問題があれば、使いやすくなるようにツールを充実させていくべきだと[[K]]は思います。その意思の反映として、sar形式での配布を行っているというわけです。 |
| -「これからはハードディスクがもっと大容量化して、光ディスクもどんどん大容量化して、ネットワークだって途方もなく速くなるはずだから、圧縮なんて不要だ」という人は、是非無圧縮で暮らしてください。でも[[K]]はこの意見にも賛成ではないので、無圧縮形式での配布は予定していません。配布されているsarアーカイブを展開して保存したのちに、アーカイブを捨てればいいと思います。 | | -「これからはハードディスクがもっと大容量化して、光ディスクもどんどん大容量化して、ネットワークだって途方もなく速くなるはずだから、圧縮なんて不要だ」という人は、是非無圧縮で暮らしてください。でも[[K]]はこの意見にも賛成ではないので、無圧縮形式での配布は予定していません。配布されているsarアーカイブを展開して保存したのちに、アーカイブを捨てればいいと思います。 |
| | | |
- | *** ベンチマーク | + | *** ベンチマーク [#q29d7fe8] |
| -いくつかのアーカイブ形式について、圧縮能力の例を示します。 | | -いくつかのアーカイブ形式について、圧縮能力の例を示します。 |
- | | |lzh|zip|tar.gz|tar.bz2|dgc|7z|''sar''|paq| | + | | |lzh|zip|tar.gz|tar.bz2|yz2|cab|rar|dgc|LZMA|''sar''|PPMd|paq| |
- | |osat45i|RIGHT:532093|RIGHT:524182|RIGHT:522146|RIGHT:546988|RIGHT:529568|RIGHT:503290|RIGHT:''498125''|RIGHT:465714| | + | |osat45i|RIGHT:532093|RIGHT:524182|RIGHT:522146|RIGHT:546988|RIGHT:549599|RIGHT:516276|RIGHT:519615|RIGHT:529568|RIGHT:503290|RIGHT:''498125''|RIGHT:527052|RIGHT:465714| |
- | |sartol0g|RIGHT:46686|RIGHT:46172|RIGHT:44175|RIGHT:43202|RIGHT:41648|RIGHT:39861|RIGHT:''39017''|RIGHT:32802| | + | |sartol0g|RIGHT:46686|RIGHT:46172|RIGHT:44175|RIGHT:43202|RIGHT:46315|RIGHT:41508|RIGHT:40115|RIGHT:41648|RIGHT:39861|RIGHT:''39014''|RIGHT:37404|RIGHT:32802| |
- | |make46|RIGHT:438752|RIGHT:413707|RIGHT:398232|RIGHT:302464|RIGHT:248784|RIGHT:241575|RIGHT:''238249''|RIGHT:168127| | + | |make46|RIGHT:438752|RIGHT:413707|RIGHT:398232|RIGHT:302464|RIGHT:289643|RIGHT:263085|RIGHT:260959|RIGHT:248784|RIGHT:241575|RIGHT:''238116''|RIGHT:216140|RIGHT:168127| |
| --単位はバイトです。 | | --単位はバイトです。 |
| + | --http://arc.osask.jp/osask/pcat/osat45i.lzh |
| + | --http://arc.osask.jp/osask_src/make46.lzh |
| -以下は上記の結果について、paqの結果を100として相対指標化したものです。こちらのほうが比較がしやすいです。 | | -以下は上記の結果について、paqの結果を100として相対指標化したものです。こちらのほうが比較がしやすいです。 |
- | | |lzh|zip|tar.gz|tar.bz2|dgc|7z|''sar''|paq| | + | | |lzh|zip|tar.gz|tar.bz2|yz2|cab|rar|dgc|LZMA|''sar''|PPMd|paq| |
- | |osat45i|114.3|112.6|112.1|117.5|113.7|108.1|''107.0''|100.0| | + | |osat45i|114.3|112.6|112.1|117.5|118.0|110.9|111.6|113.7|108.1|''107.0''|113.2|100.0| |
- | |sartol0g|142.3|140.8|134.7|131.7|127.0|121.5|''118.9''|100.0| | + | |sartol0g|142.3|140.8|134.7|131.7|141.2|126.5|122.3|127.0|121.5|''118.9''|114.0|100.0| |
- | |make46|261.0|246.1|236.9|179.9|148.0|143.7|''141.7''|100.0| | + | |make46|261.0|246.1|236.9|179.9|172.3|156.5|155.2|148.0|143.7|''141.6''|128.6|100.0| |
| + | |展開作業域|8KB未満|8KB未満|8KB未満|2.3MB|数MB以上|16KB未満|不明|不明|28KB|''32KB''|194MB|120MB| |
| --sar形式ではtek5圧縮を使っています。 | | --sar形式ではtek5圧縮を使っています。 |
| --lzhはlh7形式です。 | | --lzhはlh7形式です。 |
| + | --yz2は最終版とみられるalpha6です。 |
| --dgcはDGCA 1.06です。 | | --dgcはDGCA 1.06です。 |
- | --7zはデフォルトのLZMA形式をそのまま使っています。 | + | --LZMAは7zのデフォルト形式です。 |
| + | --PPMdは7zのものを使っています。 |
| --paqはPAQAR v1.3でオプション-5を使っています(今はもっとバージョンが進んでいるようです)。 | | --paqはPAQAR v1.3でオプション-5を使っています(今はもっとバージョンが進んでいるようです)。 |
- | --PAQAR以外は展開が速すぎて時間を測れませんでした。 | + | //--PAQAR以外は展開が速すぎて時間を測れませんでした。 |
| //--ブロックソート系(bz2やdgc)は圧縮対象によって得手不得手がかなりあるのですが、どうやらこれらの圧縮対象は不得手のようです。 | | //--ブロックソート系(bz2やdgc)は圧縮対象によって得手不得手がかなりあるのですが、どうやらこれらの圧縮対象は不得手のようです。 |
| + | --LZのスライド辞書用のための領域は展開結果と兼ねられるので、展開作業域にはカウントしていません(出力バッファを上回る遠方の辞書参照をディスクアクセスなどで参照しても、極端な速度低下がないと思われるため)。 |
| + | --lzh, zip, gzの展開作業域は8KB未満としていますが、詳細はよく分かりません(静的ハフマンのためにどのくらいが必要なのか詳細不明)。たぶんもっと小さいです。 |
| + | //--bz2のブロックサイズから作業域の大きさを割り出す方法がわかりません。900KBを4倍すればいいのかな?...分かりました:100KB + (ブロックサイズ x 2.5) |
| + | --dgcの展開作業域は不明ですが、おそらくブロックソート系なので、bz2と同程度はありそうな気がします。 |
| + | --PPMdは非常に得意不得意があるアルゴリズムで、ここでもその傾向がよく出ています(テキストに強いといわれている)。その能力を発揮させるには展開作業領域がたくさん必要になりますが、圧縮率を犠牲にすれば減らすこともできます。たとえばmake46でsar+tek5より若干劣る圧縮率にしてもいいのなら、26MBに減らせます。 |
| + | --個人的な見解ですが、どんな環境ででも展開できるべきだという観点から、PC向け以外にも配慮した汎用的で理想的な圧縮形式としては、作業領域は1MB未満、できれば64KB未満が好ましいと、[[K]]は考えております。 |
| + | --yz2は圧縮・展開速度が速いことで有名な形式です。圧縮速度は本当に速いです。しかし展開速度はtek5よりも遅かったです(C版の展開ルーチンと比べてやっとおなじくらい)。 |
| + | ---参考:http://www.01-tec.com/yz2/c_maga_yz2.html |
| + | ---展開作業領域は数MB以上だそうですが、詳細はわかりません。 |
| + | --rarはWinRAR 3.30で、最高圧縮&ソリッドでやりました。リカバリレコードなどのサイズ増加要因は全てオフにしてあります。 |
| + | --cabはLZX:21形式です。展開作業領域の詳細は調べていませんが、zip等よりもハフマンを多用するので少し多めに見積もりました。 |
| + | |
| + | * こめんと欄 [#ka3435dd] |
| + | - まずは、はじめまして。でもって本題ですが上記の「えんやこらsar」がリンク切れのようです。確認をお願い致します。 -- ''Babel'' &new{2008-03-20 (木) 20:06:50}; |
| + | - 確かに切れていたのでリンクを直しました。 -- [[K]] &new{2008-03-20 (木) 22:51:35}; |
| + | - 有難うございます。お手数をおかけしました。 -- ''Babel'' &new{2008-03-21 (金) 21:32:35}; |
| | | |
- | * こめんと欄 | |
| #comment | | #comment |