ページへ戻る
印刷
tek1/comp
をテンプレートにして作成 ::
OSASK計画
osaskwiki
:tek1/comp をテンプレートにして作成
開始行:
TITLE:x
* [[tek1]]の続き
-(by [[K]], 2004.07.05)
//-''遅くとも7/6の夜までには詳細をOSASK-MLで説明しますの...
-tek1～tek5の圧縮展開比較表
--MLに書いたら読みにくくなるのでデータだけこっちでまとめ
//--''たくさんの形式があってよく分からない人へ：''tek2～t...
//---もし現状を少しでも知りたいということであれば、とりあ...
*** 比較表
-サイズ （num128以外では、tek1～2とstk1～2はほぼ同じなの...
||無圧縮|tek0|tek1|tek2|stk5|tek5|lh7|gzip|bzip2|LZMA|LZO...
|~hellok1|RIGHT:272|RIGHT:128|RIGHT:144|RIGHT:135|RIGHT:1...
|~zero4k|RIGHT:4096|RIGHT:27|RIGHT:25|RIGHT:25|RIGHT:28|R...
|~zero64k|RIGHT:65536|RIGHT:28|RIGHT:27|RIGHT:29|RIGHT:29...
|~bim2binc|RIGHT:53792|RIGHT:15019|RIGHT:17166|RIGHT:1632...
|~kdun00b|RIGHT:655360|RIGHT:46246|RIGHT:49855|RIGHT:4679...
|~osaskgo|RIGHT:1973741|RIGHT:1149662|RIGHT:1274931|RIGHT...
|~osask.bmp|RIGHT:393334|RIGHT:6389|RIGHT:7740|RIGHT:7135...
|~num128|RIGHT:131072|RIGHT:106953|||RIGHT:66036||RIGHT:1...
---細かい圧縮条件をこちらにまとめました。→[[tek1/comp/opt]]
-規格化指数
||無圧縮|tek0|stk1|tek1|stk2|tek2|stk5|tek5|lh7|gzip|bzip...
|hellok1|RIGHT:234.5|RIGHT:110.3|RIGHT:124.1|RIGHT:124.1|...
|zero4k|RIGHT:16384|RIGHT:108.0|RIGHT:100.0|RIGHT:100.0|R...
|zero64k|RIGHT:242726|RIGHT:103.7|RIGHT:100.0|RIGHT:100.0...
|bim2binc|RIGHT:583.7|RIGHT:163.0|RIGHT:186.3|RIGHT:186.3...
|kdun00b|RIGHT:2248|RIGHT:158.6|RIGHT:171.0|RIGHT:171.0|R...
|osaskgo|RIGHT:263.7|RIGHT:153.6|RIGHT:170.3|RIGHT:170.3|...
|osask.bmp|RIGHT:16193|RIGHT:263.0|RIGHT:318.6|RIGHT:318....
|num128|RIGHT:327680|RIGHT:267383|||||||RIGHT:296370|RIGH...
|(max)||RIGHT:263.0|RIGHT:318.6|RIGHT:318.6|RIGHT:293.7|R...
--(max)は、bim2binc、kdun00b、osaskgo、osask.bmpのみ対象...
--(max)で判断すると安定して圧縮率のよいものは以下の順にな...
|PAQ|tek5|stk5|LZMA|rk|bzip2|gzip|tek0|lh7|tek2|stk2|tek1...
|100.0|151.0|158.9|174.4|178.8|202.0|234.1|263.0|266.2|29...
--↑これは完全にosask.bmpの結果で決まっているともいえるの...
---しかし、「汎用圧縮符号」としては弱点があるというのは好...
|PAQ|rk|tek5|LZMA|stk5|gzip|lh7|bzip2|tek0|tek2|stk2|LZO|...
|100.0|126.0|136.5|137.9|137.9|146.1|156.1|162.2|163.0|17...
---全体的にtek系が少し落ちて、rkがあがってbzip2が落ちる程...
//---bzip2が落ちてlh7が少し回復する以外は、順位そのものの...
-tar+stk5（.tar.tk/.ttk）、sar(sar+stk5)
||tar|ttk|sar|lh7|tgz|tbz|tar.lzma|
|bim2bi4j|RIGHT:266725|RIGHT:65255||RIGHT:902616|RIGHT:84...
|osat45i|RIGHT:759808|RIGHT:503442|RIGHT:502423|RIGHT:532...
|[[cantrbry:http://corpus.canterbury.ac.nz/descriptions/]...
--ディスクイメージへの強さが、tarへの強さにつながったのか...
--ロングファイルネーム対応のSF16ができるまで.img.tk(.itk)...
--cantrbryはよく分からないけど有名な圧縮対象のようです。
---http://www.emit.jp/gca/cmptest.html
---http://compression.ca/act-canterbury.html
-展開速度
--参考：EPIA-VE5000でのosaskgoの展開速度
|meth.|deco.time|t-idx|size|vs PAQ|score|score2|言語|備考|
|tek1|0.15[sec]|RIGHT:1.0|RIGHT:1274931|RIGHT:170.3|RIGHT...
|LZO|0.18[sec]|RIGHT:1.3|RIGHT:1177820|RIGHT:157.4|RIGHT:...
|tek2|0.18[sec]|RIGHT:1.3|RIGHT:1172344|RIGHT:156.6|RIGHT...
|lh7|1.04[sec]|RIGHT:9.9|RIGHT:1099064|RIGHT:146.8|RIGHT:...
|stk5|1.18[sec]|RIGHT:11.3|RIGHT:953743|RIGHT:127.4||RIGH...
|gzip|1.24[sec]|RIGHT:11.9|RIGHT:1087874|RIGHT:145.3|RIGH...
|stk5|1.39[sec]|RIGHT:13.4|RIGHT:942375|RIGHT:125.9||RIGH...
|tek0|1.39[sec]|RIGHT:13.4|RIGHT:1149662|RIGHT:153.6|RIGH...
|LZMA|1.42[sec]|RIGHT:13.7|RIGHT:953728|RIGHT:127.4|RIGHT...
|LZMA|1.66[sec]|RIGHT:16.1|RIGHT:942369|RIGHT:125.9|RIGHT...
|bzip2|2.52[sec]|RIGHT:24.7|RIGHT:1047411|RIGHT:139.9|RIG...
|GCA|4.91[sec]|RIGHT:48.6|RIGHT:1002311|RIGHT:133.9|RIGHT...
|PAQ|5000[sec]以上||RIGHT:748512|RIGHT:100.0|||?||
--いずれも圧縮データを読み込む時間がデコードタイムに加算...
---したがって、tek1やLZOは小さくない誤差を含んでいる可能...
---試しに1274931バイトのファイルリードだけやらせてみたら0...
--「言語」はこの展開速度の測定につかったデコードルーチン...
--たぶんLZOは既にアセンブラ化されていると思います（そうで...
--GCA、gzip、lh7に関しては展開ルーチンの記述言語は不明で...
--t-idx = (time - 0.05) x 10
--score = (t-idx) x (vs_PAQ - 100)
---なんとなく計算してみたくなったので（笑）。小さければ小...
--score2 = (t-idx) x (vs_PAQ / 100 - 1)^3
---こっちのほうがいいスケールなのかもしれない。^1や^2だと...
//---tek4が0.3くらいのバランス値でさらにt-idxの目標を5と...
-補足（履歴）
--2004.07.05 方針を変更してtek5を追加
--2004.07.07 比較基準にPAQを追加
--2004.07.08 dtk5s.c関係の情報を更新
--2004.07.10 osask.bmpの圧縮率を修正
--2004.07.11 stk5、gzip、LZMAの圧縮率を上げる方法がわ...
--2004.07.12 dtk5s.ask関係の情報を更新
--2004.07.13 stk5、LZMAの圧縮率を上げるモードの存在に...
--2004.07.19 ちょっとだけsarを追加
--2004.10.10 tek5を追加
*** 圧縮形式の説明
-無圧縮
-tek0
--引退間近の圧縮形式。今までごくろうさま。旧tek1～3の祖。
-tek1 --- 全てバイトストリーム、主なライバル：LZO
--LZOよりも速い展開速度の圧縮形式。圧縮率はやや劣る場合も...
-tek2 --- ほとんどバイトストリーム・一部ビットストリーム...
--tek1の7割くらいの展開速度の圧縮形式。圧縮率ではLZOをほ...
-tek3 --- ほとんどビットストリーム・一部バイトストリーム...
--tek2のさらに7割くらいの展開速度で、圧縮率を結構追求した...
-tek4 --- 全てビットストリーム、主なライバル：lh7、gzip、...
--tek3のさらに7割くらいの展開速度で、圧縮率をかなり追求し...
-tek5 --- もちろん全てビットストリーム・レンジコーダ使用
--LZMAを改良したもの
-stk1
--tek1でBS:0かつ補助バッファを使わないもの（subset-tek1）
-stk2
--tek2でBS:0かつ補助バッファを使わないもの（subset-tek2）
-stk5
--tek5でBS:0かつ補助バッファを使わないものでさらにレンジ...
-lh7
-gzip
-bzip2
-LZMA
-LZO
-rk
-PAQ
--PAQAR 1.3 -5
--http://cs.fit.edu/~mmahoney/compression/
--GPLで公開されている圧縮ソフト。驚異的な圧縮率。ただし圧...
-展開ルーチンのコンパクトさにこだわる人向けの情報
--stk1の展開ルーチンは100行（dtk1s.c）
--stk2の展開ルーチンは161行（dtk2s.c） --- サイズ優先で最...
--stk5の展開ルーチンは321行（dtk5s.c）
--tek5の展開ルーチンは528行（dtk5f.c）
--展開速度はフルセット版もサブセット版もほぼ同じ
---stk5は例外で、フルセット版よりも速い
--（参考）
---l2d3の展開ルーチンは107行（マルチスレッド非対応）
---tek0の展開ルーチンは191行（マルチスレッド非対応）
--C言語の行数で考えるのは、単にC言語がビットストリームを...
---なおこれでも、どちらかといえばASKA版はサイズよりも展開...
--stk1の展開ルーチンは270バイト（dtk1s.ask）
--stk2の展開ルーチンは531バイト（dtk2s.ask）
--stk5の展開ルーチンは1426バイト（dtk5s.ask）
* 過去ログ
-[[tek1/oldlog/000]]
-[[tek1/oldlog/001]]
* おまけ
-minna.sar
--とても強いtek5ですが、圧縮率で負けるときももちろんあり...
--http://www.emit.jp/dgca/cmptest.html
--のminna.dgcを展開して、sar+tek5してみました。結果は6025...
--bz2、gca、dgcというブロックソート系には圧縮率で負けてい...
||無圧縮|PAQ|PPMd|dgc|gca|bz2|sar+tek5|
|サイズ|365066|42366|51665|54080|55929|55933|60254|
|指数|861.7|100.0|121.9|127.6|132.0|132.0|142.2|
--なおこの手のデータにたいしては将来予定しているtek5のバ...
---どのくらい改善するのか実験してみました。一晩ででっちあ...
---このルーチンですと、bim2bincも12238(132.8)に改善します。
---いつか時間ができたらこれをもっとまともにして正式な拡張...
--ちなみにosask.bmpをDGCAにかけると5072バイトです（指数：...
* こめんと欄
-表のヘッダ行が見難いので、勝手ながら一部だけ編集してみま...
-格段に見やすくなりましたね。 -- ''uchan'' SIZE(10){2004-...
-たての配色は好きだけど、横の配色は罫線がみにくくてちょっ...
-ちょっ罫線を弄ってみますた。 -- ''hideyosi'' SIZE(10){20...
#comment
終了行:
TITLE:x
* [[tek1]]の続き
-(by [[K]], 2004.07.05)
//-''遅くとも7/6の夜までには詳細をOSASK-MLで説明しますの...
-tek1～tek5の圧縮展開比較表
--MLに書いたら読みにくくなるのでデータだけこっちでまとめ
//--''たくさんの形式があってよく分からない人へ：''tek2～t...
//---もし現状を少しでも知りたいということであれば、とりあ...
*** 比較表
-サイズ （num128以外では、tek1～2とstk1～2はほぼ同じなの...
||無圧縮|tek0|tek1|tek2|stk5|tek5|lh7|gzip|bzip2|LZMA|LZO...
|~hellok1|RIGHT:272|RIGHT:128|RIGHT:144|RIGHT:135|RIGHT:1...
|~zero4k|RIGHT:4096|RIGHT:27|RIGHT:25|RIGHT:25|RIGHT:28|R...
|~zero64k|RIGHT:65536|RIGHT:28|RIGHT:27|RIGHT:29|RIGHT:29...
|~bim2binc|RIGHT:53792|RIGHT:15019|RIGHT:17166|RIGHT:1632...
|~kdun00b|RIGHT:655360|RIGHT:46246|RIGHT:49855|RIGHT:4679...
|~osaskgo|RIGHT:1973741|RIGHT:1149662|RIGHT:1274931|RIGHT...
|~osask.bmp|RIGHT:393334|RIGHT:6389|RIGHT:7740|RIGHT:7135...
|~num128|RIGHT:131072|RIGHT:106953|||RIGHT:66036||RIGHT:1...
---細かい圧縮条件をこちらにまとめました。→[[tek1/comp/opt]]
-規格化指数
||無圧縮|tek0|stk1|tek1|stk2|tek2|stk5|tek5|lh7|gzip|bzip...
|hellok1|RIGHT:234.5|RIGHT:110.3|RIGHT:124.1|RIGHT:124.1|...
|zero4k|RIGHT:16384|RIGHT:108.0|RIGHT:100.0|RIGHT:100.0|R...
|zero64k|RIGHT:242726|RIGHT:103.7|RIGHT:100.0|RIGHT:100.0...
|bim2binc|RIGHT:583.7|RIGHT:163.0|RIGHT:186.3|RIGHT:186.3...
|kdun00b|RIGHT:2248|RIGHT:158.6|RIGHT:171.0|RIGHT:171.0|R...
|osaskgo|RIGHT:263.7|RIGHT:153.6|RIGHT:170.3|RIGHT:170.3|...
|osask.bmp|RIGHT:16193|RIGHT:263.0|RIGHT:318.6|RIGHT:318....
|num128|RIGHT:327680|RIGHT:267383|||||||RIGHT:296370|RIGH...
|(max)||RIGHT:263.0|RIGHT:318.6|RIGHT:318.6|RIGHT:293.7|R...
--(max)は、bim2binc、kdun00b、osaskgo、osask.bmpのみ対象...
--(max)で判断すると安定して圧縮率のよいものは以下の順にな...
|PAQ|tek5|stk5|LZMA|rk|bzip2|gzip|tek0|lh7|tek2|stk2|tek1...
|100.0|151.0|158.9|174.4|178.8|202.0|234.1|263.0|266.2|29...
--↑これは完全にosask.bmpの結果で決まっているともいえるの...
---しかし、「汎用圧縮符号」としては弱点があるというのは好...
|PAQ|rk|tek5|LZMA|stk5|gzip|lh7|bzip2|tek0|tek2|stk2|LZO|...
|100.0|126.0|136.5|137.9|137.9|146.1|156.1|162.2|163.0|17...
---全体的にtek系が少し落ちて、rkがあがってbzip2が落ちる程...
//---bzip2が落ちてlh7が少し回復する以外は、順位そのものの...
-tar+stk5（.tar.tk/.ttk）、sar(sar+stk5)
||tar|ttk|sar|lh7|tgz|tbz|tar.lzma|
|bim2bi4j|RIGHT:266725|RIGHT:65255||RIGHT:902616|RIGHT:84...
|osat45i|RIGHT:759808|RIGHT:503442|RIGHT:502423|RIGHT:532...
|[[cantrbry:http://corpus.canterbury.ac.nz/descriptions/]...
--ディスクイメージへの強さが、tarへの強さにつながったのか...
--ロングファイルネーム対応のSF16ができるまで.img.tk(.itk)...
--cantrbryはよく分からないけど有名な圧縮対象のようです。
---http://www.emit.jp/gca/cmptest.html
---http://compression.ca/act-canterbury.html
-展開速度
--参考：EPIA-VE5000でのosaskgoの展開速度
|meth.|deco.time|t-idx|size|vs PAQ|score|score2|言語|備考|
|tek1|0.15[sec]|RIGHT:1.0|RIGHT:1274931|RIGHT:170.3|RIGHT...
|LZO|0.18[sec]|RIGHT:1.3|RIGHT:1177820|RIGHT:157.4|RIGHT:...
|tek2|0.18[sec]|RIGHT:1.3|RIGHT:1172344|RIGHT:156.6|RIGHT...
|lh7|1.04[sec]|RIGHT:9.9|RIGHT:1099064|RIGHT:146.8|RIGHT:...
|stk5|1.18[sec]|RIGHT:11.3|RIGHT:953743|RIGHT:127.4||RIGH...
|gzip|1.24[sec]|RIGHT:11.9|RIGHT:1087874|RIGHT:145.3|RIGH...
|stk5|1.39[sec]|RIGHT:13.4|RIGHT:942375|RIGHT:125.9||RIGH...
|tek0|1.39[sec]|RIGHT:13.4|RIGHT:1149662|RIGHT:153.6|RIGH...
|LZMA|1.42[sec]|RIGHT:13.7|RIGHT:953728|RIGHT:127.4|RIGHT...
|LZMA|1.66[sec]|RIGHT:16.1|RIGHT:942369|RIGHT:125.9|RIGHT...
|bzip2|2.52[sec]|RIGHT:24.7|RIGHT:1047411|RIGHT:139.9|RIG...
|GCA|4.91[sec]|RIGHT:48.6|RIGHT:1002311|RIGHT:133.9|RIGHT...
|PAQ|5000[sec]以上||RIGHT:748512|RIGHT:100.0|||?||
--いずれも圧縮データを読み込む時間がデコードタイムに加算...
---したがって、tek1やLZOは小さくない誤差を含んでいる可能...
---試しに1274931バイトのファイルリードだけやらせてみたら0...
--「言語」はこの展開速度の測定につかったデコードルーチン...
--たぶんLZOは既にアセンブラ化されていると思います（そうで...
--GCA、gzip、lh7に関しては展開ルーチンの記述言語は不明で...
--t-idx = (time - 0.05) x 10
--score = (t-idx) x (vs_PAQ - 100)
---なんとなく計算してみたくなったので（笑）。小さければ小...
--score2 = (t-idx) x (vs_PAQ / 100 - 1)^3
---こっちのほうがいいスケールなのかもしれない。^1や^2だと...
//---tek4が0.3くらいのバランス値でさらにt-idxの目標を5と...
-補足（履歴）
--2004.07.05 方針を変更してtek5を追加
--2004.07.07 比較基準にPAQを追加
--2004.07.08 dtk5s.c関係の情報を更新
--2004.07.10 osask.bmpの圧縮率を修正
--2004.07.11 stk5、gzip、LZMAの圧縮率を上げる方法がわ...
--2004.07.12 dtk5s.ask関係の情報を更新
--2004.07.13 stk5、LZMAの圧縮率を上げるモードの存在に...
--2004.07.19 ちょっとだけsarを追加
--2004.10.10 tek5を追加
*** 圧縮形式の説明
-無圧縮
-tek0
--引退間近の圧縮形式。今までごくろうさま。旧tek1～3の祖。
-tek1 --- 全てバイトストリーム、主なライバル：LZO
--LZOよりも速い展開速度の圧縮形式。圧縮率はやや劣る場合も...
-tek2 --- ほとんどバイトストリーム・一部ビットストリーム...
--tek1の7割くらいの展開速度の圧縮形式。圧縮率ではLZOをほ...
-tek3 --- ほとんどビットストリーム・一部バイトストリーム...
--tek2のさらに7割くらいの展開速度で、圧縮率を結構追求した...
-tek4 --- 全てビットストリーム、主なライバル：lh7、gzip、...
--tek3のさらに7割くらいの展開速度で、圧縮率をかなり追求し...
-tek5 --- もちろん全てビットストリーム・レンジコーダ使用
--LZMAを改良したもの
-stk1
--tek1でBS:0かつ補助バッファを使わないもの（subset-tek1）
-stk2
--tek2でBS:0かつ補助バッファを使わないもの（subset-tek2）
-stk5
--tek5でBS:0かつ補助バッファを使わないものでさらにレンジ...
-lh7
-gzip
-bzip2
-LZMA
-LZO
-rk
-PAQ
--PAQAR 1.3 -5
--http://cs.fit.edu/~mmahoney/compression/
--GPLで公開されている圧縮ソフト。驚異的な圧縮率。ただし圧...
-展開ルーチンのコンパクトさにこだわる人向けの情報
--stk1の展開ルーチンは100行（dtk1s.c）
--stk2の展開ルーチンは161行（dtk2s.c） --- サイズ優先で最...
--stk5の展開ルーチンは321行（dtk5s.c）
--tek5の展開ルーチンは528行（dtk5f.c）
--展開速度はフルセット版もサブセット版もほぼ同じ
---stk5は例外で、フルセット版よりも速い
--（参考）
---l2d3の展開ルーチンは107行（マルチスレッド非対応）
---tek0の展開ルーチンは191行（マルチスレッド非対応）
--C言語の行数で考えるのは、単にC言語がビットストリームを...
---なおこれでも、どちらかといえばASKA版はサイズよりも展開...
--stk1の展開ルーチンは270バイト（dtk1s.ask）
--stk2の展開ルーチンは531バイト（dtk2s.ask）
--stk5の展開ルーチンは1426バイト（dtk5s.ask）
* 過去ログ
-[[tek1/oldlog/000]]
-[[tek1/oldlog/001]]
* おまけ
-minna.sar
--とても強いtek5ですが、圧縮率で負けるときももちろんあり...
--http://www.emit.jp/dgca/cmptest.html
--のminna.dgcを展開して、sar+tek5してみました。結果は6025...
--bz2、gca、dgcというブロックソート系には圧縮率で負けてい...
||無圧縮|PAQ|PPMd|dgc|gca|bz2|sar+tek5|
|サイズ|365066|42366|51665|54080|55929|55933|60254|
|指数|861.7|100.0|121.9|127.6|132.0|132.0|142.2|
--なおこの手のデータにたいしては将来予定しているtek5のバ...
---どのくらい改善するのか実験してみました。一晩ででっちあ...
---このルーチンですと、bim2bincも12238(132.8)に改善します。
---いつか時間ができたらこれをもっとまともにして正式な拡張...
--ちなみにosask.bmpをDGCAにかけると5072バイトです（指数：...
* こめんと欄
-表のヘッダ行が見難いので、勝手ながら一部だけ編集してみま...
-格段に見やすくなりましたね。 -- ''uchan'' SIZE(10){2004-...
-たての配色は好きだけど、横の配色は罫線がみにくくてちょっ...
-ちょっ罫線を弄ってみますた。 -- ''hideyosi'' SIZE(10){20...
#comment
ページ名:
![[PukiWiki]](http://osask.net/w/image/pukiwiki.png "[PukiWiki]")