6: 2004-07-05 (月) 22:36:52  |
7: 2004-07-07 (水) 13:24:10 |
| | -(by [[K]], 2004.07.05) | | -(by [[K]], 2004.07.05) |
| | | | |
| - | -''遅くとも7/6の夜までには詳細をOSASK-MLで説明しますので、それまでは一切の質問をしないでください。まあIRCでの質問ならかまいませんが。'' | + | //-''遅くとも7/6の夜までには詳細をOSASK-MLで説明しますので、それまでは一切の質問をしないでください。まあIRCでの質問ならかまいませんが。'' |
| | | | |
| | -tek1～tek5の圧縮展開比較表 | | -tek1～tek5の圧縮展開比較表 |
| | *** 比較表 | | *** 比較表 |
| | -サイズ （num128以外では、tek1～5とstk1～5はほぼ同じなので、stk1～5は省略） | | -サイズ （num128以外では、tek1～5とstk1～5はほぼ同じなので、stk1～5は省略） |
| - | ||無圧縮|tek0|tek1|(tek2)|tek5|lh7|gzip|bzip2|LZMA|LZO|rk| | + | ||無圧縮|tek0|tek1|(tek2)|tek5|lh7|gzip|bzip2|LZMA|LZO|rk|PAQ| |
| - | |hellok1|RIGHT:272|RIGHT:128|RIGHT:144|RIGHT:135|RIGHT:126|RIGHT:205|RIGHT:143|RIGHT:166|RIGHT:121|RIGHT:193|RIGHT:208| | + | |hellok1|RIGHT:272|RIGHT:128|RIGHT:144|RIGHT:135|RIGHT:126|RIGHT:205|RIGHT:143|RIGHT:166|RIGHT:121|RIGHT:193|RIGHT:208|RIGHT:116| |
| - | |zero4k|RIGHT:4096|RIGHT:27|RIGHT:25|RIGHT:25|RIGHT:28|RIGHT:86|RIGHT:49|RIGHT:43|RIGHT:39|RIGHT:91|RIGHT:100| | + | |zero4k|RIGHT:4096|RIGHT:27|RIGHT:25|RIGHT:25|RIGHT:28|RIGHT:86|RIGHT:49|RIGHT:43|RIGHT:39|RIGHT:91|RIGHT:100|RIGHT:30| |
| - | |zero64k|RIGHT:65536|RIGHT:28|RIGHT:27|RIGHT:29|RIGHT:29|RIGHT:117|RIGHT:108|RIGHT:43|RIGHT:90|RIGHT:422|RIGHT:108| | + | |zero64k|RIGHT:65536|RIGHT:28|RIGHT:27|RIGHT:29|RIGHT:29|RIGHT:117|RIGHT:108|RIGHT:43|RIGHT:90|RIGHT:422|RIGHT:108|RIGHT:43| |
| - | |bim2binc|RIGHT:53792|RIGHT:15019|RIGHT:17166|RIGHT:16323|RIGHT:12795|RIGHT:14181|RIGHT:14029|RIGHT:12903|RIGHT:12787|RIGHT:16015|RIGHT:11608| | + | |bim2binc|RIGHT:53792|RIGHT:15019|RIGHT:17166|RIGHT:16323|RIGHT:12795|RIGHT:14181|RIGHT:14029|RIGHT:12903|RIGHT:12787|RIGHT:16015|RIGHT:11608|RIGHT:9215| |
| - | |kdun00b|RIGHT:655360|RIGHT:46246|RIGHT:49855|RIGHT:46794|RIGHT:33944|RIGHT:45520|RIGHT:44589|RIGHT:47306|RIGHT:34517|RIGHT:52148|RIGHT:36736| | + | |kdun00b|RIGHT:655360|RIGHT:46246|RIGHT:49855|RIGHT:46794|RIGHT:33944|RIGHT:45520|RIGHT:44589|RIGHT:47306|RIGHT:34517|RIGHT:52148|RIGHT:36736|RIGHT:29157| |
| - | |osaskgo|RIGHT:1973741|RIGHT:1149662|RIGHT:1274931|RIGHT:1172344|RIGHT:953828|RIGHT:1099064|RIGHT:1111648|RIGHT:1047411|RIGHT:953821|RIGHT:1177820|RIGHT:909824| | + | |osaskgo|RIGHT:1973741|RIGHT:1149662|RIGHT:1274931|RIGHT:1172344|RIGHT:953828|RIGHT:1099064|RIGHT:1111648|RIGHT:1047411|RIGHT:953821|RIGHT:1177820|RIGHT:909824|RIGHT:748512| |
| - | |osask.bmp|RIGHT:393334|RIGHT:6389|RIGHT:7740|RIGHT:7135|RIGHT:4361|RIGHT:6467|RIGHT:6341|RIGHT:4906|RIGHT:4779|RIGHT:8618|RIGHT:4344| | + | |osask.bmp|RIGHT:393334|RIGHT:6389|RIGHT:7740|RIGHT:7135|RIGHT:4361|RIGHT:6467|RIGHT:6341|RIGHT:4906|RIGHT:4779|RIGHT:8618|RIGHT:4344|RIGHT:2429| |
| - | |num128|RIGHT:131072|RIGHT:106953||||RIGHT:118548|RIGHT:124645|RIGHT:25542|RIGHT:84237|RIGHT:131136|RIGHT:1192| | + | |num128|RIGHT:131072|RIGHT:106953||||RIGHT:118548|RIGHT:124645|RIGHT:25542|RIGHT:84237|RIGHT:131136|RIGHT:1192|RIGHT:| |
| | | | |
| | -規格化指数 | | -規格化指数 |
| - | ||無圧縮|tek0|stk1|tek1|(stk2)|(tek2)|stk5|tek5|lh7|gzip|bzip2|LZMA|LZO|rk| | + | ||無圧縮|tek0|stk1|tek1|(stk2)|(tek2)|stk5|tek5|lh7|gzip|bzip2|LZMA|LZO|rk|PAQ| |
| - | |hellok1|RIGHT:224.8|RIGHT:105.8|RIGHT:119.0|RIGHT:119.0|RIGHT:111.6|RIGHT:111.6|RIGHT:104.1|RIGHT:104.1|RIGHT:169.4|RIGHT:118.2|RIGHT:137.2|RIGHT:100.0|RIGHT:159.5|RIGHT:171.9| | + | |hellok1|RIGHT:234.5|RIGHT:110.3|RIGHT:124.1|RIGHT:124.1|RIGHT:116.4|RIGHT:116.4|RIGHT:108.6|RIGHT:108.6|RIGHT:176.7|RIGHT:123.3|RIGHT:143.1|RIGHT:104.3|RIGHT:166.4|RIGHT:179.3|RIGHT:100.0| |
| - | |zero4k|RIGHT:16384|RIGHT:108.0|RIGHT:100.0|RIGHT:100.0|RIGHT:100.0|RIGHT:100.0|RIGHT:112.0|RIGHT:112.0|RIGHT:344.0|RIGHT:196.0|RIGHT:172.0|RIGHT:156.0|RIGHT:364.0|RIGHT:400.0| | + | |zero4k|RIGHT:16384|RIGHT:108.0|RIGHT:100.0|RIGHT:100.0|RIGHT:100.0|RIGHT:100.0|RIGHT:112.0|RIGHT:112.0|RIGHT:344.0|RIGHT:196.0|RIGHT:172.0|RIGHT:156.0|RIGHT:364.0|RIGHT:400.0|RIGHT:120.0| |
| - | |zero64k|RIGHT:242726|RIGHT:103.7|RIGHT:100.0|RIGHT:100.0|RIGHT:107.4|RIGHT:107.4|RIGHT:107.4|RIGHT:107.4|RIGHT:433.3|RIGHT:400.0|RIGHT:159.3|RIGHT:333.3|RIGHT:1563|RIGHT:400.0| | + | |zero64k|RIGHT:242726|RIGHT:103.7|RIGHT:100.0|RIGHT:100.0|RIGHT:107.4|RIGHT:107.4|RIGHT:107.4|RIGHT:107.4|RIGHT:433.3|RIGHT:400.0|RIGHT:159.3|RIGHT:333.3|RIGHT:1563|RIGHT:400.0|RIGHT:159.3| |
| - | |bim2binc|RIGHT:463.4|RIGHT:129.4|RIGHT:147.9|RIGHT:147.9|RIGHT:140.6|RIGHT:140.6|RIGHT:110.2|RIGHT:110.2|RIGHT:122.2|RIGHT:120.9|RIGHT:111.2|RIGHT:110.2|RIGHT:138.0|RIGHT:100.0| | + | |bim2binc|RIGHT:583.7|RIGHT:163.0|RIGHT:186.3|RIGHT:186.3|RIGHT:177.1|RIGHT:177.1|RIGHT:138.8|RIGHT:138.8|RIGHT:153.9|RIGHT:152.2|RIGHT:140.0|RIGHT:138.8|RIGHT:173.8|RIGHT:126.0|RIGHT:100.0| |
| - | |kdun00b|RIGHT:1931|RIGHT:136.2|RIGHT:146.9|RIGHT:146.9|RIGHT:137.9|RIGHT:137.9|RIGHT:100.0|RIGHT:100.0|RIGHT:134.1|RIGHT:131.4|RIGHT:139.4|RIGHT:101.7|RIGHT:153.6|RIGHT:108.2| | + | |kdun00b|RIGHT:2248|RIGHT:158.6|RIGHT:171.0|RIGHT:171.0|RIGHT:160.5|RIGHT:160.5|RIGHT:116.4|RIGHT:116.4|RIGHT:156.1|RIGHT:152.9|RIGHT:162.2|RIGHT:118.4|RIGHT:178.9|RIGHT:126.0|RIGHT:100.0| |
| - | |osaskgo|RIGHT:216.9|RIGHT:126.4|RIGHT:140.1|RIGHT:140.1|RIGHT:128.9|RIGHT:128.9|RIGHT:104.8|RIGHT:104.8|RIGHT:120.8|RIGHT:122.2|RIGHT:115.1|RIGHT:104.8|RIGHT:129.5|RIGHT:100.0| | + | |osaskgo|RIGHT:263.7|RIGHT:153.6|RIGHT:170.3|RIGHT:170.3|RIGHT:156.6|RIGHT:156.6|RIGHT:127.4|RIGHT:127.4|RIGHT:146.8|RIGHT:148.5|RIGHT:139.9|RIGHT:127.4|RIGHT:157.4|RIGHT:121.5|RIGHT:100.0| |
| - | |osask.bmp|RIGHT:9055|RIGHT:147.0|RIGHT:178.2|RIGHT:178.2|RIGHT:164.2|RIGHT:164.2|RIGHT:100.4|RIGHT:100.4|RIGHT:148.9|RIGHT:146.0|RIGHT:112.9|RIGHT:110.0|RIGHT:198.4|RIGHT:100.0| | + | |osask.bmp|RIGHT:16193|RIGHT:263.0|RIGHT:318.6|RIGHT:318.6|RIGHT:293.7|RIGHT:293.7|RIGHT:179.5|RIGHT:179.5|RIGHT:266.2|RIGHT:261.1|RIGHT:202.0|RIGHT:196.7|RIGHT:354.8|RIGHT:178.8|RIGHT:100.0| |
| - | |num128|RIGHT:327680|RIGHT:267383|||||||RIGHT:296370|RIGHT:311613|RIGHT:63855|RIGHT:210593|RIGHT:32840|RIGHT:2980| | + | |num128|RIGHT:327680|RIGHT:267383|||||||RIGHT:296370|RIGHT:311613|RIGHT:63855|RIGHT:210593|RIGHT:32840|RIGHT:2980|RIGHT:| |
| - | |(max)||RIGHT:147.0|RIGHT:178.2|RIGHT:178.2|RIGHT:164.2|RIGHT:164.2|RIGHT:110.2|RIGHT:110.2|RIGHT:148.9|RIGHT:146.0|RIGHT:137.1|RIGHT:110.2|RIGHT:198.4|RIGHT:108.2| | + | |(max)||RIGHT:263.0|RIGHT:318.6|RIGHT:318.6|RIGHT:293.7|RIGHT:293.7|RIGHT:179.5|RIGHT:179.5|RIGHT:266.2|RIGHT:261.1|RIGHT:202.0|RIGHT:196.7|RIGHT:354.8|RIGHT:178.8|RIGHT:100.0| |
| | --(max)は、bim2binc、kdun00b、osaskgo、osask.bmpのみ対象（他はあまりにtek系が得意なため除外） | | --(max)は、bim2binc、kdun00b、osaskgo、osask.bmpのみ対象（他はあまりにtek系が得意なため除外） |
| | --(max)で判断すると安定して圧縮率のよいものは以下の順になる。 | | --(max)で判断すると安定して圧縮率のよいものは以下の順になる。 |
| - | |rk|LZMA|tek5|stk5|bzip2|gzip|tek0|lh7|(tek2)|(stk2)|tek1|stk1|LZO| | + | |PAQ|rk|tek5|stk5|LZMA|bzip2|gzip|tek0|lh7|(tek2)|(stk2)|tek1|stk1|LZO| |
| - | |108.2|110.2|110.2|110.2|139.4|146.0|147.0|148.9|164.2|164.2|178.2|178.2|198.4| | + | |100.0|178.8|179.5|179.5|196.7|202.0|261.1|263.0|266.2|293.7|293.7|318.6|318.6|354.8| |
| - | --↑これは主にosask.bmpの結果で決まっているともいえるので、参考までにosask.bmpを除いて集計すると以下のようになる。 | + | --↑これは完全にosask.bmpの結果で決まっているともいえるので、参考までにosask.bmpを除いて集計すると以下のようになる。 |
| | ---しかし、「汎用圧縮符号」としては弱点があるというのは好ましくない。そしてosask.bmpの内容は多くの符号の共通の弱点を突く内容なのだろう。 | | ---しかし、「汎用圧縮符号」としては弱点があるというのは好ましくない。そしてosask.bmpの内容は多くの符号の共通の弱点を突く内容なのだろう。 |
| - | |rk|LZMA|tek5|stk5|gzip|lh7|tek0|bzip2|(tek2)|(stk2)|tek1|stk1|LZO| | + | |PAQ|rk|LZMA|tek5|stk5|gzip|lh7|bzip2|tek0|(tek2)|(stk2)|LZO|tek1|stk1| |
| - | |108.2|110.2|110.2|110.2|131.4|134.1|136.2|139.4|140.6|140.6|147.8|147.8|153.6| | + | |100.0|126.0|138.8|138.8|138.8|152.9|156.1|162.2|163.0|177.1|177.1|178.9|186.3|186.3| |
| - | ---bzip2が落ちてlh7が少し回復する以外は、順位そのものの傾向は変わらない。 | + | ---全体的にtek系が少し落ちて、bzip2が2段落ちる程度で、それほど傾向は変わらない。 |
| | + | //---bzip2が落ちてlh7が少し回復する以外は、順位そのものの傾向は変わらない。 |
| | -tar+tek5（.tar.tk/.ttk） | | -tar+tek5（.tar.tk/.ttk） |
| | ||tar|ttk|lh7|tgz|tbz|tar.lzma| | | ||tar|ttk|lh7|tgz|tbz|tar.lzma| |
| | -展開速度 | | -展開速度 |
| | --参考：EPIA-VE5000でのosaskgoの展開速度 | | --参考：EPIA-VE5000でのosaskgoの展開速度 |
| - | |meth.|deco.time|t-idx|size|vs rk|score|言語|備考| | + | |meth.|deco.time|t-idx|size|vs PAQ|score|score2|言語|備考| |
| - | |tek1|0.15[sec]|RIGHT:1.0|RIGHT:1274931|140.1|RIGHT:40.1|ASKA|Cでは0.18[sec]| | + | |tek1|0.15[sec]|RIGHT:1.0|RIGHT:1274931|170.3|RIGHT:70.3|RIGHT:0.35|ASKA|Cでは0.18[sec]| |
| - | |LZO|0.18[sec]|RIGHT:1.3|RIGHT:1177820|129.5|RIGHT:38.4|?|←おそらくasm| | + | |LZO|0.18[sec]|RIGHT:1.3|RIGHT:1177820|157.4|RIGHT:74.6|RIGHT:0.25|?|←おそらくasm| |
| - | |(tek2)|0.18[sec]|RIGHT:1.3|RIGHT:1172344|128.9|RIGHT:37.6|ASKA|Cでは0.27[sec]| | + | |(tek2)|0.18[sec]|RIGHT:1.3|RIGHT:1172344|156.6|RIGHT:73.6|RIGHT:0.24|ASKA|Cでは0.27[sec]| |
| - | |lh7|1.04[sec]|RIGHT:9.9|1099064|120.8|RIGHT:205.9|?|| | + | |lh7|1.04[sec]|RIGHT:9.9|1099064|146.8|RIGHT:463.3|RIGHT:1.01|?|| |
| - | |tek5|||RIGHT:953828|104.8|||| | + | |tek5|||RIGHT:953828|127.4||RIGHT:||| |
| - | |gzip|1.24[sec]|RIGHT:11.9|RIGHT:1111684|122.2|RIGHT:264.2|?|| | + | |gzip|1.24[sec]|RIGHT:11.9|RIGHT:1111684|148.5|RIGHT:577.2|RIGHT:1.35|?|| |
| - | |tek0|1.39[sec]|RIGHT:13.4|1149662|126.4|RIGHT:353.8|C|| | + | |tek0|1.39[sec]|RIGHT:13.4|1149662|153.6|RIGHT:734.3|RIGHT:2.06|C|| |
| - | |LZMA|1.42[sec]|RIGHT:13.7|RIGHT:953821|104.8|RIGHT:65.8|C|| | + | |LZMA|1.42[sec]|RIGHT:13.7|RIGHT:953821|127.4|RIGHT:375.4|RIGHT:0.28|C|| |
| - | |bzip2|2.52[sec]|RIGHT:24.7|1047411|115.1|RIGHT:373.0|?|| | + | |bzip2|2.52[sec]|RIGHT:24.7|1047411|139.9|RIGHT:985.5|RIGHT:1.57|?|| |
| - | |GCA|4.91[sec]|RIGHT:48.6|1002311|110.2|RIGHT:495.7|?|| | + | |GCA|4.91[sec]|RIGHT:48.6|1002311|133.9|RIGHT:1647.5|RIGHT:1.89|?|| |
| | + | |PAQ|5000[sec]以上||RIGHT:748512|100.0|||?|| |
| | --いずれも圧縮データを読み込む時間がデコードタイムに加算されてしまっています。 | | --いずれも圧縮データを読み込む時間がデコードタイムに加算されてしまっています。 |
| | ---したがって、tek1やLZOは小さくない誤差を含んでいる可能性が高い。 | | ---したがって、tek1やLZOは小さくない誤差を含んでいる可能性が高い。 |
| | --GCA、gzip、lh7に関しては展開ルーチンの記述言語は不明です。 | | --GCA、gzip、lh7に関しては展開ルーチンの記述言語は不明です。 |
| | --t-idx = (time - 0.05) x 10 | | --t-idx = (time - 0.05) x 10 |
| - | --score = (t-idx) x (vs_rk - 100) | + | --score = (t-idx) x (vs_PAQ - 100) |
| | ---なんとなく計算してみたくなったので（笑）。小さければ小さいほど圧縮率と展開速度のバランスに優れていることを示していると思う。 | | ---なんとなく計算してみたくなったので（笑）。小さければ小さいほど圧縮率と展開速度のバランスに優れていることを示していると思う。 |
| | + | --score2 = (t-idx) x (vs_PAQ / 100 - 1)^3 |
| | + | ---こっちのほうがいいスケールなのかもしれない。^1や^2だと低圧縮率側がやたらといいことになるし、^4だとLZMAがずば抜けてしまうので、^3あたりが良さそう。もしかしたらこの3には何か理論的な根拠があるのかもしれない。 |
| | + | ---tek4が0.3くらいのバランス値でさらにt-idxの目標を5とおくと、vs_PAQの値は、140弱くらいにするべきだということになる（これはvs_rk換算では114.5に相当）。 |
| | | | |
| - | --補足（履歴） | + | -補足（履歴） |
| - | ---2004.07.05 方針を変更してtek5を追加 | + | --2004.07.05 方針を変更してtek5を追加 |
| | + | --2004.07.07 比較基準にPAQを追加 |
| | | | |
| | *** 圧縮形式の説明 | | *** 圧縮形式の説明 |
| | -LZO | | -LZO |
| | -rk | | -rk |
| | + | -PAQ |
| | + | --PAQAR 1.3 -5 |
| | + | --http://cs.fit.edu/~mmahoney/compression/ |
| | + | --GPLで公開されている圧縮ソフト。驚異的な圧縮率。ただし圧縮にも展開にも猛烈な時間がかかる。EPIA-VE5000では、bim2bincが90秒以上（圧縮時間は展開時間にほぼ等しい）。その圧縮率はrkの比ではない。デフォルトの-6だと展開にメモリを230MBも消費するため、テスト環境の都合により120MBの-5にしている。 |
| | | | |
| | -展開ルーチンのコンパクトさにこだわる人向けの情報 | | -展開ルーチンのコンパクトさにこだわる人向けの情報 |
