Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
freestyle1309



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
V2driver
мне прога нужна чем их расковырять?

Всего записей: 59 | Зарегистр. 06-06-2010 | Отправлено: 12:47 23-08-2010
V2driver



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
freestyle1309 ты так и непонял?
Мне нужно название игры..
Откуда я знаю где ты дабыл этот тип файлов, я тоже могу переименовать MP3 в big и кричать на весь форум *ЧЕМ мне распаковать big?*
Повторяю: телепаты в отпуске

Всего записей: 462 | Зарегистр. 01-02-2010 | Отправлено: 14:49 23-08-2010 | Исправлено: V2driver, 14:50 23-08-2010
freestyle1309



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
V2driver
ФИФА и НХЛ 09

Всего записей: 59 | Зарегистр. 06-06-2010 | Отправлено: 21:52 23-08-2010
miromax911



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А можно как то запустить ISToolPreCompile перед упаковкой файлов с помощью скрипта для распаковки 7z http://narod.ru/disk/4472636000/is7z%20v1.01.rar.html ???

Всего записей: 10 | Зарегистр. 23-08-2010 | Отправлено: 06:34 24-08-2010
r1977



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Чем можно сжать Mafia 2?

Всего записей: 94 | Зарегистр. 17-06-2010 | Отправлено: 12:37 26-08-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
r1977
precomp+srep+freearc

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 14:05 26-08-2010
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
r1977
У злого деда идеальный репак, имхо.

Всего записей: 8782 | Зарегистр. 08-06-2006 | Отправлено: 14:38 26-08-2010
r1977



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Как пользоваться srep

Всего записей: 94 | Зарегистр. 17-06-2010 | Отправлено: 16:00 26-08-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Engaged Clown
вот только я не понял как он со словарем 512мб паковал. У меня вин7 х64 больше 255мб не дает сделать, хоть и оперативки 5гб. Он в линуксе что-ли паковал)
 
Добавлено:

Цитата:
У злого деда идеальный репак, имхо.

да и не идеальный уж. Там pcf'ы распаковываются сразу в sds файлы, что не есть хорошо, ибо precomp известен огромной фрагментированностью выходных файлов. Вариант 7z(без сжатия)+precomp+srep+arc(lzma) имхо выгоднее в плане качества выходных файлов, хоть и требует бОльшего количества места на винте для распаковки и распаковывается на минуту дольше.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 16:58 26-08-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Profrager

Цитата:
У меня вин7 х64 больше 255мб не дает сделать, хоть и оперативки 5гб. Он в линуксе что-ли паковал)

используйте тот же метод сжатия, что и дед и всё будет

Цитата:
Вариант 7z(без сжатия)+precomp+srep+arc(lzma) имхо выгоднее в плане качества выходных файлов, хоть и требует бОльшего количества места на винте для распаковки и распаковывается на минуту дольше.

у деда: precomp+rep+srep+lzma для основных данных

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 17:38 26-08-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23

Цитата:
у деда: precomp+rep+srep+lzma для основных данных

я в курсе. Только вот к чему rep, если srep то же самое делает, только на бОльших расстояниях. Да и если размер словаря 512мб для lzma, нафига еще rep:512mb делать.

Цитата:
используйте тот же метод сжатия, что и дед и всё будет

Тьфу! Я не заметил, что у него не bt4 match finder)

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 18:26 26-08-2010 | Исправлено: Profrager, 18:37 26-08-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Profrager

Цитата:
я в курсе. Только вот к чему rep, если srep то же самое делает, только на бОльших расстояниях.

скорее всего - время, так будет быстрее при распаковке, по идеи.

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 18:37 26-08-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23

Цитата:
скорее всего - время, так будет быстрее при распаковке, по идеи

мне кажется выигрыш от уменьшения размера архива rep'ом для srep'а убивается временем распаковки самого rep:512mb. Да и степень сжатия страдает. Единственное возможно винт от более маленького файла для srep'а не так терзается)
P.S. как ни странно, оказалось lzma:255mb:bt4:lc8 лучше, чем  lzma:512mb:normal:lc8

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 18:47 26-08-2010 | Исправлено: Profrager, 18:58 26-08-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
мне кажется выигрыш от уменьшения размера архива rep'ом для srep'а убивается временем распаковки самого rep:512mb.

вот как раз rep распаковывается быстро.
Кстати сколько у Вас RAM?

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 19:03 26-08-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23

Цитата:
вот как раз rep распаковывается быстро.

ну это да. Все равно как-то дико) Это почти тоже самое, что запаковать зипом, типа для уменьшения размера файла, а потом поверх еще упаковать lzma)

Цитата:
Кстати сколько у Вас RAM?

5Гб. Разницы от 3Гб никакой, кроме того, что с пятью можно кроме упаковки еще чего-то делать на компе) А так для максимально возможного размера словаря lzma с bt4 или bt3 вполне достаточно 3Гб. Больше выделить оперативки все равно винда не дает)

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 19:13 26-08-2010 | Исправлено: Profrager, 19:15 26-08-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Profrager

Цитата:
5Гб

Вы доступную память огранитчьте до 1ГБ, заняв 4ГБ чем-нибудь, напрмиер сделав RAM-drive на 4ГБ.
Тогда увидите разницу между обработкой 5ГБ данных и 3ГБ данных srep-ом, по времени.
 
Добавлено:

Цитата:
Тогда увидите разницу между обработкой 5ГБ данных и 3ГБ данных srep-ом, по времени.

имел ввиду распаковку

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 19:29 26-08-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23

Цитата:
Вы доступную память огранитчьте до 1ГБ, заняв 4ГБ чем-нибудь, напрмиер сделав RAM-drive на 4ГБ.  
Тогда увидите разницу между обработкой 5ГБ данных и 3ГБ данных srep-ом, по времени.

На WinXP разница от уменьшения объема оперативки будет минимальна) Ибо она не так кеширует данные, как Win7, к примеру. Но в данном случае от предварительной обработки rep'ом степень сжатия деградирует. Тут получается выбор - или максимальное сжатие, или меньшее время распаковки.
P.S. Я своему винту начинаю сочувствовать уже когда распаковывается srep-файл размером больше хотя бы 2Гб) Так что я только за уменьшение srep'ов) Но из-за стремления к максимальному сжатию это редко у кого получается)
 
Добавлено:
однако, это все теория..Сейчас потестю на практике)
 
Добавлено:
оу, я оказался не прав. rep:a99+srep+lzma дают лучший результат, чем просто srep+lzma по всем параметрам. Видимо, srep не все совпадения находит. Приму к сведению данный момент)

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 19:58 26-08-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Profrager

Цитата:
оу, я оказался не прав. rep:a99+srep+lzma дают лучший результат, чем просто srep+lzma по всем параметрам. Видимо, srep не все совпадения находит. Приму к сведению данный момент)

А цифры будут?
а то лучше\хуже это всё относительно.

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 22:36 26-08-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1) pcf -slow (6'323'341'741 байт) -> rep:512mb:512:a99 (3'863'988'593) -> srep -m1 -l512 (3'227'303'041) -> lzma:255mb:ultra:bt4:128:mc65536:lc8 (1'735'674'713)
2) pcf -slow (6'323'341'741 байт) -> srep -m1 -l512 (3'347'740'577) -> lzma:255mb:ultra:bt4:128:mc65536:lc8 (1'741'995'618)
 
 
Однако..те же данные, но другой минимальной длиной соответствия и дополнительным улучшающим нахождение соответствий параметром в rep:
 
1) pcf -slow (6'323'341'741 байт) -> rep:512mb:128:h27:a99 (3'664'875'940) -> srep -m1 -l128 (3'045'543'996) -> lzma:255mb:ultra:bt4:128:mc65536:lc8 (1'726'184'214)
2) pcf -slow (6'323'341'741 байт) -> srep -m1 -l128 (3'105'729'229) -> lzma:255mb:ultra:bt4:128:mc65536:lc8 (1'713'062'905)
 
Во втором случае почему-то выиграл вариант без rep, может ему длину лучше 512 оставлять, а срепу можно и уменьшить. Надо проверить потом. Все же наверное от данных зависит. Еще время распаковки надо будет поизмерять.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 23:48 26-08-2010 | Исправлено: Profrager, 23:53 26-08-2010
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Появилась пара интересных компрессоров:
LZHAM
Ocarina's MPEG1 and MPEG2 video compressor

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 23:57 26-08-2010
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru