Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо! А список изменений когда будет? )
 
Добавлено:
Кстати, раз уж зашел в сжатие... Все видели репак трилогии Кингс Баунти на 2.63? Я вот сейчас подумываю скачать, да посмотреть как там что сделано... Не факт, конечно, что получится все понять, но тем не менее. Есть у меня кое-какая мысль по поводу такого размера... Поход орков по большому счету это расширение мира "Принцессы в доспехах", фактически можно просто взять и выкинуть из Перекрестка миров или принцессы одинаковые файлы. Благо в скрипте можно прописать чего куда ставить. Но по моему это несколько геморно. Хотя с другой стороны, во всех трех играх так же музыка одинаковая... Так что может что-то в этом роде там и сотворили... Да и еще установка каждой игры по 5 минут, эт ж что за монстр вместо процессора должен быть.
У кого какие мысли будут по поводу этого репака? Все же интересно, пожать сразу три игры до такого размера...

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 03:26 19-09-2010 | Исправлено: Kosako, 03:38 19-09-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako

Цитата:
Все видели репак трилогии Кингс Баунти на 2.63? Я вот сейчас подумываю скачать, да посмотреть как там что сделано

сгруппированы однотипные данные и упакованы, с "обычными настройками" FreeArc
думаю 2.63 это не предел
 
*.kfs-файлы идут без сжатия

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 06:41 19-09-2010 | Исправлено: egor23, 07:13 19-09-2010
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Kosako
Цитата:
можно просто взять и выкинуть из Перекрестка миров или принцессы одинаковые файлы
Упаковываешь в архив без сжатия - и среп сам за тебя все выкинет

Всего записей: 10070 | Зарегистр. 11-03-2002 | Отправлено: 10:21 19-09-2010
V2driver



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Упаковываешь в архив без сжатия - и среп сам за тебя все выкинет

Не факт!

Всего записей: 462 | Зарегистр. 01-02-2010 | Отправлено: 11:47 19-09-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ну и вообще во всех трех играх очень много одинаковых файлов. Можно просто оставить идентичные файлы от какой-то одной игры и это тоже будет + к уменьшению веса.
 
В общем, в принципе из вышесказанного, я так понял что там ничего сверхъестественного. Единственное что я подозревал, что там среп использовали. Но если бы его использовали, то для 5ти минутной установки нужен был бы просто монстр, а не комп.

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 11:53 19-09-2010 | Исправлено: Kosako, 11:56 19-09-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako

Цитата:
что там среп использовали

rep исользован

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 19:05 19-09-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А, ну тогда в 5ть минут уложиться не особая проблема.

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 19:21 19-09-2010
datato



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите пожалуйста, какие параметры лучше всего использовать для SREP, если у меня 2 гигабайта ОЗУ, 2-ух ядерный процессор (3 Мгц).
Чтобы процент сжатия/распаковки и скорость были оптимальны.

Всего записей: 154 | Зарегистр. 16-07-2010 | Отправлено: 16:43 21-09-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
datato
без параметров - самое оптимальное и универсальное. Иногда уменьшение значения параметра -l может привести к лучшим результатам сжатия после конечного lzma, но это выясняется только опытным путем, и никак иначе. Но чем больше значение -l, тем быстрее упаковка/распаковка

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 18:19 21-09-2010
LonerDergunov



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Иногда уменьшение значения параметра -l может привести к лучшим результатам сжатия

Точнее - Зачастую уменьшение параметра -l может привести к лучшим результатам сжатия, иногда незначительным уменьшениям, иногда существенным.
Если исходные данные небольшие (от нескольких Мб до гига, например), то разница обычно несущественна.
 
А разве уменьшение параметра влияет и на скорость распаковки?

Всего записей: 2972 | Зарегистр. 11-07-2007 | Отправлено: 20:16 21-09-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LonerDergunov

Цитата:
Точнее - Зачастую уменьшение параметра -l может привести к лучшим результатам сжатия

если не учитывать последующее сжатие в lzma, то уменьшение -l ВСЕГДА приводит к уменьшению конечного .srep файла, но если потом пройтись lzma, то по моим наблюдениям примерно в 50% случаях лучше -l512, а в остальных - меньшие значения.

Цитата:
А разве уменьшение параметра влияет и на скорость распаковки?

пример при упаковке:
Код:
E:\Games\Mafia II>srep -l512 -m2 data.dat
98 mb used for hash, -m2 -l512 -c512
Compression ratio: 8388608 -> 8336500: 99.38%. Cpu 31.581 mb/sec, real 20.498 mb

Код:
E:\Games\Mafia II>srep -l32 -m2 data.dat
1569 mb used for hash, -m2 -l32 -c32
Compression ratio: 8388608 -> 8317852: 99.16%. Cpu 8.389 mb/sec, real 6.278 mb/s

А при распаковке при малых значениях -l количество обращений к винту возрастает невообразимо.
 
Добавлено:
По поводу нового режима -m3 надо или смотреть исходники, или, что проще, спросить Булата Там скорее всего как раз и не будет разницы при распаковке.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 22:37 21-09-2010 | Исправлено: Profrager, 22:40 21-09-2010
datato



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Делаю репак Call Of Duty: Modern Warfare 2, что-то srep и lzma тут не спасают. Может тут еще чем можно пожать? Или тут нужно распаковывать игровые архивы? (Расширение .iwd (тип файла - ZIP)).

Всего записей: 154 | Зарегистр. 16-07-2010 | Отправлено: 16:58 22-09-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
datato
лучше использовать precomp, т.к. если распаковывать, а потом снова паковать zip'ы, то, как народ говорит, мультиплеер не будет работать.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 17:12 22-09-2010
sanya 007

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
если не учитывать последующее сжатие в lzma, то уменьшение -l ВСЕГДА приводит к уменьшению конечного .srep файла, но если потом пройтись lzma, то по моим наблюдениям примерно в 50% случаях лучше -l512, а в остальных - меньшие значения.  

Был один случай когда уменьшение -l всё-таки увеличило файл после SREP но это при значениях -l16 и -l8(я вообще удивился что при этом параметре SREP отработал без глюков). А по поводу оптимального значения, как по мне лучше всего -l128 для последующего сжатия в LZMA со словарём в 256 Мб

Всего записей: 26 | Зарегистр. 03-07-2009 | Отправлено: 19:57 22-09-2010
LonerDergunov



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Profrager

Цитата:
то по моим наблюдениям примерно в 50% случаях лучше -l512, а в остальных - меньшие значения.

Спасибо, буду знать, и пробовать разные значения.
Похоже, у меня еще поменьше наблюдений было, и в основном лучший конечный результат был при -l64, к тому же скорость распаковки я не проверял.
 
sanya 007

Цитата:
Был один случай когда уменьшение -l всё-таки увеличило файл после SREP но это при значениях -l16 и -l8

Так и есть. Только что сжимал Puzzle Quest 2. Вначале precomp, потом - srep.
При -l32 и меньших полученный файл больше, чем в сравнении с -l64
А итоговый файл после lzma получился лучше всего на srep 1.5 -l512 (srep 1.91 выдал результат хуже, хотя srp-файл с дефолтными настройками у него вышел чуть меньше.

Всего записей: 2972 | Зарегистр. 11-07-2007 | Отправлено: 23:49 23-09-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
-l меньше 32 не пробовал) Жалко винт) На моей памяти встречалось только улучшение сжатия самого srep'а при уменьшении параметра -l.
Цитата:
А итоговый файл после lzma получился лучше всего на srep 1.5 -l512 (srep 1.91 выдал результат хуже, хотя srp-файл с дефолтными настройками у него вышел чуть меньше.
опять же все от данных зависит. У меня, например, на мафии 2 с -m3 и последующем lzma получилось чуть лучше,  чем rep -> srep -m2 -> lzma (а этот вариант был лучше, чем просто srep -m2 -> lzma).

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 08:08 24-09-2010
datato



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Может вопрос и не по теме, но в чем различие между srep.exe, srep32.exe, srep32i.exe?
Чем отличается 32 от 64 это понятно...) Но вот что значит i?
Ах да, что означает параметр -c? И какое значение лучше ставить для него?

Всего записей: 154 | Зарегистр. 16-07-2010 | Отправлено: 15:41 24-09-2010 | Исправлено: datato, 15:44 24-09-2010
KillTimer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
datato

Цитата:
Но вот что значит i?  

Это значит что файл скомпилирован интеловским компилятором.

Всего записей: 144 | Зарегистр. 13-05-2009 | Отправлено: 16:35 24-09-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
datato

Цитата:
Но вот что значит i?


Цитата:
Это значит что файл скомпилирован интеловским компилятором.

а это соответственно означает, что данная прога будет работать быстрее.

Цитата:
Ах да, что означает параметр -c? И какое значение лучше ставить для него?

не парься из-за этого, ИМХО лучше вообще его не трогать. Вот описание от Булата.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 17:07 24-09-2010 | Исправлено: Profrager, 17:09 24-09-2010
datato



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Будет работать быстрее на интеловском? Или на любом?

Всего записей: 154 | Зарегистр. 16-07-2010 | Отправлено: 17:41 24-09-2010
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru