Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
128 kbps

О да, знаем, знаем что это такое ) От нас это уже уходить начинает, к счастью.
 
Репаки Деда вообще разбирать одно удовольствие. Если будешь внимателен, то быстро поймешь что к чему. А если как я СтарКрафт разбирал, будешь два месяца париться.
 
Кстати говоря... в Darksiders инглиш файл сделан так streams.ospc.diff
Вот diff, что это за прекомпрессор такое расширение ставит?

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 01:04 06-10-2010
r1977



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Помогите раньше после срепа тип файла был SRP, а сейчас  srp_auto_file (.srp)?

Всего записей: 94 | Зарегистр. 17-06-2010 | Отправлено: 01:46 06-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako

Цитата:
Вот diff, что это за прекомпрессор такое расширение ставит?

http://xdelta.org/

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 07:53 06-10-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
del

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 10:31 06-10-2010 | Исправлено: Kosako, 14:24 06-10-2010
r1977



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Помогите
Подробнее...

Всего записей: 94 | Зарегистр. 17-06-2010 | Отправлено: 14:33 06-10-2010 | Исправлено: r1977, 14:33 06-10-2010
KillTimer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
r1977

Цитата:
Помогите

Читай внимательней доку к ISDone. Он не поддерживает архивы с разными методами компрессии.
Для его использования, нужно:
1) запаковать все данные сначала в 7z без сжатия (данные.7z)
2) прогнать этот архив через srep (srep данные.7z данные.7z.srp)
3) запаковать полученный файл в arc (arc a -m=lzma:255mb:ultra:bt4:128:mc65536:lc8 данные.arc данные.7z.srp)
После чего распаковывать всё это в обратном порядке.

Всего записей: 144 | Зарегистр. 13-05-2009 | Отправлено: 15:14 06-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Читай внимательней доку к ISDone. Он не поддерживает архивы с разными методами компрессии.
поддерживать то поддерживает, только будут вылезать консольные окошки, для которых не будет отображаться прогресс. У него просто файлы srep.exe и arc.ini должны копироваться куда нить к isdone.dll или setup.exe (в 0.4.2.5 я вроде не менял дефолтный каталог при старте распаковки)

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 17:01 06-10-2010
r1977



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Раньше после срепа тип файла был SRP, а сейчас  srp_auto_file (.srp)?

Всего записей: 94 | Зарегистр. 17-06-2010 | Отправлено: 17:20 06-10-2010 | Исправлено: r1977, 17:20 06-10-2010
tabak96



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
привет всем,кто-нибудь может подсказать каким способом можно сжать darksiders что бы хотя бы на 2 болванки можно было записать
 

Всего записей: 21 | Зарегистр. 05-10-2010 | Отправлено: 18:32 06-10-2010
V2driver



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
tabak96 72 стр...
r1977 подробней...

Всего записей: 462 | Зарегистр. 01-02-2010 | Отправлено: 18:57 06-10-2010
tabak96



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ничего подробного на 72стр не нашел

Всего записей: 21 | Зарегистр. 05-10-2010 | Отправлено: 19:24 06-10-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
tabak96
Сжать видео и потанцевать с бубном вокруг файлов. Кроме того надо правильно файлы языков пожать. Вот с файлами языков у меня особые проблемы. Со всеми остальными сейчас пытаюсь разобраться.
 
хммм... После обработки прекомпом, у меня получился размер, можно сказать, байт в байт, совпадающий с размером файлов деда. Но после обработки rep (как выяснилось, это FreeArc с измененным расширением, строчка rep:512mb:a99) размер у меня получился 7.03. У деда же 7.02, при второй обработке, у него 6.17, у меня 6.52... Вот где может быть косяк? Мне так кажется, что Дед что-то намудрил с прекомпом. Т.к. файлы, обработанные прекомпом, делятся по расширениям на pcf, apcf и bpcf. Некоторые вообще как будто дважды обработаны (скорее всего опять же через FreeArc), идут, к примеру, *название файла*.ospc.apcf.bpcf

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 22:11 06-10-2010 | Исправлено: Kosako, 10:36 07-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako
ты что-то зациклился на этом репаке) У деда,судя по репаку мафии2, pcf файлы распаковываются на лету при извлечении arc архива. Как показала практика precomp(каждый мелкий файл отдельно пакуется) ->lzma медленнее распаковывается, чем 7z без сжатия->precomp->lzma, хоть тут и появляется лишняя операция переписывания данных из незапакованного 7z архива. Потери на многократный запуск консоли получается гораздо больше. А файлы с расширением apcf и bpcf могут быть просто несколько раз обработанные precomp'ом 0.38 данные, т.к. он не поддерживает вложенные zlib потоки, в отличие от 0.4 версии.  
Так же он, в отличие от тебя, экспериментирует с настройками параметров -l, ну и -m srep'а, какие для текщих данных будут эффективней, учитывая последующее сжатие.
Если будет время скачаю, посмотрю чего дед в darksiders сделал.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 11:09 07-10-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
ты что-то зациклился на этом репаке)

Да я его СтарКрафт долго очень разбирал ) С этим все быстрее идет.  

Цитата:
У деда,судя по репаку мафии2, pcf файлы распаковываются на лету при извлечении arc архива

Кстати, да. Если следить за установкой Darksiders, то в начале из архива извлекается largefile.rep.rep, из него, соответственно, largefile.rep, а уже из него папка media с pcf файлами. И вот как раз тут уже да, видно, что pcf на лету распаковываются.

Цитата:
Так же он, в отличие от тебя, экспериментирует с настройками параметров -l

Экспериментировал, толку мало получилось ) srep я в данном репаке не обнаружил, либо он хорошо замаскирован.
 
В общем и целом имеем такую схему.
Есть архив FreeArc  с расширением bin, сжат параметром lzma:512mb:normal:128:mc64:lc8, вес 2.37.  В нем этот самый largefile.rep.rep, пожато параметром rep:512mb:a99, вес 6.17. Далее largefile.rep, с тем же параметром, вес 7.02 и внутри него pcf файлы общим весом на 12.1.
 
Что меня еще заинтересовало, если распаковать архив ручками, зайти в этот largefile.rep.rep, то там не будет распаковываемого из него largefile.rep. Там сразу папка media с pcf внутри. Вот я не совсем понимаю как это так... Мож как раз в этом вся загвоздка?

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 12:03 07-10-2010 | Исправлено: Kosako, 12:04 07-10-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako

Цитата:
Экспериментировал, толку мало получилось ) srep я в данном репаке не обнаружил, либо он хорошо замаскирован.


data-a.bin - precomp+rep+srep+lzma (precomp скорее всего есть, но у меня нет оригинального инсталла, чтобы сравнить)

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 12:14 07-10-2010 | Исправлено: egor23, 14:25 07-10-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
data-a.bin - precomp+rep+srep+lzma  

Угу, прекомп есть. rep в виде FreeArc, srep не видел, хотя хз, после  

Цитата:
Что меня еще заинтересовало, если распаковать архив ручками, зайти в этот largefile.rep.rep, то там не будет распаковываемого из него largefile.rep. Там сразу папка media с pcf внутри. Вот я не совсем понимаю как это так... Мож как раз в этом вся загвоздка?

я уже ни в чем не уверен )

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 16:05 07-10-2010
r1977



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Раньше после срепа тип файла был SRP, а сейчас  srp_auto_file (.srp)?

V2driver

Цитата:
r1977 подробней...

Вопрос снят, уже разобрался

Всего записей: 94 | Зарегистр. 17-06-2010 | Отправлено: 17:14 07-10-2010 | Исправлено: r1977, 19:50 07-10-2010
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
data-a.bin - precomp+rep+srep+lzma (precomp скорее всего есть, но у меня нет оригинального инсталла, чтобы сравнить)

кстати, отличия между
precomp+rep+srep+lzma
precomp+rep+rep+lzma
примерно 200МБ

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 20:48 07-10-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
примерно 200МБ

Угу, есть такое... Мне больше интересно, как из rep.rep распаковывается rep, а когда заходишь в rep.rep, там папка media с pcf О_о Вот это я никак понять не могу. Я уже и так и этак вертел, что угодно получается, только не то что надо.
 
А, все, кажись дошло как
Не, не дошло У меня pcf сразу распаковывается вместо rep )

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 20:59 07-10-2010 | Исправлено: Kosako, 21:49 07-10-2010
blazevic



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
смотрю последнее творение деда в виде репака Lost Planet 2
он два раза пакует фриарком, а для чего это делается объясните пож-та? какой выигрыш дает двухразовая упаковка фриарком?

Всего записей: 31 | Зарегистр. 07-01-2003 | Отправлено: 07:59 08-10-2010
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru