Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
NDRmz

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
млин, стрелок, special for noobs - http://schnaader.info/precomp.zip  и вписываешь -slow Archive.arc
даже не знаю чего там непонятного
задолбался ждать репак уже

Всего записей: 1 | Зарегистр. 30-12-2009 | Отправлено: 10:58 30-12-2009 | Исправлено: NDRmz, 11:02 30-12-2009
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
47STRELOK
Чего там за параметр такой дикий? Он там тебе, случайно, про разбор ресурсов и подбор сжатия под каждое расширение ничего не говорил?
 
Кстати, на счет разбора ресурсов, кто-нибудь пробовал Прототип с выкинутым видео жать? Без видео он ~3Гб весит и вроде как его можно дожать до ~1.50-1.70. Мой рекорд 2.20. Я никак не могу к нему строчку подобрать подходящую. Все еще на этапе сжатия каждого расширения своим методом. Может кто подскажет? А то я уже несколько дней над ним сижу.

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 12:08 30-12-2009 | Исправлено: Kosako, 12:13 30-12-2009
NattyBampo



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
видимо НТР прошло стороной, раз архив фриарка суют в батник чтобы прекомпить его - эххх где мои лапти пойду щи хлебать))))

Всего записей: 222 | Зарегистр. 19-06-2009 | Отправлено: 12:34 30-12-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako

Цитата:
и вроде как его можно дожать до ~1.50-1.70

ну так возьмите этот репак и посмотрите как он сделан
47STRELOK

Цитата:
злой дед говорил что сжал до 3.6 с помощью FreArc+precomp

тоже самое - берёте репак и смотрите как сделан

Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 13:03 30-12-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako
самый ужатый репак без видео встречал на 1,77 Г. Какими ты методами жмёшь?

Всего записей: 961 | Зарегистр. 17-04-2007 | Отправлено: 13:04 30-12-2009 | Исправлено: crotoff, 13:09 30-12-2009
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff
Пока только экспериментирую.  
Сейчас пытаюсь файлы с расширением p3d жать чисто интуитивно составленной строчкой. Пока не совсем во всем разобрался, так что ногами сильно не пинать, для многих строчка наверняка будет нубской )))
-ld1016mb -m=ecm+exe+delta+srep+paq8pf:6+7z:c+lzma:ultra:1024m+nz7:c
 
На фиг я туда ecm воткнул, сам пока не знаю ))) Интересует еще расшифровка nz7:c. Понятно, что это нанозип, но не понятен параметр. Доку, ессно, читал, но связать одно с другим пока не могу.
 

Цитата:
ну так возьмите этот репак и посмотрите как он сделан  

Так это же еще скачать надо... А это, при не удачном раскладе, минимум дня два.

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 14:48 30-12-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako
я конечно не знаю, из чего сделан p3d (векторные 3D-модели судя по расширению), но попробовал бы сперва -m=nz7:c а затем -m=lzma:ultra:1024m ну и может быть -m=paq8pf:7, оставив в итоге то что больше устроит по сжатию и скорости распаковки. А на всём наборе файлов уже б добавил srep и delta. ECM и exe тут явно лишние, exe лучше добавить перед экзешниками и dllками
 
Добавлено:

Цитата:
Интересует еще расшифровка nz7:c

:c подставляет параметр c при сжатии нанозипом - арифметическое сжатие, использующее всю доступную память. В зависимости от наличия памяти, результат может различаться. Арифметическое сжатие - симметричное, время сжатия и расжатия примерно одинаково (в отличие от LZMA например, rzm, csc31 и некоторых других, где скорость разжатия существенно больше)

Всего записей: 961 | Зарегистр. 17-04-2007 | Отправлено: 15:07 30-12-2009 | Исправлено: crotoff, 15:19 30-12-2009
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
я конечно не знаю, из чего сделан p3d

Вот сам бы хотел это знать... Но лежат в папке audio, что наводит на соответствующие мысли.
Попробую сделать, как ты говоришь.
 

Цитата:
:c

А, вот теперь ясно, почему он у меня почти 1.5Гб оперативы забирает. А можно задать ему ~512?

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 15:24 30-12-2009 | Исправлено: Kosako, 15:27 30-12-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako
можно задать принудительно  
m<0...n>[k,m,g]  memory usage (approximate)
для 512 в командной строке FA будет тогда так -m=nz7:c:m512m

Всего записей: 961 | Зарегистр. 17-04-2007 | Отправлено: 15:37 30-12-2009
47STRELOK



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
какой командой лучше сжимать .bin файлы? щас bin перегнал через precomp. щас тестирую сжатием.


-mx и -max с precomp разница в 600кб всего. (-mx -ld512 с прекомп = 122,087,319/ -max -ld512 с прекомп = 121,797,202)


-mx и -max без precomp разница в 10кб всего. (-mx -ld512 без прекомп = 126,862,983/ -max -ld512 без прекомп =126,254,079)


Почему-то до обработки precomp файл.bin весил 261мб, после обработки precomp стал весить 281мб использовал precomp через командн строку.  

Цитата:
C:/precomp/precomp.exe -slow C:/games/IL/levels/berlin.bin

 

Всего записей: 246 | Зарегистр. 25-10-2009 | Отправлено: 19:09 30-12-2009 | Исправлено: 47STRELOK, 19:11 30-12-2009
alkash101

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Почему-то до обработки precomp файл.bin весил 261мб, после обработки precomp стал весить 281мб

В этом и есть вся прелесть прекомпа. Сначала он "разжимает" файл, а затем этот же файл на ура жмётся тем же FreeArc'ом.

Всего записей: 3 | Зарегистр. 30-12-2009 | Отправлено: 20:23 30-12-2009
47STRELOK



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
ну хз. Какое сжатие лучше для .bin файлов?

Всего записей: 246 | Зарегистр. 25-10-2009 | Отправлено: 21:22 30-12-2009
alkash101

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Есть во истину уникальный метод. Метод "тыка". А, ну ещё стоит почитать доки - там много интересного.

Всего записей: 3 | Зарегистр. 30-12-2009 | Отправлено: 21:43 30-12-2009
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Метод "тыка". А, ну ещё стоит почитать доки

Что правда, то правда, я этим уже с неделю, если не больше занимаюсь.
 
Добавлено:

Цитата:
для 512 в командной строке FA будет тогда так -m=nz7:c:m512m

окно нанозипа на секунду открывается и тут же закрывается. Что-то мне подсказывает, что мне чего-то в arc.ini или еще куда-нибудь дописать надо...

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 01:12 31-12-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako
точно, не обратил внимания что там опции задаются нестандартно, будет работать если поменять строчку для nz7 в arc.ini:
 
packcmd  = nz7 a -c{option} -m512m $$arcpackedfile$$.tmp.nz $$arcdatafile$$.tmp
 
Добавлено:
тогда для упаковки через FA задавать просто -m=nz7:c
 
Добавлено:
в случае когда свободной памяти не хватает, можно добавить ключ -forcemem чтоб nz не уменьшал используемую память (задействует своп)
packcmd  = nz7 a -c{option} -m512m -forcemem $$arcpackedfile$$.tmp.nz $$arcdatafile$$.tmp
эти значения (512) всё равно приблизительные, что-то вроде ориентира

Всего записей: 961 | Зарегистр. 17-04-2007 | Отправлено: 08:44 31-12-2009
47STRELOK



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Какое сжатие будет лучше этого?   -m=rep:1gb+lzma:128m  , -max,-mx пробовал, не лучше для .bin файлов

Всего записей: 246 | Зарегистр. 25-10-2009 | Отправлено: 13:05 31-12-2009
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
эти значения (512) всё равно приблизительные, что-то вроде ориентира

Да, верно, используемая память уменьшилась с 1.5Гб до 1Гб. Вписывал  
packcmd  = nz7 a -c{option} -m512m $$arcpackedfile$$.tmp.nz $$arcdatafile$$.tmp  
 
Там еще есть
cmem = 1100
dmem = 1100  
В доке написано, что эти параметры описывают размер памяти используемый при распаковке и упаковке. Если их исправить на 512 что-нибудь измениться или нет?
 
Вообще хочу несколько конкретизировать. Мне в принципе сугубо по фиг сколько он во время сжатия использует оперативной памяти. А вот при распаковке объем используемой оперативы необходимо минимизировать
 
З.Ы. С наступающим, кстати )))

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 13:20 31-12-2009 | Исправлено: Kosako, 13:33 31-12-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako
cmem dmem не влияют на работу внешнего компрессора, это инфа для свойств arc-архива. Фактически выделяемая память для nz пишется в консоли когда компрессор запускается
 
Добавлено:
C новым годом, с новым щастьем и всё такое

Всего записей: 961 | Зарегистр. 17-04-2007 | Отправлено: 13:35 31-12-2009
47STRELOK



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
crotoff
Kosako
 
Почему? Вот я щас перегонял файлы .bin в .pcf  
допустим у меня файл game.bin он в game.pcf перегоняется на ура.
А вот есть ещё такие game.dxp.bin вот он почему-то в pcf не гонится, precomp на 3% вешается! в чем проблемма?

Всего записей: 246 | Зарегистр. 25-10-2009 | Отправлено: 14:34 31-12-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
47STRELOK
используй опции -v и -t-j или precomp v0.38
Посмотри заголовок game.dxp.bin  - может быть, он не содержит zipов и jpgов, тогда не стоит заморачиваться

Всего записей: 961 | Зарегистр. 17-04-2007 | Отправлено: 15:02 31-12-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru