Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 21:57 30-01-2021
LonerDergunov



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sig666

Цитата:
прекомп не работает с зип архивами.

С большинством работает; с чем же ему еще работать, как не с зипами.
 
Andrey909

Цитата:
А если данные из архивов другой программой перепаковать в ZIP? Игра их увидит?

Видит, но не хочу извращаться.
К тому же при этом теряется поддержка патчей если таковые еще будут выходить (патчи в игре именно пропатчивают существующие файлы).

Всего записей: 2972 | Зарегистр. 11-07-2007 | Отправлено: 23:20 13-10-2009
Sig666

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
С большинством работает; с чем же ему еще работать, как не с зипами.  

Не попадался мне еще такой зип. Сейчас ради эксперимента упаковал exe 15mb 4 разными программами (WinRar, 7zip, Info-zip, pkzip) и ни один не прошел. А упакованный в WinRar'e и info-zip'e текстовый файл такого же объема прекомп разжал.  

Всего записей: 134 | Зарегистр. 15-01-2008 | Отправлено: 01:27 14-10-2009
WildGoblin



Ru-Board Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Обрабатываю файлы xdelta с последующим архивированием - даст ли что то сжатие в xdelta или лучше его отключить (-0)?

Сам же и отвечаю - лучше не сжимать, ставить параметр -0.

Всего записей: 19594 | Зарегистр. 15-09-2001 | Отправлено: 01:45 14-10-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LonerDergunov
внутри ZIP'ов могут быть файлы, которые precomp попытается обработать (пдфы, графика...) и на этом вылетит с ошибкой. Лучше скормить зипы precompу поодиночке а затем склеить в один. Я однажды пытался сжать кучку mov'ов (внутри MJPEG потоки), так вот из шести мувиков 5 сжались нормально, а на одном постоянно вылетал, хзнает почему

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 09:41 14-10-2009
WildGoblin



Ru-Board Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Хочется узнать, кто по каким критериям определяет файлы годные для последующей их обработки xdelta?
egor23

Цитата:
кроме -B и другие параметры и т.п. хотят память

Если не трудно не могли бы вы рассказать про эти другие параметры так же как и про -B?

Всего записей: 19594 | Зарегистр. 15-09-2001 | Отправлено: 14:23 14-10-2009 | Исправлено: WildGoblin, 15:28 14-10-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
WildGoblin

Цитата:
Если не трудно не могли бы вы рассказать про эти другие параметры так же как и про -B?

больше ничего детального рассказать не смогу.

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 15:20 14-10-2009
LonerDergunov



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff

Цитата:
скормить зипы precompу поодиночке

Выборочно пробовал несколько зипов с разным содержимым сжать поотдельности - результата нет.
То ли архивы какие-то интересные, то ли нужны ухищрения.
В общем, вот несколько архивов, может кому интересно будет поколдовать:
http://dreamlair.net/download/Zip.rar

Всего записей: 2972 | Зарегистр. 11-07-2007 | Отправлено: 21:52 15-10-2009
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LonerDergunov
значит так. precomp использует тот простой факт, что большинство зипов создано с помощью zlib и надо просто перебрать ~100 вариантов его настройки чтобы найти нужный. архивы созданные другими алгоритмами (7-zip, power archiver и т.д.) ес-но не перепакуются

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 22:05 15-10-2009
Andrey909

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LonerDergunov

Цитата:
Видит, но не хочу извращаться.  
К тому же при этом теряется поддержка патчей если таковые еще будут выходить (патчи в игре именно пропатчивают существующие файлы).

 
ZIP архивы в русской версии от Акеллы (и в выложеном тобой архиве) выглядят как:
NWN2_Materials.zip
NWN2_Materials_v104.zip
NWN2_Materials_v106.zip
... и т.д.
Мне кажется, что архивы не патчатся, а добавляются. Следовательно и поддержка патчей сохранится при перепаковке.
 
Bulat_Ziganshin
В папке с игрой присутствует zlib1.dll версии 1.2.1.1429.

Всего записей: 47 | Зарегистр. 05-04-2008 | Отправлено: 22:46 15-10-2009
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
В папке с игрой присутствует zlib1.dll версии 1.2.1.1429.  

видимо, нужно детальней пояснить. есть формат deflate, сжать в него одни и те же данные можно многими способами, при этом любой zip-архивтор сможет их распаковать. precomp настроен на формат данных, СОЗДАВАЕМЫЙ zlib. то что там dll лежит свидетелсьтвует лишь о том что игрушка РАСПАКОВЫВАЕТ с его помощью. а сжимать они могут тем же 7-zip или kzip ради улушчения сжатия на пару процентов

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 22:55 15-10-2009
LonerDergunov



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Спасибо за пояснения.
 
Andrey909

Цитата:
Мне кажется, что архивы не патчатся, а добавляются.

Версия английская, архивы добавляются, но по крайней мере некоторые патчатся (уже этот факт выяснен давно, еще вскоре после выхода игры в 2007-м, когда на мою перепакованную версию с пережатыми зипами не стал один из патчей ).
 
Интересно, а кто в августе делал репак BlackSite Area 51 ?
Каким образом можно во FreeArce сжать так, что напрямую через FreeArc потом невозможно распаковать??
Показывает, что в параметрах сжатия никакой экзотики
precomp+rep:512mb:a99+delta+lzma:512mb:max:bt4:128
Но распаковать невозможно, генерируется tmp-файл, а потом FreeArc полностью вылетает.

Всего записей: 2972 | Зарегистр. 11-07-2007 | Отправлено: 19:12 16-10-2009
Xuligator

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Связка Inno Setup 5.3.5 + скрипт FreeArc_Example-Ext v3.3  + precomp 0.4
 
Всё, разобрался - я там одну строчку не заметил, оказывается) Теперь архив, сжатый с precomp, отлично распаковывается прямо с диска (образно говоря - а пока что из папки просто) в целевую папку.
 
Только один вопрос: что и где в скрипте, основанном на FreeArc_Example-Ext v3.3 прописать, чтобы распаковка precomp архива шла в тихом, невидимом режиме. На данный момент вылазит командное окно precomp04.exe
 
http://slil.ru/28090191 - видео (800кб)

Всего записей: 16 | Зарегистр. 26-06-2007 | Отправлено: 22:06 16-10-2009 | Исправлено: Xuligator, 13:48 17-10-2009
WildGoblin



Ru-Board Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Xuligator

Цитата:
если я правильно понял документацию, распаковывать precomp архивы прямо с диска установки

С CD?

Всего записей: 19594 | Зарегистр. 15-09-2001 | Отправлено: 13:00 17-10-2009
Andreycko



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LonerDergunov я незнаю кто делал в августе  репак BlackSite Area 51 но у меня получилось с precomp сжать в 3,07 ГБ.  
Xuligator Слушай я никак немогу сделать скрипт для Inno  чтобы он распаковывал мой архив созданный с помощь precomp, можешь  поделится своим скриптом в качестве примера ?
 

Всего записей: 86 | Зарегистр. 13-04-2008 | Отправлено: 11:36 18-10-2009 | Исправлено: Andreycko, 11:53 18-10-2009
DemonAk



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Только один вопрос: что и где в скрипте, основанном на FreeArc_Example-Ext v3.3 прописать, чтобы распаковка precomp архива шла в тихом, невидимом режиме. На данный момент вылазит командное окно precomp04.exe

Окно вызывается unarc.dll и никак не связано со скриптом, так что ждем, когда у булата будет свободное время, чтобы сделать окно не видимым.
 
Andreycko
Всего навсего в скипте FreeArc_Example-Ext раскоментируй строчку
;#define precomp GetEnv("ProgramFiles") + "\FreeArc\PowerPack\Max\*" убрав вначале ';' и будет тебе счастье

Всего записей: 315 | Зарегистр. 08-11-2007 | Отправлено: 15:05 18-10-2009
Andreycko



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DemonAk
Спасибо помогло

Всего записей: 86 | Зарегистр. 13-04-2008 | Отправлено: 16:41 18-10-2009
Roden37101



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
подскажите плз,
чтоб сделать архив fa + precomp
что вписать в профиль упаковки?

Всего записей: 194 | Зарегистр. 20-06-2009 | Отправлено: 14:16 22-10-2009
vint56



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Такие Пойдут
В FreeArc в строке компрессия вписывай эти параметры  
 
-m=precomp04+rep:2047m+lzma:256
-mprecomp+exe+rep:500m+delta+rzm
-ep1 -r -ld1gb -m=precstj+rep:1gb:a99+lzma:190mb:max:bt4:273:mc10000
lzma:448mb:normal:128:mc2
precomp:+rep:512mb:a99+delta+lzma:128mb:max:bt4:128
-mprecomp+exe+rep:500m+delta+rzm
rep:512mb+exe+delta+lzma:128mb:max:bt4:128
rep:512mb+lzma:128mb:normal:32
-ep1 -r -ld1gb -mm=max -m=rep:1gb:a99+lzma:800mb:a2:273:mc16
-mx -ld1280m

Всего записей: 1277 | Зарегистр. 07-10-2008 | Отправлено: 15:09 22-10-2009
daemon_rm

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
всем привет.  
пытаюсь сжать с такими параметрами.. -mx -ld800m -m=precs+rep:1gb:a99+delta
 
прекомп делает свою работу но сжатие не происходит т.е получается архив равный обьему pcf.

Всего записей: 152 | Зарегистр. 03-10-2009 | Отправлено: 00:08 23-10-2009
WildGoblin



Ru-Board Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
daemon_rm

Цитата:
прекомп делает свою работу но сжатие не происходит т.е получается архив равный обьему pcf.

Наверное прекомп ничего не разжал поэтому и получается архив равный обьему pcf.

Всего записей: 19594 | Зарегистр. 15-09-2001 | Отправлено: 01:12 23-10-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru