Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
AJIeKc89



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
кто в курсе, чем можно распаковать файлы с расширением .pak в готики 4?

Всего записей: 58 | Зарегистр. 19-04-2010 | Отправлено: 09:45 18-10-2010
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
AJIeKc89
Попробуй GAUP, от 3-й он точно распаковывает.

Всего записей: 10127 | Зарегистр. 11-03-2002 | Отправлено: 09:57 18-10-2010
AJIeKc89



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
del  
 
*распаковал с помощью quickbms*

Всего записей: 58 | Зарегистр. 19-04-2010 | Отправлено: 10:22 18-10-2010 | Исправлено: AJIeKc89, 11:50 18-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
потому что они не пожаты стандартным zlib'ом.
однако ж этот нестандартный zlib поддерживают практически все zip декомпрессоры и в инфе об этом файле пишется метод упаковки: deflate нормальный. Раз эти потоки стандартные для zip'а, странно почему автор precomp'а не включил их обработку.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 11:22 18-10-2010
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
дело в том, что precomp гарантирует восстановление deflate потока из несжатого очень простым образом - в него зашит алгоритм zlib. встречая deflate поток, он его распаковывает, и затем жмёт zlib'ом с разными параметрами. если удалось пожать так что получился оригинальный сжатый поток, то всё ок, а если нет - то извините.  
 
т.е. нет проблем расжать этот deflate. есть проблема записать как эти данные затем должны быть сжаты чтобы получить в точности то что было в оригинальном файле

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 11:26 18-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
все понятно) значит, чтобы прекомп нормально разжал данный поток, в него надо встроить тот алгоритм упаковки, который используется, например, в твоем FreeArc'е для Zip'а.
И вот почему Шнайдер совсем прекратил работу над своим проектом? Я вот,например, вижу, что его еще можно прилично развить, типа убрать все темп файлы в оперативку, а создавать их только если ее не будет хватать; судя по дизассемблированному коду, там есть следы использования stdin/stdout, но не воплощено пока в жизнь (а так классно выглядело бы в связке с FreeArc'ом). Вообще идей много и вижу как их можно реализовать, но руки у меня для этого пока не из того места растут)

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 12:46 18-10-2010 | Исправлено: Profrager, 12:48 18-10-2010
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Profrager
потому что это не приносит денег

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 12:49 18-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
как все банально...
 
Добавлено:
раз не собирается что-то делать, почему же тогда исходники лежат в закромах его личных папок. Отдал бы на свободное плавание, проект хоть как-то развиваться бы стал

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 12:55 18-10-2010
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
причина та же - а вдруг это принесёт деньги
 
впрочем я по себе сужу, может он как вы боится что сопрут его гениальную идею

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 13:00 18-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
ну как бы и без его исходников можно аналогичное сделать..а то у него код ппц не оптимизированный...

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 13:04 18-10-2010
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
freearc тоже можно сделать, ничего умного в нём нет. странно что не сделали да?

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 13:06 18-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ну у тебя собственные разработки алгоритмов есть, а там все от сторонних проектов.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 13:18 18-10-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Kosako
 
Цитата:
Все, я уже не знаю что с этим дарксайдерс изобрести можно (да, я до сих пор вокруг него с бубном пляшу).
 
 
Цитата:
data-a.bin - precomp+rep+srep+lzma  

Да пробовал, не получается. Хотяаааа... Ща еще мысль в голову пришла... Ща испытаю.
 
 
Добавлено:
Pasha_ZZZ
m3 только при первой запаковке подходит, т.е. аналогично
Цитата:
precomp+rep
Но там разница не значительная. В краткости, среп тут только один раз используется. И как раз по выше указанной системе, precomp+rep+srep+lzma

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 14:48 18-10-2010 | Исправлено: Kosako, 14:52 18-10-2010
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Kosako
А если SRep -m3 -> PreComp -> LZMA?

Всего записей: 10127 | Зарегистр. 11-03-2002 | Отправлено: 14:57 18-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Pasha_ZZZ

Цитата:
А если SRep -m3 -> PreComp -> LZMA?

от тебя такое видеть.. Как же precomp распакует zlib'ы, если они уже будут попорчены srep'ом..

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 19:17 18-10-2010
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Profrager
Повторы в разных zlib'ах случаются редко. Чаще мы видим полностью повторяющиеся zlib-потоки, вот эти повторы и можно устранить.

Всего записей: 10127 | Зарегистр. 11-03-2002 | Отправлено: 19:33 18-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Pasha_ZZZ
ну почему же. Ежели, к примеру, начало файлов, упакованных zlib'ами будет одинаково, то и сами сжатые данные будут на начальном участке те же. Плюс к этому srep, если не указывать для него третий файл - индексный, будет мусорить своей lz77 инфой даже в полностью повторяющемся zlib потоке через определенный промежуток данных и восстановить такое явно у прекомпа не получится.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 00:07 19-10-2010
Kosako



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Все, сделал. Precomp04 slow (чтобы не проходить два раза 038)>FreeArc (rep:512mb:a99) с измененным расширением на rep>srep (тут извращнулся, l256 и m3)>FreeArc (lzma:512mb:normal:128:mc64:lc8), ну и в итоге получился наконец 2.37
Теперь бы с xdelta разобраться. Никогда не приходилось раньше пользоваться. Имеется streams.ospc на 839мб, после xdelta ~85мб... В FAQ почитал про DMC, мало чего понял -_-
И, как я понял, в 7z без сжатия файлы лучше не совать, а обрабатывать прекомпом так, через батник. Иначе нужный размер, как не пляши, не получишь.

Всего записей: 243 | Зарегистр. 27-11-2009 | Отправлено: 01:26 19-10-2010 | Исправлено: Kosako, 02:29 19-10-2010
Shegorat



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Теперь бы с xdelta разобраться. Никогда не приходилось раньше пользоваться. Имеется streams.ospc на 839мб, после xdelta ~85мб... В FAQ почитал про DMC, мало чего понял -_-

Не путай, там два файла streams.ospc, один русский другой английский, они на 90 процентов похожи. Здесь можешь посмотреть примеры работы с xdelta

----------
Krinkels.org - создание инсталляционных пакетов.
Как много дел считались невозможными, пока они не были осуществлены.

Всего записей: 695 | Зарегистр. 09-06-2009 | Отправлено: 06:11 19-10-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kosako

Цитата:
И, как я понял, в 7z без сжатия файлы лучше не совать, а обрабатывать прекомпом так, через батник. Иначе нужный размер, как не пляши, не получишь.  

тут еще важную роль играет сортировка файлов.

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 08:01 19-10-2010
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru