Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
Inoz2000



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
LZMA и в Африке LZMA
А откройте справку по 7-Zip и там про размер словаря есть.

Всего записей: 3496 | Зарегистр. 23-04-2009 | Отправлено: 12:26 11-12-2014
Highpass

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Inoz2000
Цитата:
LZMA и в Африке LZMA

Ошибаетесь, гражданин.
LZMA многолик и имеет, пусть не огромное, но всё таки приличное количество реализаций.
Например скажите мне, сколько match finder-ов существует для LZMA? Можете даже поглядеть в свою великую справку. Их не 4, как там указано.
Мало кто помнит, что на определенном этапе 7-zip перестал поддерживать такие MF, как Patricia Tree и HC3. Естественно перестал поддерживать на уровне создания; на уровне формата всё в порядке. Но да Бог с ним, с 7-zip. По сути 7-zip это каноническая реализация.
Гораздо интересней выглядит LZMA в FreeArc и в некоторых не менее интересных проектах Булата. Достаточно сказать, что Булатовский LZMA (при равных настройках с 7-zip) лучше сжимает, тратит при этом меньше памяти, работает быстрее. Пруф есть на encode, так что лень постить сюда результаты.
Плюс к этому дополнительно реализован match finder HT4 (не путать с HC4), доступно управление размером хэша, и допускается возможность использования словаря более 1Гб.
Так же нельзя не вспомнить совершенно неафриканский LZMA в виде plzma от Евгения Шелвина, где он прикрутил другой энтропийный кодер, поднял максимальный размер словаря выше планки в 1Гб, дал возможность настраивать совершенно мутные параметры, как то например alignStep, lenStep и прочие.
Наконец упомяну DLZ - непубличный проект, использующий lzma и модели, заточенные под определенные типы данных. Может использоваться и на обычных файлах.
Помимо этого словарь может быть выше 1Гб, опционально включается контекстное моделирование полностью для всего диапазона дистанций совпадений, порог для fast bytes повышен до 337, улучшен range coder, повышена точность статистики, блэк-джек etc.
Так что в следующий раз, при вопросе о LZMA, я думаю ты сможешь ответить более развернуто

Всего записей: 56 | Зарегистр. 23-06-2009 | Отправлено: 15:50 27-12-2014
cuneiform

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ПРЕКОМПРЕССОР ШНАДЕРА
 
http://schnaader.info/precomp.php#d
 
Precomp - это прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).
 
Precomp Comfort является разновидностью Precomp. Он поддерживает drag-and-drop для отдельных файлов и использование ini-файла для параметров.
 
Cсылки на скачивание софта -- в статье выше, не забудьте отключить в прекомпрессоре внутреннюю bZip2 компрессию! Добавлено: В зипе скачиваются обе версии сразу.  
 
Немецкий прекомпрессор (как, впрочем, и UHARC) делает свое дело. - Меня особенно впечатлила реальная возможность сжать на 45% и даже более -- в разы -- файлы JPG, PDF, GIF. при архивированиии графики .
 
Запустив Precomp Comfort c десктопа,  Drug-and-Drop переносим файлы на иконку прекомпа и получаем вместо оригиналов PCF файлы. Делаем им вторую перекомпрессию, например, Nanozip'ом.  
 
В результате получаем графику JPG в архиве со сжатием более 46%.  
 

 
Здесь показано, что FreeArc (arc), и даже фирменный StuffIt (sitx) -- гарантирующий 25% сжатие jpeg'ов! --  н а м н о г о уступают синтетической сборке   p r e c o m p + n a n o z i p .  
 
По PDF файлам выигрыш от прекопрессора еще больше:  
 

 
Видно, что без использования прекомпрессора выигрыш от использования нанозипа составляет лишь  473 Кб ---> 359 Кб,  
зато с прекомпрессолром уже 473 Кб ---> 92 Кб, то есть, примерно, выходной файл составляет 1/5 или 20% от исходного.  
 
По GIF файлам прекомпрессор позволил получить выходной файл размером примерно 30% от исходного.  
 
Прекомпрессор Шнайдера просто просится в архиваторы!
 

 
Здесь jpg файл сначала был внедрен в вордовский файл docx - 862 Кб.
Оригинальный PAQ8l смог сжать его только до 850 Кб. А Peazip c опцией zpaq сдалал при сжатиии файл еще больший, чем был оригинал - 863 Кб. С помощью прекомпрессора оригинальный файл декопрессирован до 7,7 Мб в формате PCF. ПОсле чего его вновь можно пытаться сжать. ПРостой Zip / ТС этого сделать как следует не смог - 1,45 Мб. И только Nanozip дожал PCF файл до 263 Кб. -- Попробуйте сжать лучше.

Всего записей: 1902 | Зарегистр. 27-04-2006 | Отправлено: 04:34 01-02-2015 | Исправлено: cuneiform, 10:55 27-09-2016
SLasH

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Приветствую всех!
Помогите пожалуйста распаковать оверлей из InstallShield-а.
Нашёл ссылку. Там описываются QuickBMS-скрипты, но что-то не работают они как нужно.

Всего записей: 723 | Зарегистр. 08-10-2002 | Отправлено: 00:54 03-02-2015
VitaminP



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
cuneiform
Цитата:
ПРЕКОМПРЕССОР ШНАЙДЕРА
А как им пользоваться? С ключами не разобрался. Например как преобразовать JPG файл в распакованный вид?

Всего записей: 286 | Зарегистр. 28-08-2013 | Отправлено: 10:56 03-02-2015 | Исправлено: VitaminP, 10:57 03-02-2015
cuneiform

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VitaminP
 
Вы не прочли мой пост. С ключами даже не надо разбираться, в комфортной версии его заменяет ini-файл. Как пользоваться - написано в моем посте также - переносом файла на иконку на десктопе. И обратно таким же путем.  

Всего записей: 1902 | Зарегистр. 27-04-2006 | Отправлено: 13:32 03-02-2015
VitaminP



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
cuneiform
Цитата:
в комфортной версии его заменяет ini-файл
А где взять этот ini-файл?

Всего записей: 286 | Зарегистр. 28-08-2013 | Отправлено: 15:02 03-02-2015
cuneiform

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VitaminP
 
В комфортной версии (ComfortPrecomp), естессно, сам образуется при запуске.  
 
Это написано и в моем посте, и в оригинале на сайте. Но Вы даже перевод (пост) не хотите изучить. Прежде чем за дело бораться, надо же все материалы изучить, сначала теория, потом практика.  
 

Цитата:
 Precomp Comfort является разновидностью Precomp. Он поддерживает drag-and-drop для отдельных файлов и использование ini-файла для параметров.
 
Cсылки на скачивание софта -- в статье выше  

Всего записей: 1902 | Зарегистр. 27-04-2006 | Отправлено: 15:57 03-02-2015 | Исправлено: cuneiform, 20:18 03-02-2015
sergejd652

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
кто следит за темой ,ссылки давно не рабочие
а если не робит ,так пожалуйста удалите из шапки

Всего записей: 1 | Зарегистр. 03-11-2009 | Отправлено: 20:11 26-02-2015
VitaminP



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Сделал экспериментальный консольный архиватор, навеянный идеями из этой темы. Используются программы: Srep, Precomp, PackJPG, Mpz и др.; производится прекомпрессия офисных документов, некоторых графических файлов и архивов Rar, Zip, 7z. Цель программы - максимальное сжатие большого массива файлов. В качестве финального алгоритма сжатия используется 7-zip либо NanoZip. Некоторые типы файлов (архивы, документы) после распаковки не соответствуют байт в байт оригиналу, но содержимое соответствует. Если кому интересно архиватор здесь: https://yadi.sk/d/RjaXT_BpiDhtj

Всего записей: 286 | Зарегистр. 28-08-2013 | Отправлено: 10:17 02-08-2015 | Исправлено: VitaminP, 20:34 27-09-2016
dixen18

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VitaminP
Попробовал...Выбрал режим 2 - просто пожалось 7zip и все

Всего записей: 25 | Зарегистр. 29-05-2011 | Отправлено: 00:36 12-08-2015
VitaminP



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
dixen18
Цитата:
Выбрал режим 2 - просто пожалось 7zip и все

На финальной стадии действительно всё помещается в 7-zip контейнер.  
На "борту" есть архиватор NanoZip и на максимальном сжатии за счёт дополнительных методов сжатия может сжать сильнее, чем самостоятельный NanoZip.

Всего записей: 286 | Зарегистр. 28-08-2013 | Отправлено: 11:46 12-08-2015 | Исправлено: VitaminP, 11:30 14-06-2016
renats84



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Pasha_ZZZ

Цитата:
SmartVersion

Выложи, ищу уже не знаю сколько времени. На сайте поиск не работает.

Всего записей: 1629 | Зарегистр. 18-03-2010 | Отправлено: 13:21 22-01-2016
JukvMuravenike

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вынужден задать весьма идиотский вопрос.))
До этого паковал просто Inno Setup.
Пытаюсь, и пока не очень удачно)), начать использовать Precomp и Srep.
Прочёл тонны записей, но так и не понял как ими работать.))
Если вам не сложно, уделите мне пять минут вашего времени, дайте, пожалуйста, ссылку на мануал (желательно подробный) по этим программам.
Спасибо.)

Всего записей: 1 | Зарегистр. 04-02-2016 | Отправлено: 22:23 04-02-2016
cuneiform

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Камерады!
 
Хорошая новость: Есть последняя стаб. версия precomp'a Шнадера - 0.4.5! - Так на авторском сайте!
 
Список обрабатываемых файлов (неполный) с сайта Шнадера:
PDF
JPG
MJPEG
PNG
GIF
 
Плохая новость: http://www.nanozip.net/download.html - сервак не работает, неизвестно, жив ли разраб? - Свое детище он был не оставил. - Где бы посмотреть, когда сервак еще работал?
 
Поскольку лучших вариантов до сих пор нет, предлагаю собрать комбинацию
2 в 1 типа precompa + nanozip и регулярно отслеживать появление новыъ версий precomp'a
 
Что надо при этом учитывать:
1/ Шнадер выполнил обюещание и выложил коды с подробным описанием (читать!)
https://github.com/schnaader/precomp-cpp.
 
2/ По дефолту у него включен алгоритм сжатия B2Zip, который надо отключить для работы с nanozip (и другими также!).
 
3/ Для других типов файлов, не указанных в полном "неполном" списке Шнадера на его сайте и могущих использовать потоки Deflate и Zlib, он требует использoвания параметра  
 (-intense) для них.
 
4/ Виду сложности преобразований при работе с памятью, нужно предусмотреть опцию проверки TEST для обратного преобразования файла и записи его с постфиксом _rec, присоединенному к имени файла, например picture_rec - после проверочного открытия их можно будет автоматом затереть.
 
5/ Пакетная обработка файлов в директории.  
 
 
 

Всего записей: 1902 | Зарегистр. 27-04-2006 | Отправлено: 11:41 27-09-2016 | Исправлено: cuneiform, 17:15 27-09-2016
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
так вроде уже 0.4.6 обсуждают на encode.ru?

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 13:23 27-09-2016
cuneiform

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff
 
https://drive.google.com/drive/folders/0B-yOP4irObphSGtMMjJSV2tueEE
 
В списке старых версий о.44 , значит последняя о.45 - как и указано на сайте автора;
похоже его самого публика вводит в заблуждение или получила от него бетку.
 
На encode.ru caм автор в нитке precomp_dev0.46 ссылается в своих постах на 0.4.5 !

Всего записей: 1902 | Зарегистр. 27-04-2006 | Отправлено: 16:33 27-09-2016 | Исправлено: cuneiform, 16:40 27-09-2016
VitaminP



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
cuneiform

Цитата:
Плохая новость: http://www.nanozip.net/download.html - сервак не работает, неизвестно, жив ли разраб?
На сайте encode.ru проскочила информация, что автор nanozip умер от рака. Печально конечно, если это правда.

Всего записей: 286 | Зарегистр. 28-08-2013 | Отправлено: 18:09 27-09-2016 | Исправлено: VitaminP, 18:10 27-09-2016
cuneiform

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VitaminP
 
уверен, что он бы не бросил свое детище по своей воле, сразу почему-то подумалось про фатализм судьбы... такой именной интернет-адрес просто так не бросают... жестокая жизнь

Всего записей: 1902 | Зарегистр. 27-04-2006 | Отправлено: 18:40 27-09-2016
Diana_Kovalenko

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ребята последний слепок был сделан 27-08-16 кому нужно скачивайте NanoZip
https://web.archive.org/web/20160827034208/http://nanozip.net/

Всего записей: 12 | Зарегистр. 22-02-2015 | Отправлено: 19:38 29-09-2016 | Исправлено: Diana_Kovalenko, 19:39 29-09-2016
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru

Рейтинг.ru