Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
FROST999

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Я понял, как проверить есть ли смысл использовать прекомпрессоры,а вот как теперь все это в скрипте сделать?

Всего записей: 223 | Зарегистр. 27-11-2010 | Отправлено: 19:19 03-12-2010
datato



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Короче ребят, делал репак Blood Bowl, ужал его до 1,8. Был конфликт с Инно и Анрар. Пережал файл по новой.. (До этого было rar без сжатия -> srep -m3 -l300 -> 7z (lzma). Начал жать по новой - 7z (без сжатия) -> srep -m3 -l300 -> 7z (lzma), но что-то 7z совсем его не жал... Процент сжатия ~0... Почему? Параметры те же... Чем ему так не угодил 7z без сжатия...? Что можно сделать? P.S. Precomp здесь не помогает.

Всего записей: 154 | Зарегистр. 16-07-2010 | Отправлено: 23:28 03-12-2010
NiCKsOn123



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
tabak96
Секция "Сделать EXE"
datato
А чем фриарк не устраивает? 7z->srep->freearc

Всего записей: 76 | Зарегистр. 11-12-2009 | Отправлено: 06:20 04-12-2010
tabak96



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
та нет,я хочу через isdone bin распаковать но что то не получается

Всего записей: 21 | Зарегистр. 05-10-2010 | Отправлено: 11:56 04-12-2010
KillTimer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NiCKsOn123

Цитата:
А чем фриарк не устраивает? 7z->srep->freearc

7z на данный момент для репаков 7z-precomp-srep-??? предпочтительней, т.к. есть два больших плюса, 64-бит версия и LZMA2. По скорости вне конкуренции и по сжатию в некоторых случаях лучше.

Всего записей: 144 | Зарегистр. 13-05-2009 | Отправлено: 03:18 05-12-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
KillTimer

Цитата:
7z на данный момент для репаков 7z-precomp-srep-??? предпочтительней, т.к. есть два больших плюса, 64-бит версия и LZMA2. По скорости вне конкуренции и по сжатию в некоторых случаях лучше.

вот тут я не соглашусь по всем пунктам. Во-первых и во фриарк есть 64битный вариант алгоритма lzma, во-вторых по скорости фриарковская версия ни чуть не отстает от 7z, ибо скомпилена по чуть правленным тем же исходникам и на том же интеловском компиляторе, в-третьих lzma2 не может дать lc8, за счет чего он проигрывает алгоритму lzma, в-четвертых фриарк имеет более развернутую систему отображения возникшей ошибки, в-пятых сжатие 7z не может быть лучше FreeArc'а по определению, т.к. во фриарке используется тот же lzma, только с препроцессорами rep, delta и т.д. и если во фриарке с дефолтными настройками архив получился больше, чем у 7z, значит просто эти препроцессоры для текущих данных не эффективны и их необходимо отключить.

----------
переехал сюда

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 10:33 05-12-2010
skitonline

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите пожалуйста в каких случаях лучше использовать 7z=>precomp=>freearc, где нужен 7z=>srep=>freearc, и где 7z=>rep>freearc ? И какой лучше использовать алгоритм для репа ?

Всего записей: 53 | Зарегистр. 25-10-2010 | Отправлено: 11:56 05-12-2010 | Исправлено: skitonline, 14:04 05-12-2010
lorents



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Объясните, что за мода у всех делать Repack?
Извините за

----------
Image Catalyst - оптимизация изображений без потери качества

Всего записей: 3291 | Зарегистр. 30-12-2007 | Отправлено: 12:04 05-12-2010
NiCKsOn123



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lorents
А че еще делать, фапать?)

Всего записей: 76 | Зарегистр. 11-12-2009 | Отправлено: 14:08 05-12-2010
rupinskiy

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lorents
а зачем лишнее место занимать

Всего записей: 460 | Зарегистр. 16-07-2005 | Отправлено: 15:20 05-12-2010
KillTimer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Profrager
Речь шла исключительно о LZMA2

Цитата:
в-третьих lzma2 не может дать lc8, за счет чего он проигрывает алгоритму lzma

Если и проигрывает, то обычно очень незначительно. Неоднократно убеждался, что за счет более оптимального хранения несжимаемых данных, LZMA2 в большинстве случаев покрывает потерю от lc4.
Сейчас навскидку затестил на установленной Bejeweled 3.
Имя Размер Метод Затраченое время    
Несжатые данные 259 603 251 байт - -    
bejeweled3-1.arc 205 683 909 байт lzma:256mb:ultra:bf4:192:mc200000:lc8 00:01:51    
bejeweled3-1.7z 205 559 045 байт lzma2:256mb:ultra:bf4:192:mc200000:lc4 00:01:23  

Проигрыш FA и по скорости и по сжатию. Для lc8 очень малый объём сжимаемых данных, стоит попробовать на чем-нибудь побольше.
Имя Размер Метод Затраченое время    
Shank.7z.pcf.srp 2 441 461 344 байт - -    
Shank.7z LZMA2 1 666 534 085 байт lzma2:256mb:ultra:bt4:192:mc200000:lc4 00:24:48    
Shank.arc 1 655 650 568 байт lzma:256mb:ultra:bt4:192:mc200000:lc8 00:27:31

Здесь lc8 показывает себя, но! выигрыш в сжатии всего 0.7%, проигрыш по времени более 10%.

Цитата:
в-четвертых фриарк имеет более развернутую систему отображения возникшей ошибки

Да, это серьёзное преимущество...

Цитата:
в-пятых сжатие 7z не может быть лучше FreeArc'а по определению, т.к. во фриарке используется тот же lzma, только с препроцессорами rep, delta и т.д.

Цитата:
7z на данный момент для репаков 7z-precomp-srep-??? предпочтительней

Всего записей: 144 | Зарегистр. 13-05-2009 | Отправлено: 06:54 06-12-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
KillTimer

Цитата:
Речь шла исключительно о LZMA2

мне не попадались такие данные, где lzma2 бы выиграл lzma:lc8

Цитата:
Здесь lc8 показывает себя, но! выигрыш в сжатии всего 0.7%, проигрыш по времени более 10%.

ну а чего ты хотел, чтобы были лучшие параметры сжатия, а времени столько же тратилось? Да и выигрыш в 11 Мб при таком размере ИМХО - это прилично.

Цитата:

Цитата:
в-четвертых фриарк имеет более развернутую систему отображения возникшей ошибки  

 
Да, это серьёзное преимущество...
лично для меня да, потому как скачивающие с мультитрекера репак с битым образом и с 7z архивом не поймут почему у них не установится репак, в то время как во фриарк подробно распишется проблема.

----------
переехал сюда

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 08:14 06-12-2010
PAQer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Значится так, докладываю по поводу носа. Следуя дерзким советам отоларинголога, NOSSO (ака средний НОС) был повержен.
 
24,9 МБ (26 130 816 байт) NOSSO installer
24,7 МБ (25 989 608 байт) NOSSO dump
24,7 МБ (25 944 686 байт)  
ручная работа (x86 tricks, precomp) финальное сжатие всего добра: lzma.
 
Резерв:  
-полная lossless перепаковка (половина только) + фильтрация png.  
-перепаковка сжатых шрифтов (предположительно crypted deflate, а там кто его знает...)
-разбор ресурсов (в том числе фильтрация? nonpng графики и спец. алгоритм для ужатия).  
-текст (метра эдак два): dict?+lzp?+ppmd/rzm
-брутфорc lzma
прогнозируемый доп. выигрыш: 100-400кб

Всего записей: 161 | Зарегистр. 17-12-2007 | Отправлено: 09:22 06-12-2010
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
PAQer
А по времени как?

Всего записей: 8690 | Зарегистр. 08-06-2006 | Отправлено: 13:56 06-12-2010
lorents



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
PAQer
меня тоже интересует по времени, т.к. NOSSO переплюнуть можно, но вот времени требуется на много больше?

----------
Image Catalyst - оптимизация изображений без потери качества

Всего записей: 3291 | Зарегистр. 30-12-2007 | Отправлено: 15:55 06-12-2010
V2driver



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
PAQer
А меня интересует это:

Цитата:

Цитата:
гипотетическая lossless перепаковка OGG (~1.5гб данных) может дать дополнительные 100-400мб выигрыша.  

 
а есть ли такой пакер vorbis потоков?)

Всего записей: 462 | Зарегистр. 01-02-2010 | Отправлено: 17:07 06-12-2010
FROST999

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
я ужал все файлы из папки с игрой фриарком,начальный вес был 4.48 гб,а потом стал 4.28.Возможно ли получить лучшее сжатие.
P.S.игра Гарри Поттер 7,видел репаки по 2.5 гига.

Всего записей: 223 | Зарегистр. 27-11-2010 | Отправлено: 19:47 06-12-2010 | Исправлено: FROST999, 19:49 06-12-2010
skitonline

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FROST999
как устроен этот репак, скорее всего автор паковал 7z-srep-freearc

Всего записей: 53 | Зарегистр. 25-10-2010 | Отправлено: 21:05 06-12-2010 | Исправлено: skitonline, 06:51 07-12-2010
FROST999

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
skitonline
А 7z можно через винрар?

Всего записей: 223 | Зарегистр. 27-11-2010 | Отправлено: 21:09 06-12-2010 | Исправлено: FROST999, 21:10 06-12-2010
skitonline

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FROST999
Всмысле заместо 7z использовать winrar ? Ну впринципе думаю можно

Всего записей: 53 | Зарегистр. 25-10-2010 | Отправлено: 06:56 07-12-2010 | Исправлено: skitonline, 06:56 07-12-2010
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru