Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
ALExey1995



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Snoopak96
незнаю, незнаю, я таким методом как я писал на 100мб меньше получал чем просто среп-арк
 

Всего записей: 212 | Зарегистр. 07-11-2010 | Отправлено: 00:05 20-07-2011 | Исправлено: ALExey1995, 15:27 20-07-2011
Robkovich



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
вы потеряете степень сжатия в LZMA при таком варианте упаковки, так что лучше юзать просто srep, хотя конечно всё зависит от данных.

Да, при обработке срепом вышло на 300 мб меньше, чем реп+среп. Как раз мои искомые 300 мб
 

Цитата:
фриарк открывает среп.

Пропробовал открыть пишет: http://s50.radikal.ru/i129/1107/c0/f71eee366114.png

Всего записей: 26 | Зарегистр. 30-05-2011 | Отправлено: 01:24 20-07-2011 | Исправлено: Robkovich, 01:36 20-07-2011
Snoopak96

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
незнаю, незнаю, я таким методом как я писал на 100мб меньше получал чем просто среп-арк  

Нынешний Srep находит обычно все повторы.
 

Цитата:

Цитата:
фриарк открывает среп.

 
Пропробовал открыть пишет: http://s50.radikal.ru/i129/1107/c0/f71eee366114.png

И не откроет.
 

Всего записей: 303 | Зарегистр. 30-06-2010 | Отправлено: 02:27 20-07-2011 | Исправлено: Snoopak96, 04:42 20-07-2011
Bulat_Ziganshin

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
[/q]

Цитата:
Дело в том, что при вскрытии обоих архивов арк инфо показывает - rep:512mb

[q]Хм, попробовал распаковать якобы переименованный arc архив (*.rep) через isdone вылезла ошибка, оказалось, что это всё-таки rep файл, только вот теперь интересно, а как он открывается во freearc, хотя файлы не извлекаются, вылазит ошибка :\

 
это из-за того, что freearc ищет заголовки любого архивного формата и находит их
 
раньше rep+srep имело некоторые преимущества над чистым srep, сейчас в 2.9x "srep -m3f" должно сжимать не хуже и требовать памяти не больше чем rep+srep

Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 12:10 20-07-2011
Robkovich



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Snoopak96
Bulat_Ziganshin
Ок, спасибо за ответы

Всего записей: 26 | Зарегистр. 30-05-2011 | Отправлено: 12:58 20-07-2011
Robkovich



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вычитал в faq precomp'a:
"-brute...
Если у вас имеются данные, которые должны быть обработаны с этим режимом, лучше попробовать добавить zLib заголовки самостоятельно."
Мне нужно обработать файлы в precomp'e с параметром "-brute". Вот собственно вопрос - а как добавить эти самые zLib заголовки?

Всего записей: 26 | Зарегистр. 30-05-2011 | Отправлено: 19:33 20-07-2011 | Исправлено: Robkovich, 19:36 20-07-2011
Snoopak96

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Robkovich,
Замучаешься сам упаковывать с таким параметром и замучаешь тех кто скачет твою работу временем установки. Вот здесь более менее нормальный FAQ по прекомпу есть:
 
http://forum.krinkels.ru/showthread.php?t=22  

Всего записей: 303 | Зарегистр. 30-06-2010 | Отправлено: 20:13 20-07-2011
Robkovich



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Snoopak96
Да я знаю, но пробовал разжать файлы с -slow, но precomp их не разжал, засунул несколько таких же файлов в архив и обработал с брут и precomp их разжал.
 

Цитата:
Вот здесь более менее нормальный FAQ по прекомпу есть:  
http://forum.krinkels.ru/showthread.php?t=22

Спасибо, но такой фак я тоже уже читал, пробовал с различными параметрами разжать, но толку - 0. Не могу понять как же -Ultra- разжал. Не на бруте же он обрабатывал, хотя время установки его репака 35 минут.
PS precomp 0.38
 
 

Цитата:
и замучаешь тех кто скачет твою работу временем установки

Да я никуда выкладывать пока не собирался, хочу для себя сделать

Всего записей: 26 | Зарегистр. 30-05-2011 | Отправлено: 02:03 21-07-2011 | Исправлено: Robkovich, 05:33 21-07-2011
Sig666

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Robkovich
У brute и slow нет разницы во времени упаковки, так что можешь смело пользоваться

Всего записей: 134 | Зарегистр. 15-01-2008 | Отправлено: 05:41 21-07-2011
Robkovich



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
del

Всего записей: 26 | Зарегистр. 30-05-2011 | Отправлено: 06:38 21-07-2011 | Исправлено: Robkovich, 14:15 21-07-2011
WildGoblin



Ru-Board Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Sig666

Цитата:
У brute и slow нет разницы во времени упаковки...
Есть!

Всего записей: 20283 | Зарегистр. 15-09-2001 | Отправлено: 09:59 21-07-2011
PAQer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
У brute и slow нет разницы во времени упаковки...


Цитата:
Есть!  

Док-ва в студию. При одинаковом размере pcf естественно.

Всего записей: 161 | Зарегистр. 17-12-2007 | Отправлено: 11:13 21-07-2011
Snoopak96

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
PAQer
Ты не так понял наверно, про упаковку речь идёт. Да и в распаковке, если одинаковый размер pcf - смысла нет юзать brute.
 
Sig666
Скорость обработки в режиме перебора 10 кб/мин примерно.
 
Robkovich
Не лазил бы ты по чужим репакам.

Всего записей: 303 | Зарегистр. 30-06-2010 | Отправлено: 12:19 21-07-2011
WildGoblin



Ru-Board Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
PAQer

Цитата:
Док-ва в студию. При одинаковом размере pcf естественно.
Какие док-ва? Попробуй сам обработать файл прекомпом с параметром slow, а потом с brute - разница во времени очень существенная!
Да что говорить - мне никогда не удавалось дождаться финала обработки прекомпом с параметром brute! Вот обработал сейчас архив 25мб с параметром slow - это заняло 38ms, с параметром brute - я уже написал этот пост, а на счётчике ещё только 0.1%!
 
Snoopak96

Цитата:
Ты не так понял наверно, про упаковку речь идёт.
Если быть точным, то речь всё же не про упаковку, а про распаковку! Изначально говорилось:

Цитата:
Мне нужно обработать файлы в precomp'e с параметром "-brute".

Про изначальную обработку файлов прекомпом не верно говорить как про упаковку!
 
Добавлено:

Цитата:
Не лазил бы ты по чужим репакам.
lol

Всего записей: 20283 | Зарегистр. 15-09-2001 | Отправлено: 13:00 21-07-2011
Robkovich



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Не лазил бы ты по чужим репакам.

Хм, позволь узнать, что в этом такого?

Всего записей: 26 | Зарегистр. 30-05-2011 | Отправлено: 13:20 21-07-2011 | Исправлено: Robkovich, 13:24 21-07-2011
PAQer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Упаковка в прекомпе это когда из pcf в оригинал, по дефолту он пытается разжать, если кто не знал.  
 

Цитата:
разница во времени очень существенная!  

при восстановлении в оригинал из pcf?

Всего записей: 161 | Зарегистр. 17-12-2007 | Отправлено: 14:12 21-07-2011
WildGoblin



Ru-Board Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
PAQer

Цитата:
Упаковка в прекомпе это когда из pcf в оригинал
Да.

Цитата:
при восстановлении в оригинал из pcf?
Нет конечно - из оригинал в pcf.

Всего записей: 20283 | Зарегистр. 15-09-2001 | Отправлено: 14:44 21-07-2011
Snoopak96

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Хм, позволь узнать, что в этом такого?

Ну а смысл копировать кого-то? что б научится - хватает справки обычно.
А так на первый взгляд пройдись по параметрам l, brute+f, s.

Всего записей: 303 | Зарегистр. 30-06-2010 | Отправлено: 23:34 21-07-2011
PAQer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
на днях тут, можно сказать, на коленке написал прогу, которая в зависимости от типа dds'ки

Лучше поздно чем никогда.  Вот к чему мы пришли спустя полгода.
 
Финальный размер текстур 1,29 ГБ (1 388 125 739 байт)
кстати говоря, ещё 10мб выжимаются ценой падения скорости.  
 
Для сравнения, статистика по прошлым результатам:
1,36 ГБ (1 463 337 970 байт) DeDup + ProperSort 612mb HT4 mc1024
1,35 ГБ (1 459 968 561 байт) DeDup + ProperSort BT4:28  
1,35 ГБ (1 458 286 330 байт) DeDup + ProperSort BT4:320mb
1,35 ГБ (1 458 040 760 байт) DeDup + ProperSort BT4:320mb
1,35 ГБ (1 454 766 514 байт) DeDup + ProperSort 2.0 BT4:320mb
 
Итоговый размер FNV = 4,30 ГБ (4 627 894 044 байт)

Всего записей: 161 | Зарегистр. 17-12-2007 | Отправлено: 10:49 23-07-2011
Hachapury



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
подскажите как обрабатывать файлы прекомпом и срепом?

Всего записей: 2 | Зарегистр. 29-07-2011 | Отправлено: 22:11 29-07-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru