Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
Seup

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Engaged Clown
Спасибо за пояснение.
 
spider91
Тогда понятно, почему я ненашел. А на много, это на сколько? Неохота ставить 64битную xp только из-за желания сравнить версии 7z.
В inno в параметрах сжатия можно поставить lzma/ultra64, это это или нет. Если да, то я бы не сказал, что жмет так уж намного.

Всего записей: 34 | Зарегистр. 30-04-2009 | Отправлено: 22:13 09-05-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Seup
 
 

Цитата:
В inno в параметрах сжатия можно поставить lzma/ultra64,

 
ето тоже что 7-zip со словарем 64mb
 
 

Цитата:
А на много, это на сколько?

 
ну я жал Call of Duty 4 и на 64mb получилось 3gb а на 256mb получилось 2.4gb.  
 
для меня 600 метров много но и FreeArc сожмет приблизительно также поедая меньше памяти и не требуя 64-х битной версии, но он требует больше памяти для распаковки

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 00:04 10-05-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Seup

Цитата:
Где ты нашел это,я нигде не видел в 7z словарь в 256 мб. max 64мб, в инструкции написано, что максимальный размер выделяемой памяти можно поставить max 4Гб..

в хелпе написано про размер словаря - "Переменный размер словаря (до 4 Гб)"
но для LZMA максимальный словарь 1ГБ
максимальный размер словаря для LZMA 7-zip для Win32 - 128МБ (в GUI в Параметрах прописать d=128m)
 
spider91

Цитата:
-mx -ld=650m


Цитата:
ну я жал Call of Duty 4 и на 64mb получилось 3gb а на 256mb получилось 2.4gb.
...
но он требует больше памяти для распаковки

поставьте -mlzma:256m (или -mlzma:512m), если напрягает объём памяти для распаковки (по-умолчанию сейчас в FreeArc для lzma Match finder ht4, что уменьшает требования к памяти за счёт немного ухудшения сжатия, в 7-zip такого метода нет).
 

Цитата:
ну 7-zip со словарем в 256мб требует 4гб

256МБ 2719МБ
http://forum.ru-board.com/topic.cgi?forum=5&topic=1406&start=1760#20

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 08:51 13-05-2009 | Исправлено: egor23, 08:53 13-05-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
а чего вы, ребятки, зациклились на LZMA, сейчас разработано немало эффективных компрессоров, не так требовательных к памяти - тот же RZM или mcomp, bcm, Nanozip.

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 09:56 13-05-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Цитата:ну 7-zip со словарем в 256мб требует 4гб  
 
256МБ 2719МБ  
http://forum.ru-board.com/topic.cgi?forum=5&topic=1406&start=1760#20

 
 
да чет ступил. ето 512мб требуют чуть больше 4-х гб для упаковки

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 11:12 13-05-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
spider91

Цитата:
ето 512мб требуют чуть больше 4-х гб для упаковки


Цитата:
512МБ 5407МБ

http://forum.ru-board.com/topic.cgi?forum=5&topic=1406&start=1760#20
 
crotoff

Цитата:
а чего вы, ребятки, зациклились на LZMA

речь шла про 7-zip и FreeArc

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 23:38 13-05-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
отличие-то небольшое, оба LZMA используют и соответственно требования к памяти одинаковые

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 09:57 14-05-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff

Цитата:
отличие-то небольшое, оба LZMA используют и соответственно требования к памяти одинаковые

про отличие написал выше, касаемо LZMA.
 
Добавлено:
lzma FreeArc
bt4 - 10.5xсловарь (8x+1x+1.5x)
hc4 - 6.5xсловарь (4x+1x+1.5x)
ht4 - ~1.75xсловарь - выделяет сначала 0.5x (округлённое вверх до степени 2) для хеша, затем 1.25x для словаря

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 11:41 14-05-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
ok, убедил
я несколько иное пытался предложить - интенсивный путь развития заместо экстенсивного (наращивания памяти и пр. извращений). Понятно что много памяти не бывает, и не у всех она какбэ имеется в достаточном количестве. Паковать игрухи ведь можно и другими методами не менее эффективно. Вот люди паковали к примеру COD LZMA методом, а ведь там зазипованные ресурсы, которые Precomp'ом можно разжать а сверху каким-нибудь rzm'ом,  bcm'ом, hook'ом зажать - и голова не будет болеть как бы выдрать из системы побольше памяти

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 19:54 14-05-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff

Цитата:
Вот люди паковали к примеру COD LZMA методом, а ведь там зазипованные ресурсы

это уже детали, подготовки данных перед основным алгоритмов сжатия
тем более в COD4 ресурсы зазипованы с сжатием, а в COD5 - без сжатия.
ресурысы состоят из image - DDS и sound - wav ADPCM (покрайне мере то что попалось на глаза)

Цитата:
а сверху каким-нибудь rzm'ом,  bcm'ом, hook'ом зажать - и голова не будет болеть как бы выдрать из системы побольше памяти

а чего голове болеть, есть минимальные системные требования COD5 - 512МБ, это значит есть для распаковки 384МБ предел (для надёжности - 256МБ) и пляшем от этого.

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 22:25 14-05-2009 | Исправлено: egor23, 22:27 14-05-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
есть минимальные системные требования COD5 - 512МБ, это значит есть для распаковки 384МБ предел (для надёжности - 256МБ) и пляшем от этого.

 
 
вот вот. репаки под ето и подстраиваются. память для распаковки не должна быть больше памяти котурую требует игра
 
Добавлено:
и FreeArc жмет лучше и быстрее rzm

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 23:15 14-05-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
скажем, в FarCryе кроме текстур и звуков в pak'ах ещё и текстовые скрипты представлены и бинарные файлы. Тогда получается ddsы и звуки вообще нет смысла сжимать архиватором - не сожмутся при любом раскладе
 

Цитата:
и FreeArc жмет лучше и быстрее rzm

ты имеешь в виду с опцией -mx -ld=650m или -mlzma:512m? Или вообще? Не факт. На моём наборе данных примерно одинаково. А если вместо rzm взять nanozip, paq8 - там разница более существенна (скорость конечно никакая при этом будет)

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 00:16 15-05-2009
egor23



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff

Цитата:
скажем, в FarCryе кроме текстур и звуков в pak'ах ещё и текстовые скрипты представлены и бинарные файлы. Тогда получается ddsы и звуки вообще нет смысла сжимать архиватором - не сожмутся при любом раскладе

каждый набор данных индивидуален..., так что не надо прыгать от одного набора данных к другому.
dds и wav из COD5\COD4 - неплохо упаковываются, тем же lzma, если есть заточенные под dds комперссоры (lossless), то озвучьте их.

Цитата:
paq8 - там разница более существенна (скорость конечно никакая при этом будет)

хм, низкая, 7ГБ данных обрабаытвать...
а распаковать будите столько же времени, сколько и упаковывали
 
Добавлено:

Цитата:
неплохо упаковываются, тем же lzma

ессенно зависит от содерживого этой dds

Всего записей: 3831 | Зарегистр. 03-11-2003 | Отправлено: 00:43 15-05-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff
 

Цитата:
ты имеешь в виду с опцией -mx -ld=650m или -mlzma:512m?

 
-mx -ld=650
 
 

Цитата:
Не факт. На моём наборе данных примерно одинаково.

 
я пробовал пару файлов жать и FA давал лучший результат, павда не намного но все же лучший
 
 

Цитата:
А если вместо rzm взять nanozip, paq8 - там разница более существенна (скорость конечно никакая при этом будет)

 
nanozip жмет сильне FA только на параметрах -cO или -cc но скорость упаковки/распаковки убивает. а в paq8 так вобще поcтареть можно пока файл запакуется

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 01:35 15-05-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
spider91
согласен, LZMA - это круто, FA - тоже.
Парни, кто знает чем pff-ресурсы от Nova Logic можно распаковать и обратно запаковать в pff? Игры серии Delta Force

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 07:42 15-05-2009 | Исправлено: crotoff, 07:43 15-05-2009
wound

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем здравствуйте!
Делаю репак с использованием freearc через командную строку, подскажите пожалуйста что нужно передавать в командной стрке при распаковке, чтобы создавался log файл.
 
p.s.
Если есть несколько вариантов, то с удовольствием ознакомлюсь, ибо в хелпе ничего не понял.

Всего записей: 4 | Зарегистр. 18-05-2009 | Отправлено: 14:01 18-05-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
wound
раскомментировать в arc.ini строчку
--logfile=c:\freearc.log --display=hnwftsr
лог запишется в c:\freearc.log

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 14:24 18-05-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Заинтересовался сжатием dds'ов, провёл небольшой экспериментец - распаковал ddsы из ФарКрая (Textures.pak), получилась папочка размером 350302177 байт
Паковал FA. Результаты
 
-m=(nanozip optimum2)    149482366        42.67%
-m=rzm007h    161102482        45.99%
-mlzma:512    161242127        46.03%
 -m9x    161318369        46.05%
-mx    161668244        46.15%
-m=(nanozip lzhds)    178718230        51.02%
-m=bcm007 (-b300000)    186266465        53.17%
-m=hook (512)    190953788        54.51%
Я раньше думал что dds - это сжатый формат, оказалось и впрямь прилично жмутся
 

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 22:11 18-05-2009
spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
crotoff
 
у меня dds всегда хорошо жались и я не мог понять почему люди жалуются на то что они не жмутся.
 
 
разве mx не должен жать сильнее m9x? разница неольшая но есть
 
Добавлено:
а для rzm никаких параметров нет? просто -m=rzm007h?

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 23:27 18-05-2009
crotoff

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
spider91
-mx в силу своей универсальности не всегда даёт лучший результат - препроцессоры иногда немножко ухудшают результат. Иногда улучшают. Разница - доли процента. У rzm опций нет, но есть ограничение по размеру в 2 гига (не помню только результирующего фархива это касается или данных)

Всего записей: 956 | Зарегистр. 17-04-2007 | Отправлено: 07:02 19-05-2009
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru