Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Открыть новую тему     Написать ответ в эту тему

spider91

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору



Oбсуждаем какими утилитами и каким способом оптимизировать файлы для лучшего сжатия.

 

 
Precomp (по-русски) Прекомпрессор с интерфейсом командной строки. Вы можете использовать его для достижения лучшего сжатия некоторых типов файлов (работает с файлами, сжатыми методами ZLib или Deflate, и GIF-файлами). Precomp пытается произвести распаковку потоков этих файлов, и, если они декомпрессированые при последующей перекомпрессии идентичны бит-в-бит оригинальному потоку, то перекомпрессия не производится.
 
В результате получается .pcf-файл (PCF = PreCompressedFile), который содержит больше декомпрессированных данных, чем оригинальный файл. Обратите внимание, что этот файл больше оригинального, но, если сжать его методом сжатия сильнее, чем Deflate, он сожмётся лучше, чем оригинал (или использовать lprepaq для прекомпрессии и сжатия за один шаг).

пример для командной строки | Важно: Precomp 0.4.1 и выше | пример для Inno Setup
 
Если файл, который дали Precomp'у он смог обработать (разжать), то в результате получится файл большего размера. Если дали файл JPG и т.п., то в результате получится файл меньшего размера.
 
Rep (Встроен в FreeArc) LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на больших дистанциях (до половины объёма ОЗУ, max 2gb).
 
SRep aka SuperREP LZ77-препроцессор, позволяющий находить повторяющиеся блоки данных на сверхбольших дистанциях (в 10-20 раз больше размера ОЗУ при -l512 и ещё дальше при увеличении -l). В отличии от Rep при распаковке копирует повторяющиеся данные непосредственно из распакованного файла.
 
PackJPG Программа разработанная специально для перепаковки JPEG файлов без потерь (восстановление идёт бит в бит). В среднем уменьшает размер JPEG файлов на 18%.
 
PNGOut и OptiPNG Aлгоритмы для cжатия PNG.
png optimize suite(Win32) Набор консольных компрессоров для PNG с батником, брутфорсит PNGи
 
Tiff Precompression of Tiff files encoded with packbits. It precompresses only the first page of multi-page tiff files yet.
 
DICT (Встроен в FreeArc) Словарный препроцессор для текстовых файлов, заменяющий часто встречающиеся последовательности символов на краткие коды, таблица замены создаётся путём анализа каждого блока данных (по умочанию по 64 мб)
 
Delta (Встроен в FreeArc) Препроцессор (фильтр) увеличивающий сжатие табличных данных в бинарных файлах. Он обнаруживает табличные данные и затем 1) вычитает последовательные значения в каждой колонке, 2) переставляет колонки стараясь максимизировать дальнейшее сжатие
 
MM (Встроен в FreeArc) Простой препроцессор мультимедийных данных, не уменьшающий их размеры, но вычитающий последовательные значения. Используя GRZip или PPMd на его выходных данных, можно добиться сжатия на уровне rar, uharc и sbc. Использует модуль mmdet для определения структуры (кол-во каналов*размер сэмпла) входных данных.
 
Rad Video Tools Программа для сжатия/создания файлов с расширением .bik и .smk. Tак же можно добавлять/удалять звуковые дорожки в этих файлах. пример
 
NVidia nvDXT tool Mощная утилита для сжатия текстур (.dds). пример
 
AMD Compressonator Mощная утилита для сжатия текстур (.dds и не только). Бывший ATI Compress.
 
Xdelta Tool and library for differential compression. Xdelta release version 3 supports VCDIFF encoding and decoding. Supports compressing 64 bit files on Windows, Linux, etc. пример
 
батники для перекомпрессии ZIP-ресурсов игр и офисных (MS Office2007; Oo) файлов Cкрипты осуществляют рекурсивный поиск и распаковку в одноимённые папки zipов для более плотного сжатия FA, а также последующее сжатие содержимого папок в одноимённые файлы. Маски прописывать в скрипте пример
 
XWRT 3.2 Препроцессор/компрессор, заточенный под XML (часто встречаются в играх а также в офисных 2007файлах)
Описание: XWRT is a good XML compressor, actually working with all textual files. It transforms XML to more compressible form and uses zlib (default), LZMA, PPMVC, or lpaq6 as back-end compressor. The program also creates a semi-dynamic dictionary and replaces frequently used words with shorter codes.
пример
 
Примечание для всех участников

Перед тем, как задать вопрос: Первый вариант: загрузите "версию для печати" (ссылка справа вверху, над номерами страниц) и попробуйте поискать средствами браузера (ctrl+F).
Большинство типовых задач уже решались, причем неоднократно!

Всего записей: 605 | Зарегистр. 02-02-2009 | Отправлено: 15:02 24-04-2009 | Исправлено: Maz, 14:53 06-09-2021
TecktonEast

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
http://i13.fastpic.ru/big/2010/1215/73/38d580130822631e043b7c2faf9b9773.jpg

Всего записей: 7 | Зарегистр. 12-12-2010 | Отправлено: 08:06 15-12-2010
vint56



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TecktonEast все таки srep или precomp

Всего записей: 1277 | Зарегистр. 07-10-2008 | Отправлено: 08:09 15-12-2010
PAQer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Profrager
 

Цитата:
Сортировка какого плана? Цвета к цветам, индексы к индексам? А вообще, неплохо было бы фильтр для Фриарка под dds накатать. Выигрыш процентов 5 будет..и еще чего-то с упорядочением самих индексов придумать бы, только у меня мозгов не хватает  

Да обычная сортировка, правда с хитростью. Вот глобальные результаты.
 
Textures from Fallout NV
----------------------------
2,00 ГБ (2 158 016 853 байт) Original BSA Deflate
3,12 ГБ (3 353 536 896 байт) Unpack + DeDup
 
Preprocessing + LZMA  
--------------------------
1,46 ГБ (1 574 476 595 байт) PreСomped BSA + SRep:m1:l512, BT4:27 (прошлый рекорд)
1,41 ГБ (1 518 276 546 байт) DeDup, BT4:27
1,37 ГБ (1 472 439 530 байт) DeDup + ProperSort, BT4:27
1,36 ГБ (1 463 337 970 байт) DeDup + ProperSort, HT4:612mb:mc1024
 
И так, новый рекорд - почти 100мб забесплатно, LZMA всё ещё может удивить.  
BT4:29 (30 жирновато) пришёлся бы кстати.
P.S. прогнозируемый выигрыш был в районе 50-60мб, план считай перевыполнен.
 
Статус: менее 100мб до DVD5.
 
4,45 ГБ (4 778 529 745 байт) Общий объём
4,44 ГБ (4 770 458 951 байт) + c ужатым FNVIntro.bik в LZMA
4,42 ГБ (4 748 737 440 байт) + Meshes в NZ  
4,40 ГБ (4 7** *** *** байт) + Voices в NZ  
? ?? ??
4.37 ГБ

Всего записей: 161 | Зарегистр. 17-12-2007 | Отправлено: 09:05 15-12-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
PAQer
молодцом) Ник удачный у тебя, соответствует, так сказать) Только объясни поподробней что за DeDup (из названия только понятно что удаляет повторы, в чем тогда отличие от реп или среп) и опиши кратко алгоритм ProperSort.
bt4:29 реально на 64 битной винде и с 6 и более гигов оперативки.
Попробуй саундслиммером еще мп3шки пожать, как раз влезет на двд)

----------
переехал сюда

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 13:27 15-12-2010 | Исправлено: Profrager, 13:57 15-12-2010
Dark91



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
V2driver
хоть и устарел, но с ним файлы жмутся лучше

Всего записей: 54 | Зарегистр. 11-11-2010 | Отправлено: 14:13 15-12-2010
V2driver



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Dark91
Ага))
В 7z lzma такой же как и в Фа, но 7z жмёт лучше
Бред!
PAQer
 

Цитата:

Цитата:
Мне по крайней мере он не известен, но ничто не мешает авторам soundslimmer иметь такой.    
 

 
OGG make use of an arithmetic encoder - so there is no stuff to recompress as with MP3 which uses Huffman encoder.

Всего записей: 462 | Зарегистр. 01-02-2010 | Отправлено: 15:36 15-12-2010
TecktonEast

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
TecktonEast все таки srep или precomp

precomp. Так что сделать? Файл разжимается до 44.1% и всё. Размер 5.11гб получается, а оригинальный 12гб
 

Всего записей: 7 | Зарегистр. 12-12-2010 | Отправлено: 17:27 15-12-2010
vint56



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TecktonEast Precomp но верника не поможет потому что он сделал половину а толку нету если было 50 процентов выходной файл 6 гигов что равно половину архива  

Всего записей: 1277 | Зарегистр. 07-10-2008 | Отправлено: 17:55 15-12-2010
TecktonEast

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, пожалуйста, (если можно, дайте фрагмент скрипта) описывающий схему:  
1. все файлы в архиве .rar без сжатия.  
2. precomp
3. srep  
4. freearc  
Заранее спасибо

Всего записей: 7 | Зарегистр. 12-12-2010 | Отправлено: 22:53 15-12-2010 | Исправлено: TecktonEast, 23:27 15-12-2010
Stalqer



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Как запаковать   (arcania gothic4) sbpacker папку  в архив через командною строку? Наведите пример/.

Всего записей: 29 | Зарегистр. 18-09-2010 | Отправлено: 12:42 16-12-2010
ReFLeXxe



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
TecktonEast
Попробуй ISDone. Сначала прочитай справку и всё поймёшь
http://forum.ru-board.com/topic.cgi?forum=5&topic=34920&start=0
 

Всего записей: 40 | Зарегистр. 09-10-2010 | Отправлено: 22:37 18-12-2010 | Исправлено: ReFLeXxe, 22:38 18-12-2010
PAQer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
V2driver
хаффман там.
 

Цитата:
Только объясни поподробней что за DeDup (из названия только понятно что удаляет повторы, в чем тогда отличие от реп или среп) и опиши кратко алгоритм ProperSort.  

Profrager
Первое удаляет дубликаты файлов, а не 512-байтные блоки, как srep. Второе, грамотная сортировка похожих текстур. Еще можно 128-байтные заголовки отдельно сжать, копеечный выигрыш конечно. Пробовал загнать в отдельный поток мипсы (один файл), но сжатие вышло хуже, возможно при пачке dds'ов будет другой результат.  

Всего записей: 161 | Зарегистр. 17-12-2007 | Отправлено: 08:59 20-12-2010
Profrager



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
PAQer
на днях тут, можно сказать, на коленке написал прогу, которая в зависимости от типа dds'ки (dxt1,dxt3, или dxt5) оптимизирует расположение данных внутри них. После lzma результат получается на 2-5% лучше, чем без оптимизации. Пробовал на разных наборах текстур в основном от игры Venetica (т.к. там текстур много и лежат они в чистых dds). Думаю, если однотипные потоки (цветовых составляющих, альфа каналов и индексных данных) от всей кучи текстур располагать друг с другом можно получить еще бОльший выигрыш, но в этом случае распаковка будет активно юзать винт, т.к. для одной текстуры данные придется читать с 3 (или более, в зависимостиот типа текстур) мест в архиве, которые будут разделены приличным расстоянием.

Цитата:
Первое удаляет дубликаты файлов, а не 512-байтные блоки, как srep.
но тогда это уже не будет считаться лосслесс репаком, ибо архивы игры изменятся.
 
Еще можно попобовать покумекать как мипмапы быстро генерить из оригинальной текстуры без распаковки в raw изображение. Но эт тоже уже не будет лосслес, хотя на взгляд не отличить будет.

----------
переехал сюда

Всего записей: 888 | Зарегистр. 22-05-2010 | Отправлено: 14:54 20-12-2010
Stalqer



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
как запаковать папку через sbpacker.exe

Всего записей: 29 | Зарегистр. 18-09-2010 | Отправлено: 19:15 20-12-2010
Pasha_ZZZ



Platinum Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Stalqer
Вот тут есть гуевая морда к СБПакеру...

Всего записей: 10070 | Зарегистр. 11-03-2002 | Отправлено: 19:41 20-12-2010
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Precomp 0.4.1
As an early christmas present: Precomp 0.4.1 is out. List of changes:
 

Цитата:
* New switch -c for on-the-fly compression, bZip2 used by default ("-c-" restores old behaviour).
* Fixed bugs in multi PNG, GIF and penalty bytes handling that led to differences in the recompressed file.
* Time output is human readable now.
* Various small bugfixes.
* ZLIB1.DLL is needed again - static linking led to crashes in some cases.

 
http://schnaader.info/precomp.zip

Всего записей: 8690 | Зарегистр. 08-06-2006 | Отправлено: 02:21 21-12-2010
DemonAk



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Precomp 0.4.1
Эх жаль, файлы *.pak из крайзиса попрежнему плохо расжимает =\

Всего записей: 315 | Зарегистр. 08-11-2007 | Отправлено: 04:30 21-12-2010
V2driver



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Добавлено:

Цитата:
Precomp 0.4.1

Прекрасно!

Всего записей: 462 | Зарегистр. 01-02-2010 | Отправлено: 09:50 21-12-2010 | Исправлено: V2driver, 16:19 21-12-2010
KillTimer



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Precomp 0.4.1  
As an early christmas present: Precomp 0.4.1 is out.

Радость от подарочка была недолгой. Запустил для теста на 5+ Гб файле, когда дошло до 80% прекомп упал. 0.4 отработал нормально.

Всего записей: 144 | Зарегистр. 13-05-2009 | Отправлено: 13:57 21-12-2010
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
KillTimer
На каком файле упало?

Всего записей: 8690 | Зарегистр. 08-06-2006 | Отправлено: 15:12 21-12-2010
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152

Компьютерный форум Ru.Board » Компьютеры » Программы » Пережатиe,рекомпрессия,оптимизация файлов для лучшего сжатия


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru