EGTB7
Newbie | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Булат, спасибо большое за ответы на мои наивные вопросы - пытаюсь чуть поглубже войти в методы архивации. Благодря FreeArc получил много полезной информации.
Конечно, стандартным архиватором части файла не собирался паковать. У меня 100 ТБ данных (десятки винчестеров в разных компьютерах!) Есть программа, которая читает отдельные байты из этого объема почти в случайном порядке. Сейчас данные разбиты на независимые блоки по 2МБ и сжаты методом LZMA, но такой размер блока оказался очень большим. Поэтому начинается переход на блоки 8KB. Хочется не так сильно потерять в плотности паковки, поэтому исследую, что лучшего с открытым кодом имеется в мире. Заодно смотрю и на скорость распаковки. Результаты пока такие: при переходе на 8 КБ деградация степени сжатия где-то 35% - но этот результат все-таки терпим. А вот распаковку хочется раза в 3 ускорить. Сейчас в приложении она на первом месте в профайлере.
Попробовал много различных архиваторов. Результаты в основном удручающие. LZMA - это LZMA.
Из примечательных - попробовал LZ4_HC. Невероятно быстрая распаковка, но степень сжатия далека от желаемого - даже с подстройкой параметров не видно смысла возиться, хотя на всякий случай попробую.
FreeArc тоже попробовал. Результаты по качеству паковки и скорости практически такие же как и с LZMA. Разница на проценты, что пока не подвигает на возню с портированием кода. Ночью подумал, что может удастся получить преимущество на малых блоках, но чистый эксперимент провести не смог.
Сегодня еще поиследую тему и буду принимать решение, в какой формат перегонять данные. |
