Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Zstandard | zstd

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12

Открыть новую тему     Написать ответ в эту тему

Fenrizz



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Zstandard — алгоритм сжатия данных без потерь, разрабатываемый с 2015 года Яном Колле (фр. Yann Collet) при поддержке Facebook'а; zstd — эталонная реализация алгоритма Zstandard на языке программирования Си под свободной лицензией BSD. Версия 1.0 алгоритма и реализации были представлены в конце августа 2016 года[5][6].  
 
Сочетает словарный алгоритм сжатия данных типа LZ77 и эффективное энтропийное кодирование типа tANS (FSE — Finite State Entropy), алгоритм, сходный с кодом Хаффмана, реализующий нецелое количество бит для хранения символов[7][8].  
 

 
GitHub - https://facebook.github.io/zstd  
Release v1.5.6 - https://github.com/facebook/zstd/releases/tag/v1.5.6
Total Commander plugin - http://franke.ms/download/wcx_zstd_1_1_3_5.zip
https://github.com/facebook/zstd/blob/dev/programs/zstd.1.md
https://manpages.ubuntu.com/manpages/focal/en/man1/zstd.1.html

Всего записей: 677 | Зарегистр. 12-09-2017 | Отправлено: 20:25 25-05-2020 | Исправлено: lelik007, 23:00 30-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
insorg
Ага, а ты это сделать попробуй, потом напиши, будет или не будет, я то попробовал уже, особенно, если взять не сжимаемые файлы, в случае s=off - будет файл x 5, а в случае s=on будет размер 1-го файла. И это в tar, что LZMA, что ZSTD. Для Match Finder ZSTD все равно, где оно и как у тебя лежит.

Всего записей: 2772 | Зарегистр. 13-10-2006 | Отправлено: 20:53 26-03-2024 | Исправлено: lelik007, 20:59 26-03-2024
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
insorg

Цитата:
Ни имени, ни меток времени или атрибутов. Просто поток жатых байтиков.  

Это не так. Проверьте mtime и btime(если ОС поддерживает) плюс хранится сумма(xxhash).
 
lelik007

Цитата:
Я в хоть каком Deflate особенно смысла не вижу.

Может вам есть смысл почитать про gzip? Где и как используется, и какой метод там метод сжатия.

Всего записей: 7341 | Зарегистр. 08-09-2001 | Отправлено: 22:15 26-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
Голый .zst? Его достаточно переименовать, чтобы то что внутри распаковалось с новым именем. Как обзовёшь свой .zst, с таким именем и вытащить, если предварительно в tar не завернул. Такой себе костыль. Впрочем, я и не требую. Всё равно сабжа делали на замену всем этим gz, bz и им подобным, а они такому тоже не обучены. Ибо они только компрессоры, а не полноценные архиваторы.
 
Добавлено:
lelik007
Я тебе говорю уже проверенный ответ, а ты всё про "попробуй"...
Лучше б сам сначала разобрался, что означает термин solid в контексте архиваторов, чем это отличается от тупого засовывания файлов в прокладку типа tar и зачем существуют свои препроцессоры и оптимизаторы для каждого типа/формата данных (в том числе - почему тот же 7z пакует exe или wav в отдельных блоках со своими фильтрами). Тогда тебе будет трижды смешно читать подобные заявления про solid в тех местах, где даже многофайловости нет.
 
p.s.
Ну и да, для затравочки, если тебе не хватает словаря для перекрытия ближайшего полноценного дубликата данных, то тебе не поможет никакой солид ни в каком виде.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 22:45 26-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
Почитал уже.

Цитата:
gzip reduces the size of the named files using Lempel–Ziv coding (LZ77).

https://www.gnu.org/software/gzip/manual/gzip.html
 
и deflate там точно нет.

Цитата:
method: compression method (deflate,compress,lzh,pack)

А то что GNU использовали, видимо, в лицензионных целях свой вариант LZ77, так он, наверное, до 5 раз лучше сжимает.

Всего записей: 2772 | Зарегистр. 13-10-2006 | Отправлено: 22:51 26-03-2024 | Исправлено: lelik007, 22:53 26-03-2024
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
Почитал уже.

судя по всему - бегло, не вникая.

Цитата:
и deflate там точно нет.

https://www.ietf.org/rfc/rfc1952.txt

Цитата:
This specification defines a lossless compressed data format that is
   compatible with the widely used GZIP utility.  The format includes a
   cyclic redundancy check value for detecting data corruption.  The
   format presently uses the DEFLATE method of compression but can be
   easily extended to use other compression methods.  The format can be
   implemented readily in a manner not covered by patents.

 
 

Всего записей: 7341 | Зарегистр. 08-09-2001 | Отправлено: 14:57 27-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
los
Да, я знаю, что могут быть разные реализации gzip собранные с различными другими методами, но это не тема про gzip в любом случае, а, учитывая, сколько может быть таких реализаций, я затрудняюсь сказать, какие методы там могут применяться.
 
Что касается непрерывного сжатия, в теме один участник - вы, рассматривает его с позиции GNU, как мне кажется, каковая позиция сжатое в TAR, рассматривает как непрерывное сжатие.
 
А другой участник, insorg , очевидно, это не рассматривает как непрерывное сжатие, вообще, т.к. его мнение основано, видимо, на справках к архиваторам 7-zip, Winrar, возможно, FreeArc.
 
Оба участника мне рекомендуют нечто прочитать, хотя я не вижу некой спецификации в которой это было бы четко оговорено, от чего можно должен отталкиваться, при определении непрерывного сжатия.

Всего записей: 2772 | Зарегистр. 13-10-2006 | Отправлено: 15:48 27-03-2024
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
Да, я знаю, что могут быть разные реализации gzip собранные с различными другими методами, но это не тема про gzip в любом случае, а, учитывая, сколько может быть таких реализаций, я затрудняюсь сказать, какие методы там могут применяться.

вы изначально путаете gzip - программа для сжатия и gzip - "файл". От того и путаница используется deflate или нет.
 
Что касается zstd, то по функциональности он предполагает замену именно gzip и подобных выигрывая в плане скорости и т.п. Но и gzip и zstd это т.н. потоковые компрессоры и разницы в их использовании нет, что бы вы не подразумевали под непрерывностью.

Всего записей: 7341 | Зарегистр. 08-09-2001 | Отправлено: 16:33 27-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Отличная статья от Facebook, где доступным языком про все понятно объясняют. Как была создана концепция, история, тенденции развития, примеры  использования. Доступна через VPN/Proxy.
https://engineering.fb.com/2018/12/19/core-infra/zstandard/
А здесь про словарь, но не тот, который, скользящее окно:
https://engineering.fb.com/2016/08/31/core-infra/smaller-and-faster-data-compression-with-zstandard/

Всего записей: 2772 | Зарегистр. 13-10-2006 | Отправлено: 18:48 27-03-2024 | Исправлено: lelik007, 23:15 27-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
Что касается непрерывного сжатия, в теме один участник - вы, рассматривает его с позиции GNU, как мне кажется, каковая позиция сжатое в TAR, рассматривает как непрерывное сжатие.  

О ужас...
Объясняю на пальцах.
Существуют компрессоры - это которые жмут "что-то", попавшее на вход (gz, bz, zst).
Существуют упаковщики - это которые "собирают в кучку" попавшее на вход (tar).
Как видим, эти задачи НЕ пересекаются.  
А есть полноценные архиваторы - это компрессоры+упаковщики, два в одном. Сразу в свой контейнер и складывают, и жмут, и сохраняют метки даты+времени+атрибутов, по вкусу - добавляют чек суммы (не все).
И вот эти самые полноценные архиваторы уже могут обладать умением в soild (rar, 7z, arc), или не уметь (zip).
Т.е. не только понятие solid архива, но и сам его смысл появляется только в самой конечной точке.
А не где-то там "в начале". Потому что в начале твой простой компрессор (а zstd именно им и является) знать ничего не знает про разные файлы в архиве, и способен переварить только один файл на контейнер, да и тот - с ограничениями.
 
p.s.
С тем же успехом, с которым ты пытаешься приплести soild подменой понятий и подсовыванием .tar, я тебе могу вернуть твои же слова и заявить, что zip тоже "умеет" в "solid сжатие" просто упаковав в него 1 (прописью: ОДИН) файл, а не больше. А какой этот файл - уже будет пофиг, хоть .tar, хоть просто все текстовые документы в один сохранил, хоть вообще БД упаковал.
Да только солидом zip от этого не станет.
 
Добавлено:
p.p.s.
Старался объяснить максимально простым языком. Надеюсь, что хоть теперь понятнее станет и не будет наивности по поводу обсуждаемого вопроса...

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 21:26 27-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Тем самым временем Google добавляет в Chrome 123 поддержку сжатия веб трафика zstd-encoding как предпочтительную опцию, чему и посвящен релиз Zstandard v1.5.6 - Chrome Edition.
https://github.com/facebook/zstd/releases/tag/v1.5.6
Brotli, видимо, не взлетел.
insorg
Да уж, интересно.

Всего записей: 2772 | Зарегистр. 13-10-2006 | Отправлено: 09:05 29-03-2024 | Исправлено: lelik007, 10:14 29-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
v1.5.6

Очередной блин комом кривой дистрибутив. В прошлый раз забыли папку в архиве как попало названную, теперь засунули zip в zip...
Ладно, гляну позже, что там и как работает.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 09:24 29-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
insorg
Ян в пираты подался, если будет пароль, пробуй - zstd, ZSTD и der пароль. Есть уже такая issue, перепаковал.

Всего записей: 2772 | Зарегистр. 13-10-2006 | Отправлено: 09:28 29-03-2024 | Исправлено: lelik007, 12:10 29-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Оке, подождём тогда. Я мобилой качал, чисто заглянул внутрь для контроля, а там zip внутри zip. Улыбнуло слегка.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 09:35 29-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Во, всё архивы пофиксили, теперь без сюрпризов.
zstd-v1.5.6-win32.zip  1.59 MB  11 hours ago
zstd-v1.5.6-win64.zip  1.63 MB  11 hours ago

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 21:34 29-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Итак, отчитываюсь. Погонял чутка новый релиз упаковкой больших образов Memtest в несколько экземпляров. Проблем не встретил. Получаемые сжатые .zst так и .tar.zst адекватно читаются в TC 11, WinRAR 7, 7zip 24 версий. Можно брать.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 01:28 30-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
insorg
Очень мило, но релиз v1.5.6 убрали как таковой с анонсом. Крамолу, видимо, какую то нашли, вот так и бывает, когда 1 релиз в год с большим кол-вом коммитов. Жди потом релиза баг-фиксов.

Всего записей: 2772 | Зарегистр. 13-10-2006 | Отправлено: 06:36 30-03-2024 | Исправлено: lelik007, 07:28 30-03-2024
insorg



Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Мда... Видимо, что-то пошло не так, раз откатили. Но я скачать успел. Конечно, уже не оригинальные zipы у меня, а перепаковка в 7z. Но содержимое - оттуда.
ZSTD-ver156-win32-win64.7z (CRC32, List).
 
Добавлено:
Ещё копия.
 
Добавлено:
Хрен они теперь отвертятся. Инет всё помнит.

Всего записей: 16767 | Зарегистр. 04-11-2010 | Отправлено: 07:43 30-03-2024
yaaa159

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
но релиз v1.5.6 убрали

Возможно в связи с этим убрали.

Всего записей: 64 | Зарегистр. 19-06-2015 | Отправлено: 09:46 30-03-2024 | Исправлено: yaaa159, 09:46 30-03-2024
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
yaaa159
Спасибо за новость, очень похоже, что так и есть. Картина: форкнули и закомиттили, только комиттил комитетчик из КНР, поди. В шапку вернул релиз v1.5.5.
---
Говорил же в теме 7-zip, Microsoft в архивацию не умеют, а то для чего бы они распаковку в Windows 11 не на 7zxa.dll сделали, как все нормальные люди, а на libarchive у которого и так много проблем с Windows версией, вообще, так как он на ней не родной.

Всего записей: 2772 | Зарегистр. 13-10-2006 | Отправлено: 16:02 30-03-2024
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lelik007

Цитата:
Brotli, видимо, не взлетел.

zstd значительно шустрее, что для web очень существенно.
 

Цитата:
...а на libarchive у которого и так много проблем с Windows версией, вообще, так как он на ней не родной.

Достаточно странный аргумент.

Всего записей: 7341 | Зарегистр. 08-09-2001 | Отправлено: 16:22 30-03-2024
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12

Компьютерный форум Ru.Board » Компьютеры » Программы » Zstandard | zstd


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru