Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.

Модерирует : gyra, Maz

 Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Открыть новую тему     Написать ответ в эту тему

persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программы данного раздела служат для обнаружения и исправления ошибок, возникающих при передаче данных и их долговременном хранении. Как правило, восстановление возможно, если суммарный объем повреждений в искаженных файлах вместе с объемом полностью утраченных файлов не превышает объем корректирующей информации, которая заблаговременно дописывается на носитель.
 
 
Контроль целостности без возможности восстановления
 
RHash
Описание: замечательная кроссплатформенная консольная утилита для вычисления огромного количества криптографически-стойких hash-функций, в том числе и используемых в p2p сетях. Программы этой группы не способны к исправлению данных сами по себе, но способны указывать на ситуации, когда необходимо воспользоваться резервной копией или перекачать файл заново
 
Домашняя страница: https://github.com/rhash/RHash
Страница для скачивания: http://sourceforge.net/projects/rhash/files/rhash/
 
RapidCRC Unicode
Описание: профессиональное средство для расчета hash-функций, в том числе и современных быстрых многопоточных функций blake2sp и blake3.
 
Домашняя страница: https://www.ov2.eu/programs/rapidcrc-unicode
Страница для скачивания: https://www.ov2.eu/programs/rapidcrc-unicode
 
CHK Hash Sum
Описание: портативная утилита для контроля целостности файлов с поддержкой Юникода и перетягивания.  
 
Домашняя страница: https://compressme.net/
Страница для скачивания: https://compressme.net/
 
 
8-битные коды Рида-Соломона
 
DVDisaster
Описание: Программа для защиты данных на оптических дисках CD, DVD и BD путём добавления к нему избыточной информации.
 
Домашняя страница: https://sourceforge.net/projects/dvdisaster/
Страница для скачивания: https://sourceforge.net/projects/dvdisaster/files/dvdisaster/
 
 
16-битные коды Рида-Соломона
 
WinRAR
Описание: популярный архиватор, начиная с версии 5.0 создает до 65535 томов восстановления. Кроме того, использует коды RS и для добавления информации восстановления к архивам, выгодно отличаясь от всех других архиваторов.
 
Домашняя страница: http://www.win-rar.ru/
Страница для скачивания: https://www.win-rar.com/download.html?&L=4
 
MultiPAR
Описание: Мощная программа для защиты файлов от повреждений. Одновременно работает в 32- и 64-разрядном окружении. Поддержка многопоточности, Юникода, русского языка. Использует ускорение AVX2 и вычисления GPU. Постоянно обновляется.
 
Домашняя страница: http://hp.vector.co.jp/authors/VA021385/
Страница для скачивания: http://www.vector.co.jp/soft/dl/winnt/util/se460801.html
 
ICEECC
Описание: программа во многом аналогична MultiPAR, но появилась на несколько лет раньше. Русский язык отсутствует. Не обновлялась с 2009 года. На сегодня работает примерно в 5 раз медленнее, чем MultiPAR.
 
Домашняя страница: http://www.ice-graphics.com/ICEECC/IndexR.html
Страница для скачивания: http://www.ice-graphics.com/ICEECC/DownloadR.html
 
 
32-битные коды Рида-Соломона
 
RSC32
Описание: консольная утилита для контроля целостности файлов с использованием hash-функций CRC32, CRC64, MD5, SHA1, SHA256, Tiger и blake2sp. Реализация эффективных 32-разрядных кодов Рида-Соломона позволила оперировать сотнями тысяч и миллионами блоков без драматического влияния на быстродействие. Использует FAR Manager как свой GUI
 
Страница для скачивания: https://disk.yandex.ru/d/yFtikZtmyWuQ1w
 

Схожая тема: ZIDRAV и CRC Recovery 2005
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:35 18-07-2007 | Исправлено: persicum, 11:39 29-10-2021
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
архиватор чаще используется как контейнер "чтобы сложные имена файлов не побились", как "сплиттер"

 
А мне уже и лень использовать как контейнер - если есть возможность гарантировать целостность и наличие мелких файлов с длинными путями с помощью той же RSC32? Собственно, для этого она и создавалась, чтобы лишний раз ничего не паковать.
 

Цитата:
Персикум, кстати твоя прога не закашляется если ей скормить 3 Блюрика на обсчет 1 волшебной болванки для них, не подавится?
 

 
Ничего ей не будет, хоть 100 гигов ей дай хоть 200 гигов. Но:
1) нужен обязательно второй винт для временных файлов, чтобы при свопе данные плавно перетекали в фоновом режиме и без сика головок.
2) нужен обязательно мощный блок питания для системного блока, иначе винты частенько будут аварийно перезапускаться с самотестированием изза просадки напряжения или отключения по защите
3) нужен ключ -wrkd: - для примера второй винт это d:
4) нужны ключи -wrkd: -wr2c: для лечения, то есть две временные папки на двух разных винтах.
 
Если будет второй винт, тогда создание райда Блюров 3:1 займет 45мин, а лечение - 90 мин.
 
Добавлено:

Цитата:
Хорошо что провел эти быстроиспытания WinRar'a 5го!

Испытания показали, что winrar чувствителен к нарушению жизненно-важной информации внутри своих архивов и может вести себя непредсказуемым образом, если архив поврежден. Очевидно, ситуация будет улучшаться в новых версиях, если пользователи будут рапортовать разработчикам.
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 09:22 14-12-2013
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Фишка в том, что всякие ISO выдиралки образов при смерти каталога отказываются что-либо делать с такими болвами вообще!! Выходит, что в подобной ситуации может спасти только RAID из болванок

 
Но я бы не полагался в случае блюров только на один RAID без защиты индивидуальных болванок. Думаю, на каждую болву не лишним будет кидать ее индивидуальные коды в размере скажем 15%
1) если повреждения индивидуальны, одну болванку полечить значительно быстрей будет
2) будет гарантия, что объем данных на одной болванке меньше объема кодов на волшебной РАЙДовой
3) если железо глюкнет хотя бы на один бит, всему много гигабайтному райду будет пипец, а так еще будет хороший шанс

Цитата:
Архиватору архиватореве, рид соломону cоломоново!

 
Вово, из winrar уже убрали специальное сжатие txt, wav и bmp. Может, они хорошо сжимаются, но где их взять? Сейчас в моде docx, flac и png... Поэтому технодронам лучше озаботиться раздуванием информации, а не ее сжатием чтобы возглавлять там всякие рейтинговые таблицы -))
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 09:36 15-12-2013 | Исправлено: persicum, 11:34 15-12-2013
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вышла RSC32 версия 3.06.
 
Это было продиктовано попыткой реализации хэш функции нового поколения - blake2sp - невероятно надежной и невероятно быстрой, которая допускает распараллеливание аж на 32-потока!!
 
Действительность оказалась не такой радужной. 4-х кратный прирост должен быть дать SSE, но на SSE2 у меня получилось всего 2.5 раза. Уж очень много там перемешиваний, которые нужно тупо делать прежде чем грузить SSE. Остальное должны были дать 8 ядер, но на четырех ядрах я не смог выжать более 30% прироста. Поэтому многоядерность в финал не вошла. По видимому в WinRAR это нормально сделано, но это не мой случай... -(((
 
Но мечта идиота все-таки сбылась - надежный короткий быстрый хеш blake2s-128 на замену crc64 или MD5 теперь стоит по дефолту в меню FARa
 
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 15:59 26-12-2013
nightkeeper



Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Persicum
 
Этот новый хэш быстрее и точнее всех предыдущих, теперь имеет смысл только его использовать??
 
И можно еще батник попросить по типу как pafr, только для папок, чтобы рекурсивно искал все папки любой глубины вложенности и создавал заголовки и коды, но без ключа -r, только файлов в каждой папке, но всех фалов целиком, а не каждого отдельно, как это делает pafr. Можно его padr.bat обозвать
Всего записей: 30 | Зарегистр. 31-12-2002 | Отправлено: 21:47 28-12-2013
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
К сожалению, быстрее SHA1 его сделать не получилось, сегодня еще пытался - никак -(((
но он не взламывается (sha3 финалист как никак) и имеет документированную версию с выходом 128бит - мало места занимает и не раздражает своей длиной.
 
Батник сделаю и перезалью. А старый обзову level1
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 22:11 28-12-2013
nightkeeper



Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Persicum
 
Ок, отлично! Подшей туда еще вот этот батник для чекинга:
 

Код:
 
for /f "tokens=*" %%a in ('dir /A:-D /B /S *.FHash.RSC32') do (
rsc32 -rt"%%~Da%%~Pa" -ya -bn"%%a" -pr"%%~Da%%~Pa" -la
)  
 

 
Было бы еще круто намутить чтобы он выдавал как-нибудь, типа найдены ли ошибки или нет. А то многие ругаются что ГУЕв не хватает, они может и хороши, но часто батники рулят 8-)
Всего записей: 30 | Зарегистр. 31-12-2002 | Отправлено: 22:45 28-12-2013
Ajaja

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Спасибо за новую версию! Я уже опасался, что проект заброшен.
Что касается blake2sp, то, честно говоря, я не уверен что вообще стоит использовать криптографические хеши для контроля целостности данных. Тут же главное защитится от случайных коллизий, а не от злоумышленика, пытающегося скрыть изменение/повреждение данных или подделать подпись.  Чем в нашем случае может быть опасен простой и быстрый CRC64?
Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 23:32 28-12-2013
nightkeeper



Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ajaja
 

Цитата:
Я уже опасался, что проект заброшен.

 
Персикум просто бывает забывает свои безумные идеи, но если ему о них напомнить, он опять ими заболевает, начинает температурить, и рождает какой-нибудь новый опус :-D
 

Цитата:
Чем в нашем случае может быть опасен простой и быстрый CRC64?

 
Так то оно так, но есть нормальные люди, а есть  параноики. Ну и пускай пользуются как те, так и другие. Лишняя функция в проге ведь и не мешает, так? =)
Всего записей: 30 | Зарегистр. 31-12-2002 | Отправлено: 15:33 29-12-2013 | Исправлено: nightkeeper, 15:34 29-12-2013
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Персикум просто бывает забывает свои безумные идеи

Болезненность действительно может иметь место. Сидишь четыре дня по 12ч в сутки, а вместо правильного хеша такая лажа сначала прет всегда... Одной даже малейшей неточности в алгоритме достаточно... Желание закончить начинает напоминать аналогичное желание при половом процессе.
 
Хорошие новости, переписал blake с sse2 на ssse3, получил выигрыш 30%. Нужен проц старше core2duo, но щас такие у всех уже есть. Пока не знаю, делать блейк2sp или нет... Ему нужно много ядер, иначе смысла в нем нет. В релиз 3.07 он не войдет, может потом.
 

Цитата:
Чем в нашем случае может быть опасен простой и быстрый CRC64?

А для чего в winrar5 сделали blake2sp? Основная цель - иметь уверенность, что если хэш не изменился, то и файлы целы. Пока файлы лежат на HDD и их не модифицируют вирусы и трояны, пока они лежат прожженными на DVD - разницы никакой. Но сейчас очень многие начинают заливать данные на облака, а это все меняет. Там с ними может случиться все что угодно. CRC64 можно подделать со скоростью прочтения файла. Из остальных хешей реально подделываются только коллизии MD5, но прообраз MD5 до сих пор неподступен ни на грамм. Однако, от MD5 давно уже повсеместно отказываются. Blake - очень заманчивый вариант на сегодня.
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 17:48 29-12-2013
Dimsoft

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
В релиз 3.07

persicum
а он когда будет ?
Всего записей: 2753 | Зарегистр. 17-11-2003 | Отправлено: 18:28 29-12-2013
Ajaja

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum

Цитата:
А для чего в winrar5 сделали blake2sp?

Для меня это загадка. Сам я в какой-то мере тоже параноик, поэтому всегда старался разобраться в вопросах хранения и защиты информации. Если данные лежат в облаке и злоумышленик имеет к ним доступ, то ему ничего не стоит подменить их и перепаковать с новыми хешами (тем же blacke2). В случае же случайного повреждения данных, если я правильно понимаю, главное чтобы хеш/crc каждого поврежденного блока не совпал случайно с тем что был у этого же неповрежденного блока. Тут даже "парадокс" дней рождений не работает, и вероятность такого случайного события настолько мала, что даже в случае применения CRC64 нужно миллиард миллиардов поврежденных блоков, чтоб хеш/crc какого-нибудь одного из них случайно совпал хешем/crc этого же, но неповрежденного блока с вероятностью ~5%.
Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 18:54 29-12-2013 | Исправлено: Ajaja, 19:05 29-12-2013
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Если данные лежат в облаке и злоумышленик имеет к ним доступ, то ему ничего не стоит подменить их и перепаковать с новыми хешами (тем же blacke2).

 
1) можно оставить копию таб себе
2) можно поставить на таб пароль - фича есть в проге
3) можно шифрануть таб по RSA - фича есть в проге
4) можно подписать таб эклиптикой или RSA через PGP
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 19:39 29-12-2013
Ajaja

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Да, п.1 действительно имеет смысл, достаточно хранить у себя только криптографически-сильные хеши (*.FHash.RSC32) сохраняемых в облаке файлов, чтоб всегда можно было удостовериться в их аутентичности.
А вот пп.2,3,4  особого смысла использованию криптографического хеша в качестве контрольных сумм по-моему не добавляют. Подпись или шифрование защитит одинаково архив что с crc, что с blake. Если же сломают пароль, ключ или подпись - то перепаковать и перезашифровать/переподписать эти поддельные/поврежденные данные с пересчитаными blake-хешами проблемы уже не составит.
 
Кстати, насколько я понял на VHash этот параметр не влияет, и указанный алгоритм используется только в FHash?
Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 20:38 29-12-2013 | Исправлено: Ajaja, 20:41 29-12-2013
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Если crc - достаточно подделать файл, таб не трогать.
Если блейк - файл подделать нельзя, только пересчитать таб.
 
Пока не вижу смысла защищать vhash - хеши блоки. Если их подделать или испортить - результат один - ничего лечиться не будет.
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 20:58 29-12-2013 | Исправлено: persicum, 21:04 29-12-2013
Ajaja

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Кстати, немного смущает название самой опции -sha3. Ведь для SHA-3 выбрали алгоритм keccak, а blake был финалистом, но не победил. Как бы в будущем не возникло путаницы и нестыковки с другими програмами, в которых под опцию sha3 реализуют уже keccak.
Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 21:07 29-12-2013 | Исправлено: Ajaja, 21:09 29-12-2013
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Было бы еще круто намутить чтобы он выдавал как-нибудь, типа найдены ли ошибки или нет. А то многие ругаются что ГУЕв не хватает, они может и хороши, но часто батники рулят 8-)

 
Батник сделал. Там все просто - все параметры в %%а и все. Только он текущие файлы не берет, только дирки и поддирки. Если нужно и текущие - сделать дирку и файлы туда.
 
Что касается чекинга всех файлов через батник - может посмотреть выдачу и поискать там слово ERRORs? Пока больше ничего придумать не могу.
 
Добавлено:

Цитата:
Кстати, немного смущает название самой опции -sha3. Ведь для SHA-3 выбрали алгоритм keccak, а blake был финалистом, но не победил. Как бы в будущем не возникло путаницы и нестыковки с другими програмами, в которых под опцию sha3 реализуют уже keccak.
 

Это чтобы ниочем не думать, так как система параметров ключей слитная. Если бы я назвал -blake2s16, тогда нужно было бы смотреть все другие ключи на -b, что они делают.
 
А так, слово sha3 встречается только в ключе, но нигде в выдаче - там написано какой блейк и какой длины. Кеччаков тоже много разных с кучей параметров.
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 21:10 29-12-2013
nightkeeper



Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Persicum
 

Цитата:
Батник сделал. Там все просто - все параметры в %%а и все.

 
О, отлично! С параметрами все понятно, разберемся, тока где он, батник? Забыл наверное перезалить
 

Цитата:
Что касается чекинга всех файлов через батник - может посмотреть выдачу и поискать там слово ERRORs? Пока больше ничего придумать не могу.

 
Ладна, пока и так сойдет
Когда будешь перезаливать, подшей туда и этот батник чекинга, чтобы народ не потерял его, удобно же!
Блейк норм штука, может на него перейду, мой камень имеет все эти инструкции, которые должны давать прирост скорости для этого Блейка))
Всего записей: 30 | Зарегистр. 31-12-2002 | Отправлено: 14:10 31-12-2013 | Исправлено: nightkeeper, 14:11 31-12-2013
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
 
Кстати, немного смущает название самой опции -sha3.

 
Согласен, в новой версии ключ sha3 убрал, будет 4 других ключа - b2s1 b2s2 b2p1 b2p2
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 00:37 01-01-2014
persicum

Full Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
турбопаскальная зомбопрога RSC32 обновилась до версии 3.07
 
что нового?
1) Реализован хеш нового поколения - блейк2.
Нет ли высокопарности в этой фразе?
 
Проведем замеры скорости на данных 1G, расположенных в памяти:
 
RHash - sha2-256 - 8 сек;
RSC32 - sha2-256 - 10 сек (отстает Ж( турбопаскаль сливает вижуалстудии);
 
RHash - sha3-256 - 35 сек (пипец, неужели это после всех оптимизаций?)
 
RSC32 - blake2s - 4 сек (уровень SSSE3);
b2sum - blake2s - 3 сек (уровень SSE4.1)
RSC32 - blake2sp - 2 сек.
 
Итого, SHA3 финалист blake2sp за 2 сек сделал то, на что Кеччачу потребовалось 35 сек.
 
2) В меню Фара и в батниках установлен blake2sp с выходом 128 бит.
При возникновении траблов нужно проанализировать оптимальное число нитей ключом -b2t и задать его ключом -tnb. Есть пока неподтвержденное подозрение, что на дутых гипертредовых псевдоядрах реализация зависнет и финишь. Если такое вдруг произойдет, укажите желаемое число ядер ключом -tnb. У кого есть i7 с 4-мя ядрами и 8-ю тредами, интересно было бы взглянуть на результат выполнения ключа -b2t
 
3) Изменен алгоритм хеширования пароля, если таковой ставится на таблицы (например, от вирусов и врагов). Вместо единократного CRC теперь стоит 100000 раз SHA256. Брутфорсерам мало не покажется. Плюс еще 24 байта соли.
 
Разумеется, старые пароли теперь будут отвергаться, но на совместимость нам плявать, верно?
 
4) По просьбе радиослушателей добавлено еще некоторых батников для штучной обработки файлов или директорий. Эти батники также включены в меню ФАР.
 
5) множественные мелкие улучшения, как то вывод названия алгоритма при просмотре таблиц и тд  
Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 19:21 04-01-2014
Ajaja

Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, blake2 крут. Быстрей и md5 и sha1. Как я понял, 128 бит от 256 в rsc32 по скорости ничем не отличаются?
 
Для статистики, на моем i5-2450p:
Подробнее...
Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 20:13 04-01-2014
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru