Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Открыть новую тему     Написать ответ в эту тему

persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программы данного раздела служат для обнаружения и исправления ошибок, возникающих при передаче данных и их долговременном хранении. Как правило, восстановление возможно, если суммарный объем повреждений в искаженных файлах вместе с объемом полностью утраченных файлов не превышает объем корректирующей информации, которая заблаговременно дописывается на носитель.
 
 
Контроль целостности без возможности восстановления
 
RHash
Описание: замечательная кроссплатформенная консольная утилита для вычисления огромного количества криптографически-стойких hash-функций, в том числе и используемых в p2p сетях. Программы этой группы не способны к исправлению данных сами по себе, но способны указывать на ситуации, когда необходимо воспользоваться резервной копией или перекачать файл заново
 
Домашняя страница: https://github.com/rhash/RHash
Страница для скачивания: http://sourceforge.net/projects/rhash/files/rhash/
 
RapidCRC Unicode
Описание: профессиональное средство для расчета hash-функций, в том числе и современных быстрых многопоточных функций blake2sp и blake3.
 
Домашняя страница: https://www.ov2.eu/programs/rapidcrc-unicode
Страница для скачивания: https://www.ov2.eu/programs/rapidcrc-unicode
 
CHK Hash Sum
Описание: портативная утилита для контроля целостности файлов с поддержкой Юникода и перетягивания.  
 
Домашняя страница: https://compressme.net/
Страница для скачивания: https://compressme.net/
 
 
8-битные коды Рида-Соломона
 
DVDisaster
Описание: Программа для защиты данных на оптических дисках CD, DVD и BD путём добавления к нему избыточной информации.
 
Домашняя страница: https://sourceforge.net/projects/dvdisaster/
Страница для скачивания: https://sourceforge.net/projects/dvdisaster/files/dvdisaster/
 
 
16-битные коды Рида-Соломона
 
WinRAR
Описание: популярный архиватор, начиная с версии 5.0 создает до 65535 томов восстановления. Кроме того, использует коды RS и для добавления информации восстановления к архивам, выгодно отличаясь от всех других архиваторов.
 
Домашняя страница: http://www.win-rar.ru/
Страница для скачивания: https://www.win-rar.com/download.html?&L=4
 
MultiPAR
Описание: Мощная программа для защиты файлов от повреждений. Одновременно работает в 32- и 64-разрядном окружении. Поддержка многопоточности, Юникода, русского языка. Использует ускорение AVX2 и вычисления GPU. Постоянно обновляется.
 
Домашняя страница: http://hp.vector.co.jp/authors/VA021385/
Страница для скачивания: http://www.vector.co.jp/soft/dl/winnt/util/se460801.html
 
ICEECC
Описание: программа во многом аналогична MultiPAR, но появилась на несколько лет раньше. Русский язык отсутствует. Не обновлялась с 2009 года. На сегодня работает примерно в 5 раз медленнее, чем MultiPAR.
 
Домашняя страница: http://www.ice-graphics.com/ICEECC/IndexR.html
Страница для скачивания: http://www.ice-graphics.com/ICEECC/DownloadR.html
 
 
32-битные коды Рида-Соломона
 
RSC32
Описание: консольная утилита для контроля целостности файлов с использованием hash-функций CRC32, CRC64, MD5, SHA1, SHA256, Tiger и blake2sp. Реализация эффективных 32-разрядных кодов Рида-Соломона позволила оперировать сотнями тысяч и миллионами блоков без драматического влияния на быстродействие. Использует FAR Manager как свой GUI
 
Страница для скачивания: https://disk.yandex.ru/d/yFtikZtmyWuQ1w
 


Схожая тема: ZIDRAV и CRC Recovery 2005

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:35 18-07-2007 | Исправлено: persicum, 11:39 29-10-2021
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Добрый день, уважаемый persicum
Прошу прощения за стиль и лаконичность. К сожалению, тяжело общаться.  
Возникло несколько вопросов
1) Разница между 2.87 и 2.89?
2) Разница/преимущества между -pow2 и -pow10?
3) Что делает ключ  "-e estimate entropy, Chi^2 and Durbin-Watson;" "-rsa extract RSA module;"?
4) Для создания таблиц имеет ли значение выбранный метод расчета (-n[N]  -md2  -md5  -sha1  -tig), если да, то какое.
5)  
Цитата:
В первом это 10млн символов в строке, из них только 255 ненулей, а остальные нули. Во втором 1млн символов и нет ни одного нуля, все ненули. Что надежнее???

Недостаточные знания математики. Что это значит? На что это влияет? (приоритеты надежность > ресурсы > скорость ).
Заранее благодарю за ответ.

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 21:46 24-09-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1) Разницы почти никакой, просто версия 2.89 теперь еще указывает повреждения в процентах, а также дает сообщение, что блоки коррекции свыше тех что необходимы для восстановления возможно существуют но их поиск был отменем ключем - mf (так называемые extra блоки)
 
2) -pow2 нарезает файлы восстановления по степеням двойки, эта фишка есть и в ICEECC и в QuickPAR. Однако, чтобы отсчитать например 1000 блоков необходимо прибегнуть к калькулятору с поддержкой двоичных чисел. -pow10 нарезает файлы восстановления по блокам в десятично-разновесной системе, там легко отсчитать любое число блоков без калькулятора. Однако, поскольку двоичная система более эффективна, число файлов в ней будет несколько меньше для заданного числа блоков чем в десятично-разновесной системе.
 
3) Это ключи для подсчета статистики файлов. Статистика позволяет различить простые/сжатые/шифрованные файлы друг от друга, или определить, будут ли файлы архивироваться - определить быстро не проводя самого сжатия. -RSA извлекает программу шифрования и цифровой подписи по алгоритму RSA - к сожалению, релиз без многопроцессорности и SSE, но в остальном работает быстро
 
4) Для работы программы метод расчета хэшей файлов значения не имеет. Я использую CRC64 всегда, но этот алгоритм легко подделать. Просто я думаю, что такой угрозы нет совершенно. А вот супер алгоритм -tiger подделать нельзя, но можно подделать файл FHash. RSC32, если не ставить на него пароль. Но угрозы опять таки нет, программа RSC32 практически никому неизвестна. По скорости самый лучший CRC64. А вот алгоритму CRC32 я бы не доверял, легко подделать и имеет мало смысла для больших файлов.
 
5) Математика там наипростейшая. Можно считать, что одит байт восстановления это сумма или XOR всех остальных байтов. то есть
Y = X1 xor X2 xor X3 ... xor Xn.
 
Тогда, если например байт X3 потерялся, то его легко найти как
X3 = X1 xor X2 xor Y ... xor Xn.
 
Это обстоятельство называется в DVDisaster словом root. Очевидно, 8-разрядные коды DVDisaster не могут найти более 255 рутов, или для 10% 25 рутов. Коды RSC32 это 32-разрядные коды, число рутов там может быть 4 миллиарда или сотни тысяч на практике. Но конечно, нельзя говорить что какая то программа во всем лучше другой. Disaster обрабатывает группами по 255 секторов, но эти 255 секторов выбираются из диска случайно, так что надежность вроде на уровне. Главное отличие, что Disaster может исправлять файлы не полностью, а RSC32 если только восстановление возможно то оно всегда проходит на 100% благодаря как раз огромному количеству рутов, не 20 их штук, а обычно сотни тысяч.
 
Добавлено:
Что касается скорости, то при простейшем рассмотрении 32 разрядные коды должны в 4 раза быстрее 8 разрядных работать на 32 разрядной машине.
 
Добавлено:
Понятно, что Disaster как то пытается упаковать эти байты в длинные регистры MMX и SSE, но на практике я намерил разницу в шесть раз в пользу RSC32.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 07:46 25-09-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
http://www.youtube.com/watch?v=Rf1c0BA-OXk
 
Видео урок про заюзывание RSC32 через FAR. 20 гигов защитил за 20 минут. На самом деле, из них 5 минут отожрал процесс видеозахвата. А QuickPAR запросил 3 с половиной часа и был прибит как процесс.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 08:53 28-09-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Задаю -wrr8192-10%. По идее он должен рассчитать с 10% Redundancy.
А он воспринимает параметр 10% как 10 блоков для восстановления…
Я что-то делаю не так?
 
И еще одно.
Сам не хочу разбираться, поэтому спрашиваю автора.
И еще одно ICE ECC может проверять способность к восстановлению созданных  
файлов коррекции и проч. RSC32 умеет это делать?
Какие у него аналоги команд Full Test и Fast Test?
А также Verify и Verify only.

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 01:29 09-10-2011
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Добрый день, DimitriusXZ

Цитата:
Задаю -wrr8192-10%. По идее он должен рассчитать с 10% Redundancy. А он воспринимает параметр 10% как 10 блоков для восстановления…

Тоже сталкивался с этой проблемой. В комстроке все нормально, только из бат-файла, верно?  
% там - служебный символ (для обозначения переменных). Необходимо писать %%  (те -wrr8192-10%%). Кавычки не помогают.

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 10:25 09-10-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DimitriusXZ
Alex_Piggy
Спасибо за указание на проблему! Действительно, символ % обрабатывается в бат-файлах несколько иначе, чем в скриптах FAR'a. Поэтому в бачах следует писать -wrr8000-10%%
 
Кроме того, собрал версию 2.91, где для совместимости можно также писать
-wrr8000-10p , чтобы избежать проблем, когда среда/окружение трактует % как служебный символ.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:42 09-10-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да, из bat-файла.
Благодарю Alex_Piggy, persicum.
А аналоги команд ICE ECC?

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 20:48 09-10-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DimitriusXZ
 
1) Verify - тоже самое, что и лечить. ключ -rrr
 
2) Verify only - быстро проверить контрольные суммы файлов, ключ -rt
 
3) Fast Test - можно попробывать просто поискать все блоки и посмотреть, возможно ли восстановление? Ключ -crr  
 
4) Full Test - простого аналога нет. Но можно поступить так
 
a) -wt -bntest -rn *.rse32
b) пересчитать файлы восстановления опять ключем -wrr
c) -rt -bntest проверить, что файлы восстановления имеют те же самые суммы что и в первый раз.    

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 09:15 10-10-2011 | Исправлено: persicum, 12:33 10-10-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Благодарю Persicum
И вот еще вопрос.
Я создал все файлы, как потом, начав новый сеанс в FAR, проверить данные и проч.
Выдает, что не может открыть файл FHash.RSC32 хотя он лежит в текущем каталоге…
Создать заново FHash.RSC32?

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 13:01 10-10-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DimitriusXZ
В FAR нужно сперва наперво указать Базовое Имя набора файлов восстановления. FHash.RSС32 тоже имеет свое определенное базовое имя, хотя оно и пустое.
 
1) Навести курсор на FHash.RSC32
2) F2 вызвать меню
3) Set BaseName/ Set BaseName from Current File
 
теперь можно делать все остальное.  
 
Добавлено:
DimitriusXZ
Если вы спрашиваете не про меню FAR, а про командную строку, то вероятно вам нужно переключить активную панель клавишой TAB.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 15:10 10-10-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Еще раз благодарю persicum.

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 01:24 11-10-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Прога обновилась до версии 2.92. В 2-3 раза ускорен расчет хешей MD5 и CRC64

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:11 13-10-2011
folta

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
а чего шапку не забабахает никто?!
у поделок коммерческих все в шапках и соболях, а тут...
сам в шапках не силен, тем более в прибивании, поэтому вопрошаю.

Всего записей: 1177 | Зарегистр. 24-11-2010 | Отправлено: 11:26 13-10-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
да тема шипко специфическая, шапка имхо не нужна. Проги перечислены в первом посте, все бесплатные. QuickPAR и ICEECC хорошие проги с плохой математикой, RSC32 глупая в техническом плане прога со сложной математикой... Так что везде изъяны. До шапки никто не дорос. Disaster отличная серьезная кроссплатформенная прога с погаными 8-битными кодами. Автор в математике полный дебил, печатает какието байтовые таблицы умножения в мануале по RS03. Попробывал бы напечатать таблицу 4 млрд. на 4 млрд. для 32-х битных кодов как в RSC32. =)))

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:41 13-10-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
прога обновилась до 2.97. Суммарное время создания файлов защиты сокращено на 25%

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 16:38 14-10-2011 | Исправлено: persicum, 14:32 15-10-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
а чего шапку не забабахает никто?!
у поделок коммерческих все в шапках и соболях, а тут...  

 
Забабахал не шапку, а исправил первый пост!!! Ляпота!

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 14:47 16-10-2011
Engaged Clown



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Шапку возможно скоро включат, просил недавно в соответствующей теме.

Всего записей: 8782 | Зарегистр. 08-06-2006 | Отправлено: 00:38 17-10-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
RSE32 создает файлы:
Баз.Имя.RSE32
VHash.RSE32
FHash.RSC32
Можно указать их официальное название и назначение?

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 00:26 21-10-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FHash.RSC32 - содержит контрольные суммы файлов, их имена, размер, время модификации. Чемто похож на файлы md5.svf, но записан в бинарном виде. Полные пути в именах файлов поджимаются чтобы занимать меньше места. Файл интересен сам по себе, поэтому имеет особое расширение. С его помошью можно проверять целостность файлов при переноске или пересылке. Можно добавлять контрольные суммы новых файлов не пересчитывая старые. Можно поставить пароль на содержащиеся в нем имена..
 
VHash.RSE32 - содержит контрольные суммы блоков. Нужен для поиска неповрежденных блоков по их контрольным суммам. Размер пропорционально зависит от общего числа блоков в задаче. Для  100000 блоков это 2 мега, для 500000 блоков это 8 мегов, для 2000000 это уже 32 мега.  
 
sxx_volxxxxxx.RSE32 - содержат блоки восстановления, то есть избыточную информацию. Число этих файлов и их размер управляемы отдельными ключами.  
 
Самые любознательные могут поэкспериментировать, какие повреждения переносят каждый из этих файлов? =)))

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 10:57 21-10-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вышла версия 2.99. Теперь итоговую выдачу можно скролить не только вниз, но и вверх, не боясь пропустить что-то важное =)) Это большая роскошь для консольной проги...

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 13:29 10-11-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru