Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Открыть новую тему     Написать ответ в эту тему

persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программы данного раздела служат для обнаружения и исправления ошибок, возникающих при передаче данных и их долговременном хранении. Как правило, восстановление возможно, если суммарный объем повреждений в искаженных файлах вместе с объемом полностью утраченных файлов не превышает объем корректирующей информации, которая заблаговременно дописывается на носитель.
 
 
Контроль целостности без возможности восстановления
 
RHash
Описание: замечательная кроссплатформенная консольная утилита для вычисления огромного количества криптографически-стойких hash-функций, в том числе и используемых в p2p сетях. Программы этой группы не способны к исправлению данных сами по себе, но способны указывать на ситуации, когда необходимо воспользоваться резервной копией или перекачать файл заново
 
Домашняя страница: https://github.com/rhash/RHash
Страница для скачивания: http://sourceforge.net/projects/rhash/files/rhash/
 
RapidCRC Unicode
Описание: профессиональное средство для расчета hash-функций, в том числе и современных быстрых многопоточных функций blake2sp и blake3.
 
Домашняя страница: https://www.ov2.eu/programs/rapidcrc-unicode
Страница для скачивания: https://www.ov2.eu/programs/rapidcrc-unicode
 
CHK Hash Sum
Описание: портативная утилита для контроля целостности файлов с поддержкой Юникода и перетягивания.  
 
Домашняя страница: https://compressme.net/
Страница для скачивания: https://compressme.net/
 
 
8-битные коды Рида-Соломона
 
DVDisaster
Описание: Программа для защиты данных на оптических дисках CD, DVD и BD путём добавления к нему избыточной информации.
 
Домашняя страница: https://sourceforge.net/projects/dvdisaster/
Страница для скачивания: https://sourceforge.net/projects/dvdisaster/files/dvdisaster/
 
 
16-битные коды Рида-Соломона
 
WinRAR
Описание: популярный архиватор, начиная с версии 5.0 создает до 65535 томов восстановления. Кроме того, использует коды RS и для добавления информации восстановления к архивам, выгодно отличаясь от всех других архиваторов.
 
Домашняя страница: http://www.win-rar.ru/
Страница для скачивания: https://www.win-rar.com/download.html?&L=4
 
MultiPAR
Описание: Мощная программа для защиты файлов от повреждений. Одновременно работает в 32- и 64-разрядном окружении. Поддержка многопоточности, Юникода, русского языка. Использует ускорение AVX2 и вычисления GPU. Постоянно обновляется.
 
Домашняя страница: http://hp.vector.co.jp/authors/VA021385/
Страница для скачивания: http://www.vector.co.jp/soft/dl/winnt/util/se460801.html
 
ICEECC
Описание: программа во многом аналогична MultiPAR, но появилась на несколько лет раньше. Русский язык отсутствует. Не обновлялась с 2009 года. На сегодня работает примерно в 5 раз медленнее, чем MultiPAR.
 
Домашняя страница: http://www.ice-graphics.com/ICEECC/IndexR.html
Страница для скачивания: http://www.ice-graphics.com/ICEECC/DownloadR.html
 
 
32-битные коды Рида-Соломона
 
RSC32
Описание: консольная утилита для контроля целостности файлов с использованием hash-функций CRC32, CRC64, MD5, SHA1, SHA256, Tiger и blake2sp. Реализация эффективных 32-разрядных кодов Рида-Соломона позволила оперировать сотнями тысяч и миллионами блоков без драматического влияния на быстродействие. Использует FAR Manager как свой GUI
 
Страница для скачивания: https://disk.yandex.ru/d/yFtikZtmyWuQ1w
 


Схожая тема: ZIDRAV и CRC Recovery 2005

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:35 18-07-2007 | Исправлено: persicum, 11:39 29-10-2021
Ajaja

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Вопрос по поводу RSC32. Как я понял, абсолютно необходимыми файлами для восстановления являются *.FHash.RSC32 и *.VHash.RSE32?  И если один из них потерян, то толку от всех остальных файлов уже не будет и восстановить данные не получится?
Все, разобрался, нашел ключ -shd  
Нет, зря все-таки документацию удалили

Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 13:25 11-05-2011 | Исправлено: Ajaja, 16:40 11-05-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Какие оптимальные параметры создания контрольных файлов для DVD/CD  
(частота, количество блоков и проч.)?

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 06:32 12-05-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Все, разобрался, нашел ключ -shd  
Нет, зря все-таки документацию удалили

 
Ключ -hr задает число копий заголовков (тупо приписываются в конец файлов с блоками коррекции). По умолчанию идет -hr5
 

Цитата:
Какие оптимальные параметры создания контрольных файлов для DVD/CD  
(частота, количество блоков и проч.)?

 
По-хорошему, для защиты DVD нужно было-бы что-то около 2000000 блоков по 2048 байт. Однако программа RSC32 не оптимизирована для скрупулезной посекторной защиты носителей, поскольку является абстрактным файловым кодировщиком без привязки к конкретным типам дисков.
 
Если воспользоваться предустановками из менюшки FARа для 256000 блоков, для 4G исходных файлов получим:
 
блоков данных: 222257
блоков коррекции: 37806
избыточность: 17%
размер блока: 17980 байт (8.7 реальных секторов)
эффективность дискового пространства: 96%
 
А если прописать теперь 512000 блоков, тогда будет:
 
блоков данных: 441469
блоков коррекции: 72494
избыточность: 16.4%
размер блока: 9052 байт (4.4 реальных секторов)
эффективность дискового пространства: 93.27%
 
Дальше наращивать число блоков для данной технологии лишено смысла. Достаточно вспомнить, что ICEECC предлагает обычно 2000 блоков, а тут 512000. Должно хватить.
 
Что касается программ DVDisaster или Nero, они конечно имеют размер блока равным 2048 байт. Однако это сделано ценой допущения возможности неполного восстановления данных в некоторых случаях. А программы RSC32 и ICEECC_2.7 гарантируют полное восстановление всех данных при наличии достаточного количества блоков коррекции (равного числу утерянных блоков данных).
 

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:43 12-05-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А если CD - 700 МБ, а DVD - 4480 МБ, тогда какой размер должен иметь файл восстановления данных?
Если не трудно оптимальные параметры ICEECC для CD/DVD, можно привести?

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 13:19 12-05-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Если не трудно оптимальные параметры ICEECC для CD/DVD, можно привести?

 
Оптимальный размер файла восстановления при желании поместить его на том же диске - использовать все оставшееся свободное место - то есть режим подгона под свободное место.
Эта фича есть в RSC32 и ICEECC.
 
Про число блоков сам смотри - блок он на то и блок, что достаточно даже одного дохлого байта чтобы его убить (то есть полностью потерять). В пределах разумного - чем больше тем лучше. Однако в ICEECC появляется фактор времени. Для 2000 блоков он еще нечего. Для 20000 кодировать может часами, а лечить сутками. Там используются огроменные матрицы - пока обернешь - здохнешь. В RSC32 матрицы еще более огроменные, но... - диагональные =)))

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 14:44 12-05-2011
Ajaja

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
Спасибо за RSC32. Очень мощная программа. По возможностям, пожалуй, превосходит все существующие аналоги. О скорости я и не говорю.
Что касается "родного" для DVD размера блока, то, как я понял, и с RSC32 имеет смысл использовать кратный 2048 размер блока (с алгоритмом -t8, например) если на болванку пишется один большой файл + файлы для восстановления. Будет чуть медленней, но надежней.
 
DimitriusXZ
Сами решайте, насколько для вас ценны данные. Можете хоть 100% поставить и записать файлы для восстановления на другой диск.

Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 15:19 12-05-2011 | Исправлено: Ajaja, 15:32 12-05-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
и с RSC32 имеет смысл использовать кратный 2048 размер блока (с алгоритмом -t8, например)

 
Ухх... Я и не думал что кто-либо сможет разобраться с RSC32 так глубоко. Действительно, может иметь некоторый (небольшой) смысл чтобы один битый сектор DVD не уносил сразу два блока коррекции.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 16:28 12-05-2011
Ajaja

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Я и не думал что кто-либо сможет разобраться с RSC32 так глубоко.

Не сказал бы, что глубоко. Хоть и второй день копаю. Часть параметров слабо понятна, например весь раздел Path Group, что такое voting repair, зачем тут RSA (-rsa), что за шифр и  пароли в -ct, не очень понятно назначение Comparison Group, разница между Bad/Adaptive/FastCopy и т.д.  
Но, в принципе, основные ключи ясны
 
З.Ы. В пердыдущем сообщении я опечатался, ключ, конечно же,  -tm8.

Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 17:19 12-05-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
весь раздел Path Group

 
t<r,w,c,o>[Path] truncate [FileName] by [Path];
Это значит ключи -tr, -tw, -tc, -to ( -pr, -pw, -pc, -po) урезают(удлиняют) текущие пути на заданную подстроку при использовании команд -rt -wt -c и для вновьрожденных файлов, соответственно
 

Цитата:
voting repair

 
Исправление многих копий одного файла, битых в разных местах. На выход идет байт, наиболее часто встречающийся в данной позиции
 

Цитата:
Bad/Adaptive/FastCopy  

 
1) многократные попытки считать сбойный участок (-rnN - N раз)
2) подход к битым участкам с двух сторон. Сперва файл читается сначала, при возникновении сбоя идет на конец и начинает читать с конца к началу, то есть перепрыгивает через ямы.
3) Обычное копирование, но с выделение большого количества памяти.
 
 

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 18:58 12-05-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Есть такое мнение, что чтобы восстановление было возможно объем повреждений должен быть меньше размера .ecc-файла. Это правда?

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 22:52 12-05-2011 | Исправлено: DimitriusXZ, 22:53 12-05-2011
Ajaja

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Есть такое мнение, что чтобы восстановление было возможно объем повреждений должен быть меньше размера .ecc-файла. Это правда?  

Это необходимое, но не достаточное условие. Все защищаемые данные делятся на блоки, любое повреждение блока, пуст даже на 1 бит, потребует для восстановления целый блок  из .ecc. Так что, даже если объем повреждений вроде бы и небольшой, но все повреждения распределены по разным блокам,  то для восстановления повреждений потребуется .ecc не меньший, чем размер всех этих блоков.  
Поэтому, как не трудно догадаться, чем на больше число блоков делить, тем лучше. Но тут нужно не переусердствовать. Во первых тормоза, во вторых - чем больше блоков, тем больше места занимают заголовки и меньше места остается для самих блоков восстановления.
 
persicum
Спасибо за разъяснения. Буду копать дальше

Всего записей: 1032 | Зарегистр. 17-06-2004 | Отправлено: 00:10 13-05-2011 | Исправлено: Ajaja, 00:18 13-05-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Поэтому, как не трудно догадаться, чем на больше число блоков делить, тем лучше. Но тут нужно не переусердствовать. Во первых тормоза, во вторых - чем больше блоков, тем больше места занимают заголовки и меньше места остается для самих блоков восстановления.  

 
Хвалю за интеллект. Очень мало кто это понимает из пользователей ICEECC и QuickPAR

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 08:47 13-05-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Хорошо с теорией Рида-Соломана я не разбирался специально.
Но по ответам понял, что чем больше блоков данных и чем больше файл .ecc - тем больше  
вероятность восстановления данных.
Но все таки повторю свой вопрос - какие оптимальные параметры для DVD?
На основании усредненных статистических данных.
Скажем так если на DVD повреждено до 10 секторов. Или 10 МБ.
Да и еще сайт QuickPar по-моему умер. Киньте ссылки на программу.
И еще есть вроде бы программа Par?

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 14:00 14-05-2011 | Исправлено: DimitriusXZ, 14:03 14-05-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Да и еще сайт QuickPar по-моему умер. Киньте ссылки на программу.
И еще есть вроде бы программа Par?  

 
Программы QuickPAR/PAR/ICEECC для зашиты DVD малопригодны. PAR/QuickPAR создавались для лечения файлов, переданных по дырявой сетке UseNET. Это сейчас bittorent гарантирует безошибочную доставку и использует древовидный хеш чтобы подкачивать нужные кусочки. А пользователи UseNet должны сначала скачать файл а потом лечить его самостоятельно. Размер блока там - 384000 байт. Это почти 200 секторов по 2048 на блок. Несмотря на столь чудовищные блоки, для порчи которых достаточно и одного дохлого сектора, на DVD тем не менее умещается 10000 их штук - непомерно большое число блоков для технологии QuickPAR/PAR. ICEECC - это просто высокооптимизированный многопоточный клон QuickPAR. И к нему вся эта критика в полной мере применима.
 
На счет оптимальной защиты DVD тебе точно никто ничего не скажет, так как лечить DVD приходится не каждый день и не каждый год. Это как ответить на вопрос, что будет если я выну пугач-оса а хулиган подумает что это огнестрел и пальнет первым? Просто вооружайся до зубов. Смотри на скорость, на число блоков и так далее... Я бы делал просто RAIDы из дисков 3:1 или 5:1, последний целиком с кодами восстановления.  

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 17:05 14-05-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ясно. Благодарю за ответ Persicum.

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 04:58 15-05-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DimitriusXZ
 
Возможно вам бы хорошо подошел DVDisaster, если не хотите заниматься арифметикой и думать о каких-то там блоках. DVDisaster лечит байт-в-байт, там нет никаких блоков (но есть локальные группы по 255 байт). Однако, защищая только одну болванку, вы оставляете ее уязвимой к взрыву в приводе, к заклиниванию при закрытии лотка, к утрате способности зачитывать главный каталог, к банальной потере.  Поэтому RAID 3:1 гораздо лучше. Я складирую DVD-Video как 3:1, при этом не нужно захламлять эти видеодиски явными или скрытыми кодами.    

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 08:03 15-05-2011 | Исправлено: persicum, 08:15 16-05-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
прога обновилась до 2.85
 
появился ключ -wr2[path], который позволяет использовать второй путь для сваппинга во время восстановления. Даже в отсутствие трех жестких дисков этот ключ будет полезен и для двух дисков.
 
Например:
 
-wrkd:\temp -wr2c:\temp
 
В этом случае свапеж будет производиться между дисками c: и d: и обратно (все время разные диски), что может сильно ускорить восстановление

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 15:46 20-05-2011 | Исправлено: persicum, 15:50 20-05-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А документацию по использованию RSC32 можно выложить?
И какое значение имеет параметр избыточность?
 
Что касается DVD, то меня, прежде всего, волнуют ошибки при записи данных.
Иногда обычно их 1-8 блоков.
Что подскажите в этом случае?

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 07:12 26-07-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
прога обновилась до 2.85

Ссылка, вроде бы, умерла...

Всего записей: 828 | Зарегистр. 17-01-2010 | Отправлено: 12:41 29-07-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ссылка жива и пережила 333 скачиваний. Текущая версия 2.87.
 
При защите DVD ни о чем думать не нужно, нужно установить меню в FAR манажер, потом:
1) Set basename - ввести имя записи восстановления
2) Add files/add current dir - рассчитать суммы файлов и всех папок
3) Protect 256000/Fit to DVD-R - записать избыточность на все оставшееся место
 
ВСЕ.  
Если файлы записались битыми, но диск читается, можно выполнить Check recovery record и посмотреть, можно ли вылечить. Если можно, то диск можно и не выбрасывать, а хранить как есть.
 
базовые понятия как то блок, избыточность, процент восстановления, эффективность следует изучать с более дружелюбными прогами как ICEECC и QuickPAR. Затем только переходить к RSC32 как в 100 раз более мощной и более быстрой проге.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 15:02 29-07-2011 | Исправлено: persicum, 21:12 29-07-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru