Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Открыть новую тему     Написать ответ в эту тему

persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программы данного раздела служат для обнаружения и исправления ошибок, возникающих при передаче данных и их долговременном хранении. Как правило, восстановление возможно, если суммарный объем повреждений в искаженных файлах вместе с объемом полностью утраченных файлов не превышает объем корректирующей информации, которая заблаговременно дописывается на носитель.
 
 
Контроль целостности без возможности восстановления
 
RHash
Описание: замечательная кроссплатформенная консольная утилита для вычисления огромного количества криптографически-стойких hash-функций, в том числе и используемых в p2p сетях. Программы этой группы не способны к исправлению данных сами по себе, но способны указывать на ситуации, когда необходимо воспользоваться резервной копией или перекачать файл заново
 
Домашняя страница: https://github.com/rhash/RHash
Страница для скачивания: http://sourceforge.net/projects/rhash/files/rhash/
 
RapidCRC Unicode
Описание: профессиональное средство для расчета hash-функций, в том числе и современных быстрых многопоточных функций blake2sp и blake3.
 
Домашняя страница: https://www.ov2.eu/programs/rapidcrc-unicode
Страница для скачивания: https://www.ov2.eu/programs/rapidcrc-unicode
 
CHK Hash Sum
Описание: портативная утилита для контроля целостности файлов с поддержкой Юникода и перетягивания.  
 
Домашняя страница: https://compressme.net/
Страница для скачивания: https://compressme.net/
 
 
8-битные коды Рида-Соломона
 
DVDisaster
Описание: Программа для защиты данных на оптических дисках CD, DVD и BD путём добавления к нему избыточной информации.
 
Домашняя страница: https://sourceforge.net/projects/dvdisaster/
Страница для скачивания: https://sourceforge.net/projects/dvdisaster/files/dvdisaster/
 
 
16-битные коды Рида-Соломона
 
WinRAR
Описание: популярный архиватор, начиная с версии 5.0 создает до 65535 томов восстановления. Кроме того, использует коды RS и для добавления информации восстановления к архивам, выгодно отличаясь от всех других архиваторов.
 
Домашняя страница: http://www.win-rar.ru/
Страница для скачивания: https://www.win-rar.com/download.html?&L=4
 
MultiPAR
Описание: Мощная программа для защиты файлов от повреждений. Одновременно работает в 32- и 64-разрядном окружении. Поддержка многопоточности, Юникода, русского языка. Использует ускорение AVX2 и вычисления GPU. Постоянно обновляется.
 
Домашняя страница: http://hp.vector.co.jp/authors/VA021385/
Страница для скачивания: http://www.vector.co.jp/soft/dl/winnt/util/se460801.html
 
ICEECC
Описание: программа во многом аналогична MultiPAR, но появилась на несколько лет раньше. Русский язык отсутствует. Не обновлялась с 2009 года. На сегодня работает примерно в 5 раз медленнее, чем MultiPAR.
 
Домашняя страница: http://www.ice-graphics.com/ICEECC/IndexR.html
Страница для скачивания: http://www.ice-graphics.com/ICEECC/DownloadR.html
 
 
32-битные коды Рида-Соломона
 
RSC32
Описание: консольная утилита для контроля целостности файлов с использованием hash-функций CRC32, CRC64, MD5, SHA1, SHA256, Tiger и blake2sp. Реализация эффективных 32-разрядных кодов Рида-Соломона позволила оперировать сотнями тысяч и миллионами блоков без драматического влияния на быстродействие. Использует FAR Manager как свой GUI
 
Страница для скачивания: https://disk.yandex.ru/d/yFtikZtmyWuQ1w
 


Схожая тема: ZIDRAV и CRC Recovery 2005

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:35 18-07-2007 | Исправлено: persicum, 11:39 29-10-2021
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Это я знаю и понял (это я о использовании RSC32).
Да, вроде бы действительно RSC32 по возможностям самая быстрая и могучая.  
Жаль, все портит две вещи  - отсутствие GUI и требование к свободному месту на диске при создании файлов коррекции, которого, как всегда, нехватает...
 
И сколько оставлять на DVD места для файлов коррекции?
Если, скажем так, данных 4.1 ГБ и 100 МБ файл коррекции на 256000 блоков, этого хватить чтобы  
восстановить, скажем, 40 МБ? По-моему, в этой ситуации слишком много блоков...

Всего записей: 831 | Зарегистр. 17-01-2010 | Отправлено: 21:57 29-07-2011 | Исправлено: DimitriusXZ, 22:00 29-07-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
для этого нужно посмотреть параметр efficiency в распечатке, если он скажем 95%, то из 100 метров можно спокойно восстановить 95 метров. С уменьшением числа блоков efficiency действительно повышается... Eще efficiency можно повысить ключами -hr3 -sn3, которые дадут три копии заголовков вместо пяти по умолчанию.
 
Сам то я делаю 10-15% и мне не жалко, но если вы предпочитаете 2-3%, то нужно серьезно озаботиться efficiency и довести ее хотя бы до 90%

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 07:16 30-07-2011 | Исправлено: persicum, 07:47 30-07-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не спорю, 400-600 МБ под файл коррекции - это практически 1000% гарантия восстановления бережно хранящегося диска. А не много это?  
WinRar и др. добавляют 1-3% для восстановления...

Всего записей: 831 | Зарегистр. 17-01-2010 | Отправлено: 14:16 30-07-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Если не рассматривать ошибки, связанные с длительным хранением, то остаются два вида ошибок
 
1) когда напортачил лазер. Тут потери идут на единичные сектора, поэтому 2-3% может и хватить.  
2) когда диск поцарапался. Тут маленькая царапина легко может унести 100 метров, так как она пересекает очень много витков записи.
 
ICEECC может предложить 2% как 2000-40, тогда ее способности хватит только на 40 случайных секторов. Она может предложить и 20000-400, тогда ее способности хватит на 400 случайных секторов, но ждать придется полчаса. ICEECC также сможет вылечить и 2% целиком, т.е. 10000 секторов, как и подразумевалось, но только если они идут подряд.
 
RSC32 на современной машине и со вторым жестким диском может сделать 2% как 200000-4000 за 3 мин, что убьет ICEECC как по блокам, так и по скорости.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 17:37 30-07-2011 | Исправлено: persicum, 18:59 30-07-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Проблема RSC32 в том, что она создает временные файлы в том же каталоге, что и данные.
Можно как-то ей приказать создавать все файлы в другом месте?
В ICE ECC такая возможность есть.

Всего записей: 831 | Зарегистр. 17-01-2010 | Отправлено: 21:55 31-07-2011 | Исправлено: DimitriusXZ, 21:58 31-07-2011
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Добрый день.
DimitriusXZ

Цитата:
-wrk[Path] set working dir for swap files
 -po[Path] set output dir
-wr2[Path] set second working dir while repairing;
 

rsc -wrr6000-600 -tm5 -ya -pow10 -wrkC:\temp
И прочее посмотрите в options.txt. В старом давались еще и примеры... (не спорю, что можно распотрошить FarMenu и  MultiArc, но было немного понятней. Например, там было про working dir )
persicum
Огромное спасибо за программу! Еще б в последних версиях работала опция -ms "minimize swap"... Или опцией - через память (как в версиях 1.7 -2.0) или через свап.

Всего записей: 1891 | Зарегистр. 07-08-2002 | Отправлено: 22:44 31-07-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Что нужно добавить в реестр, чтобы в Far меню добавить возможность выбора выходных каталогов?

Всего записей: 831 | Зарегистр. 17-01-2010 | Отправлено: 10:00 02-08-2011
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Добрый день, DimitriusXZ
Изменения в реестре сложнее объяснить, легче исправить FarMenu.txt и пересохранить.
Вам нужно сдублировать первую часть  - ":Set BaseName" (все до абзаца перед :Add Files). Меняете "BaseName" "OutputDir". Затем в опциях, касающихся восстановления (все строки начиная с ":Repair Files") -po%RSC32_OutputDir%
Вроде так.
Пример
PS  -po касается только восстановления. В инструкции написано, что и запись таблицы. но почему-то не работает. В создании инфа подобного к сожалению, похоже нет.

Всего записей: 1891 | Зарегистр. 07-08-2002 | Отправлено: 16:15 02-08-2011 | Исправлено: Alex_Piggy, 16:17 02-08-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Alex_Piggy
В настоящий момент прога RSC32 не реализует ни одного варианта инкрементальных кодов, которые могли бы работать, получая блок за блоком для обработки. Поэтому все двенадцать -tm требуют сначала просвапить данные... Иногда это действительно достает, хотя просвапить 5G это чисто минутное дело. Я обдумываю написать чтонить оптимальное специально для 3-5% избыточности, но оно не должно тормозить по сравнению со свапом, иначе смысла нет. Но тут много негатива:
1) 5% будут создаваться в пять раз дольше чем 1%
2) Скорость и объем работы будут ограничены размером RAM, а больше 700М выделять не хочется.
3) Обсчет одного блока данных будет стрессировать и видоизменять целый гиг памяти.
В настоящий момент алгос -tm11 тот что по умолчанию лишен этого гимора. За 15 мин можно обсчитать 20G c 500000 блоками, создав 2G восстановления, что заметно больше используемых 700 М RAM. Однако при попытке создать и полечить скажем 1% эффект будет напоминать стрельбу по воробьям... Вывод - специально создать чтонить для малой избыточности.
 
DimitriusXZ
Реестр не нужно специально править. Прямо в Фаре вызови F2 alt+F4 и добавь измения прямым текстом в меню. Универсальный вариант сделать труднее чем изменить конкретную строку. За образец возьми строку set basenane from current dir, заведи новую переменную окружения и скорми ее в -wt и -wrr, см. ниже
 
-wtPath это где запоминать FHash.RSC32
-wrr250000-10%-Path это откуда брать FHash.RSC32 и куда писать корректирующую инфу
-wrkPath- это куда свапить временные файлы
-poPath - это где располагать вылеченные файлы
 
Лично я никогда не использую эти ключи, кроме -wrk, поэтому не советую с этим заморачиваться, зачем? Пусть корректирующая инфа лежит рядом с данными. Я подсветил у себя ее ярко красным в Фаре.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 17:01 02-08-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Благодарю Alex_Piggy. Попробую. А так чтобы выбрать выходные каталоги в диалоге можно?
Persicum также благодарю.
Persicum почему бы вам не выложить документацию по использованию RSC32 с примерами и разъяснениями?
Ведь многие же просят...
Тогда можно было бы запускать её через батники...

Всего записей: 831 | Зарегистр. 17-01-2010 | Отправлено: 22:53 02-08-2011
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Добрый вечер
persicum
Спасибо, но, к сожалению, не понял.
Конкретный пример - обработка 9 GB сборника CD-ISO, wrr60000-6000 -tm5
1. Desktop AMD 2000+ (1666); 768 SD-RAM; Win98 + FAT32; Seagate Barracuda 250 GB.
-mu500 -ms
CRC32 1.83  Время обработки 80 минут, половина времени - работа с диском, swap <200 MB, для восстановления 9 GB (только NTFS ).
2. Notebook Core Duo T2330 1024 DDR3-RAM; Vista; Fujitsu 120 GB
RSC32 2.87 Время обработки 40 минут, 5 мин работа с диском, swap 9 GB, для восстановления 9 (18? не проверял) GB.
На одном компьютере не могу проверить, т.к. на нотебуке нет старой версии, а на настольном - видеокарты.  
Разница в скорости 2 раза можно объяснить количеством ядер, скоростью шины и поддержкой SSE2. Ну пусть будет между версиями 20-30% разницы скорости. Но старая версия требует 200 MB swap, а новая 9 GB.  
Я не предлагаю полностью отказатся от использования swap, просто спрашиваю, можно ли сократить его, как было когда-то.
А создавать отдельно модуль с другой логикой может быть несколько нерационально.  
PS. Времена получены на рабочих системах и не являются абсолютными или тестовыми величинами.
 
DimitriusXZ
Хм... Не знаю. А что нужно?
Если просто возможность вручную ввести директорию, то это уже есть

Код:
 
:  Set OutputDir from Keyboard  
     set RSC32_OutputDir="!?Enter OutPutDir?!"
 

Если запустить выбор папок по типу диалога сохранения в windows, то не знаю. Не уверен, что FAR это поддерживает.
По поводу документации - в течении пары дней, когда/если разберусь с компами могу сбросить в ПМ документацию на версию 2.4 или около того - последнюю из публикованных.

Всего записей: 1891 | Зарегистр. 07-08-2002 | Отправлено: 00:22 03-08-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Alex_Piggy
От свапа отказаться нельзя, или можно, только создав для этого специальный алгоритм в будущем. Я понимаю о чем вы говорите, но ключ -ms был полумерой и поэтому опущен.
 
А почему вы заюзываете ключ -tm5 ??? Все алгоритмы кроме последнего -tm11 имеют исторический, познавательный и прородительский характер, и не имеют практической ценности. -tm11 сделает вам ваши 60000 или 600000 блоков за 5 минут. Скачайте последнюю версию 2.87. Ааааа... Понял, чтобы продемонстрировать ключ -ms. Ну так от него было больше вреда чем пользы, поэтому он был ликвидирован.
 
Ключ -tm11 он же по умолчанию не следует заюзывать как -wrr60000-6000, а только как -wrr60000-10%, так как алгоритму требуется тонкая автоматическая оптимизация числа блоков, которая в первом случае не проводится.
 
Если есть интерес к старым версиям, где был -ms, то самый быстрый алгос там был не -tm5, а -tm2. Но по сравнению с -tm11 это просто детский лепет.
 
 
Я держался win2000 до последнего, пока буквально все проги затребовали ХР SP3. Но FAT32 Win98 это вообще финиш. Прога конечно работать не будет изза больших свапов.
 
Добавлено:
DimitriusXZ
Возможно, в Фаре можно получить не только текущий- (для определенности) правый каталог, но и неактивный левый. Попробуйте этим поиграться. Возможно это будет удобнее так как реже придется прыгать табом между панелями. Тогда справа у вас будут файлы которые нужно обработать, а слева - та директория, где будет таблица и файлы восстановления. Запускаете и все, сразу смотрите на результат без выпадающего диалога поиска нужной папки.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 08:19 03-08-2011 | Исправлено: persicum, 12:14 03-08-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
По поводу документации - в течении пары дней, когда/если разберусь с компами могу сбросить в ПМ документацию на версию 2.4 или около того - последнюю из публикованных.

Сбросьте.

Всего записей: 831 | Зарегистр. 17-01-2010 | Отправлено: 14:10 03-08-2011
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
persicum
Спасибо за объяснение. Буду знать. Опять таки информации о скоростях работы после -tm8 не нашел... На момент создания большей части инфы (начало-середина 2009 года) -tm5 была последней.
PS. Прошу прощения, что ввел в заблуждение. Не 1.83, а 1.96. Последняя версия, совместимая с старыми "parchives".

Всего записей: 1891 | Зарегистр. 07-08-2002 | Отправлено: 15:33 03-08-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DimitriusXZ
Есть опасение, что от этой "документации" будет больше вреда, чем пользы. Копайте лучше меню Фара, там вы найдете самые свежие и актуальные ключи.
 
Добавлено:
Alex_Piggy
Поскольку прога содержит много алгоритмов, их адаптация для работы без свапа не проводилась, да и не всегда возможна. В будущем я добавлю алгоритм без свапа, но только для малой избыточности, скажем до 10%. Свап сам по себе меня не напрягает, просто он требует время, которого ьывает жалко. С другой стороны, ICEECC содержит один чрезвычайно оптимизированеый алгоритм, но сам по себе не то чтобы быстрый. Интересно было бы сравнить
 
ICEECC 10000 блоков 1%
ICEECC 10000 блоков 10%
 
RSC32 -wrr100000-1%
RSC32 -wrr100000-10%
 
Пишу с телефона, сам проверить не могу пока.
 
Если первый вариант покажет хорошее время, его можно будет взять на вооружение для случая малой избыточности без свапа.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 16:48 03-08-2011
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
persicum
 
Результаты(h:mm): Encode 3GB Swap 3GB Total 3GB Encode 1,5GB Swap 1,5GB Total  1,5GB    
iceecc /b10000 /r1 0:08 0:00 0:08 0:02 0:00 0:02    
iceecc /b10000 /r5 0:37 0:00 0:37    
iceecc /b10000 /r10 1:16 0:00 1:16 0:13 0:00 0:13    
   
rsc32 -wrr100000-1% 0:04 0:03 0:07 0:02 0:02 0:04    
rsc32 -wrr100000-5% 0:04 0:03 0:07    
rsc32 -wrr100000-10% 0:04 0:03 0:07 0:02 0:02 0:04


Всего записей: 1891 | Зарегистр. 07-08-2002 | Отправлено: 00:00 04-08-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Alex_Piggy
Спасибо за тестирование! Оно проводилось, конечно, не с целью опустить или принизить ICEECC. ICEECC - это высококлассный продукт с чрезвычайно хитроумной оптимизацией и сложной фрагментацией матрицы на куски, учитывающей кэш разных уровней и даже четность и интерлив номеров строк. Однако, толку мало. К сожалению, результаты тестирования ICEECC представляются мне неудовлетворительными, ICEECC никак не может дать выигрыш в скорости для конфигурации 10000-500, несмотря на то, что все вычисления идут в ОЗУ и свап не используется. ICEECC был бы очень шустр в конфигурации  1000-50, но чего ради напрягаться ради 50 блоков коррекции, когда RSC32 за несколько минут может сделать 100000-5000, что и было продемонстрировано.
 
Я тоже мечтаю избавиться от свапа, но скоростные характеристики пострадать не должны. Возможно, специально для малой избыточности удастся чтонить придумать. Для большой избыточности пришлось бы делать много проходов по данным, так что выигрыша перед свапом уже не будет.
 

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:25 04-08-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
DimitriusXZ  
Есть опасение, что от этой "документации" будет больше вреда, чем пользы. Копайте лучше меню Фара, там вы найдете самые свежие и актуальные ключи.

 
Не думаю, почему?
А почему вы не сделаете простое GUI?
Или не приведете примеры запуска с помощью bat-файлов?

Всего записей: 831 | Зарегистр. 17-01-2010 | Отправлено: 22:24 04-08-2011 | Исправлено: DimitriusXZ, 22:26 04-08-2011
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Deleted.
 

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 15:51 05-08-2011 | Исправлено: persicum, 19:50 05-08-2011
DimitriusXZ

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Что в DVDIsaster означает корни?
И в чем разница между его алгоритмами RS01, RS02 и RS03?
Я так понял, что DVDIsaster рекомендует избыточность, как минимум 14.3%

Всего записей: 831 | Зарегистр. 17-01-2010 | Отправлено: 21:11 05-08-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru