Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Открыть новую тему     Написать ответ в эту тему

persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Программы данного раздела служат для обнаружения и исправления ошибок, возникающих при передаче данных и их долговременном хранении. Как правило, восстановление возможно, если суммарный объем повреждений в искаженных файлах вместе с объемом полностью утраченных файлов не превышает объем корректирующей информации, которая заблаговременно дописывается на носитель.
 
 
Контроль целостности без возможности восстановления
 
RHash
Описание: замечательная кроссплатформенная консольная утилита для вычисления огромного количества криптографически-стойких hash-функций, в том числе и используемых в p2p сетях. Программы этой группы не способны к исправлению данных сами по себе, но способны указывать на ситуации, когда необходимо воспользоваться резервной копией или перекачать файл заново
 
Домашняя страница: https://github.com/rhash/RHash
Страница для скачивания: http://sourceforge.net/projects/rhash/files/rhash/
 
RapidCRC Unicode
Описание: профессиональное средство для расчета hash-функций, в том числе и современных быстрых многопоточных функций blake2sp и blake3.
 
Домашняя страница: https://www.ov2.eu/programs/rapidcrc-unicode
Страница для скачивания: https://www.ov2.eu/programs/rapidcrc-unicode
 
CHK Hash Sum
Описание: портативная утилита для контроля целостности файлов с поддержкой Юникода и перетягивания.  
 
Домашняя страница: https://compressme.net/
Страница для скачивания: https://compressme.net/
 
 
8-битные коды Рида-Соломона
 
DVDisaster
Описание: Программа для защиты данных на оптических дисках CD, DVD и BD путём добавления к нему избыточной информации.
 
Домашняя страница: https://sourceforge.net/projects/dvdisaster/
Страница для скачивания: https://sourceforge.net/projects/dvdisaster/files/dvdisaster/
 
 
16-битные коды Рида-Соломона
 
WinRAR
Описание: популярный архиватор, начиная с версии 5.0 создает до 65535 томов восстановления. Кроме того, использует коды RS и для добавления информации восстановления к архивам, выгодно отличаясь от всех других архиваторов.
 
Домашняя страница: http://www.win-rar.ru/
Страница для скачивания: https://www.win-rar.com/download.html?&L=4
 
MultiPAR
Описание: Мощная программа для защиты файлов от повреждений. Одновременно работает в 32- и 64-разрядном окружении. Поддержка многопоточности, Юникода, русского языка. Использует ускорение AVX2 и вычисления GPU. Постоянно обновляется.
 
Домашняя страница: http://hp.vector.co.jp/authors/VA021385/
Страница для скачивания: http://www.vector.co.jp/soft/dl/winnt/util/se460801.html
 
ICEECC
Описание: программа во многом аналогична MultiPAR, но появилась на несколько лет раньше. Русский язык отсутствует. Не обновлялась с 2009 года. На сегодня работает примерно в 5 раз медленнее, чем MultiPAR.
 
Домашняя страница: http://www.ice-graphics.com/ICEECC/IndexR.html
Страница для скачивания: http://www.ice-graphics.com/ICEECC/DownloadR.html
 
 
32-битные коды Рида-Соломона
 
RSC32
Описание: консольная утилита для контроля целостности файлов с использованием hash-функций CRC32, CRC64, MD5, SHA1, SHA256, Tiger и blake2sp. Реализация эффективных 32-разрядных кодов Рида-Соломона позволила оперировать сотнями тысяч и миллионами блоков без драматического влияния на быстродействие. Использует FAR Manager как свой GUI
 
Страница для скачивания: https://disk.yandex.ru/d/yFtikZtmyWuQ1w
 


Схожая тема: ZIDRAV и CRC Recovery 2005

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:35 18-07-2007 | Исправлено: persicum, 11:39 29-10-2021
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nightkeeper
 
Применительно к RSC32 алгоритмы делятся на две группы:
1) работают быстрее HDD 100mb/s - crc32, crc64, md5, sha1, b2sp
2) работают медленнее, чем читает HDD - tiger, sha256, b2s
 
Поэтому можно взять любой алгоритм из первой группы. Скорость будет ограничена скоростью чтения с HDD. Из них устойчив к умышленным коллизиям только b2sp. Устойчивы к прообразу, то есть к полной подделке - все кроме crc.
 
Но помочь твоему горю можно - тестируй время от времени не контент, а просто размер файлов -rt -f, тогда проверка будет мгновенной. Если файлы изменились в размере или потерялись - это повод задуматься. А полную проверку хеша проводи при переноске или перед созданием кодов коррекции.
 
Что касается собственно переноски - ограничивается скоростью HDD, ничего нельзя сделать. Скорость самих алгоритмов 500-1000 метров/c

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 22:00 18-02-2014 | Исправлено: persicum, 22:06 18-02-2014
nightkeeper



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Persicum
Ух ты, спасибо за грамотный ответ! Ключ -F - супер штука для такого случая! А то мои личные тесты как раз и показали что Блейк по скорости работает почти также как CRC32, теперь понятно почему, узкое горло - скорость чтения с винта, надо SSD покупать чтобы было интересней)))

Всего записей: 30 | Зарегистр. 31-12-2002 | Отправлено: 23:56 18-02-2014
lehachuev

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
глупый вопрос -  если у меня -sn равно 70, то -hr тоже столько ставить, или можно оставить стандартное 3-5? вообще, подскажите плиз, что это за фича -hr и как ее юзать, на что ориентироваться.
еще вопрос. хочу обработать почти 700 гб архивов (либрусек). сперва думал обойтись одним внешним, но свапило уничтожающе медленно. подключил второй внешний в качестве темпдир - изменений никаких, свап не то что медленный - он почти нулевой, какие-то единицы МБ/с. с этим можно воевать?
на всякий - вот параметры
rsc32.exe -wrr250000-10% -sn70 -hr70 -wrkK:\librusec-temp\ -ya -bnlibrusec.0505201429042014

Всего записей: 139 | Зарегистр. 17-09-2006 | Отправлено: 19:39 30-05-2014 | Исправлено: lehachuev, 19:42 30-05-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Для -sn 70 можно установить -hr 10 или 20, или все 70... Это избыточная фича для заголовков, она влияет на параметр efficiency - который показывает сколько остается процентов собственно под восстановление.
 
700G лучше сразу не делать, хотя это и возможно. Свап через USB происходит очень медленно, даже если USB сам быстрый.
 
Можно запустить один из прилагаемых батников для защиты каждой директории своим набором - кажется padr.bat. Его можно подредактировать под свои нужды.
 
Там есть несколько батников - для поштучной защиты файлов, директорий, или директорий уровня 1. Подберите то что нужно.
 
Добавлено:

Цитата:
с этим можно воевать?

 
Воевать можно поддав памяти, например -mu1.3g или -mu1000m

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 09:27 31-05-2014
lehachuev

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Воевать можно поддав памяти, например -mu1.3g или -mu1000m

и насколько быстрее будет? я вчера в 7 вечера поставил, сейчас 17-20, 61% свапа...
частями неудобно, хочу целый "прожект" залить в юзнет.

Всего записей: 139 | Зарегистр. 17-09-2006 | Отправлено: 17:25 31-05-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Лучше не прерывать...

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 18:42 31-05-2014
lehachuev

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
понял, спасибо) потом отпишусь, сколько времени весь процесс занял)))
пысы. вот бы еще фичу "пауза"... хотя без гуя ее и думать нечего реализовывать((( блин, столько программеров на форуме пасется, не могут который год ничего сообразить(((

Всего записей: 139 | Зарегистр. 17-09-2006 | Отправлено: 19:50 31-05-2014 | Исправлено: lehachuev, 19:58 31-05-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
На клаве есть кнопка Пауза со времен MSDOS.
 

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 20:17 31-05-2014
lehachuev

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Swapping has been done successfully in 1d 12h 33m 26s
645 гигов. Посчитал - 4МБ/с получилось. Посмотрим, сколько энкодить будет.

Всего записей: 139 | Зарегистр. 17-09-2006 | Отправлено: 08:08 01-06-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ну что, не вылетело еще? -))

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 22:12 01-06-2014
lehachuev

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Порядок!
 
 
Copy User Data to Swap File...
Swapping has been done successfully in 1d 12h 33m 26s
 
Encoding User Data into 23830 recovery volumes...
Encoding has been done successfully in 11h 18m 38s
 
Memory Test is completed successfully in 1s
 
Restoring recovery volumes...
Restoring has been done successfully in 3h 53m 25s
 
RecoveryRecord has been written successfully in 2d 03h 46m 23s
 
645 гиг раров
 
 
Для статистики: Core 2 Duo E7400,  4 GB RAM, Linux Mint Maya, Wine 1.7.18

Всего записей: 139 | Зарегистр. 17-09-2006 | Отправлено: 23:11 01-06-2014 | Исправлено: lehachuev, 23:18 01-06-2014
older

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
persicum
а нет ключика для запуска rsc32, скажем, с приоритетом idle?

Всего записей: 332 | Зарегистр. 15-02-2003 | Отправлено: 00:55 15-06-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Приоритеты не делал. Можно менять число ядер от 2 до 5 (якобы 1-4). Может, можно установить через менежер процессов.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 07:28 15-06-2014
older

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
жаль, процесс обработки, видимо, не только у меня занимает значительное время
запуск с приоритетом idle облегчил бы ситуацию
приходится запускать через стороннюю тулзу

Всего записей: 332 | Зарегистр. 15-02-2003 | Отправлено: 11:46 15-06-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А скока десятков гигов вы кодите?

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 11:51 15-06-2014
older

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ну у меня не такой размер библиотеки, как у lehachuev в 700 гб, гораздо меньше - всего лишь 287 гб, но каждый месяц размер увеличивается примерно на гигабайт.
я разбил весь этот объем на части, но все равно сейчас это занимает довольно продолжительное время.
впрочем, я не настаиваю на своей правоте, тем более, что для себя я вопрос уже решил

Всего записей: 332 | Зарегистр. 15-02-2003 | Отправлено: 14:29 15-06-2014
persicum

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
мля, а как вы это все лечить будете, если будете? Нужно 2x дискового пространства.

Всего записей: 462 | Зарегистр. 27-06-2007 | Отправлено: 20:54 15-06-2014
older

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
я же написал: разбил на части
в какой части файлы покоцаются, ту и восстанавливать буду

Всего записей: 332 | Зарегистр. 15-02-2003 | Отправлено: 13:03 16-06-2014
lelik007



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Простите, а тут уважаемый Ajaja как то выкладывал b2sum x64 с оптимизацией под Sandy Bridge. Если осталась такая версия, можете кто поделится?

Всего записей: 2764 | Зарегистр. 13-10-2006 | Отправлено: 18:18 04-11-2014
lehachuev

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
может, не увидел... а как проверить целостность собственно rsc32 файлов? чекаю recoveryrecord, показывает, что доступно столько-то частей, без подробностей...

Всего записей: 139 | Зарегистр. 17-09-2006 | Отправлено: 02:02 28-12-2014
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Компьютерный форум Ru.Board » Компьютеры » Программы » ICEECC | QuickPAR | MultiPAR | RSC32 и др.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru