Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Hardware » Магнитные носители информации » оптимизация копирования, удаления больших объемов информации

Модерирует : Akam1, Dr_StandBy, vertex4

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2

Открыть новую тему     Написать ответ в эту тему

lavabot

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите пожалуйста если массивы информации занимают сотни гигабайт и  в них нужно изменять, файлы (аудио; видео, резервные образы дисков,  установочные дистрибутивы и т.д.), добавлять, удалять или удалять весь массив то как лучше это делать?
Например, разбить диск 1 Тб на 10 логических разделов по 100 гб каждый и хранить в каждом разделе определенную информацию? В случае если она не нужна то осуществлять быстрое форматирование всего раздела.  
Если бы раздела не было, то удалением с общего диска уходило бы больше времени, т.к для  каждого файла заполненные сектора помечались как удаленные избирательно, только для удаляемого файла.  
Если удалять весь раздел, то затем на его форматирование при создании тоже уйдет много времени.
Пробовал Acronis менять размеры разделов, соединять разделы с информацией, переносить разделы, но не уверен, что Acronis сделает это быстрее чем я сам перезапишу с одного диска на другой.  
Тут же если есть дополнительное свободное место на другом жестком диске, то как лучше сделать, если мне нужно на основном диске изменить кол-во и размеры разделов. При помощи Acronis c имеющейся информацией или перезаписать ее на дополнительный диск, сделать новую конфигурацию основного диска и затем вернуть на него данные?
Но это кажется будет еще дольше, т.к будет два перемещения - вначале на доп. диск, а затем с него на основной.  
У меня определенный набор файлов размером, например, 10 гб, который нужно удалить, чтобы сделать это быстрее создавать для каждого набора файлов - свой раздел, а затем его форматировать? Для другого набора файлов размер раздела может увеличиваться или уменьшаться по мере необходимости  наличия места. Из нераспределенного пространства диска Acronis увеличивает разделы быстро.  
Также копирование с другого диска, может тоже осуществлять не файлов, а целым разделом?
Но для этого из каждого раздела нужно делать образ, т.к Асronis может клонировать диск, но он не может это сделать на диск с уже имеющейся информацией. Т.е разделом без его сохранения в образ Acronis - перенести не получится.  
Вот сейчас перемещаю с одного диска на другой 260 Гб, долго, а ускорить никак не получится?
Архивировать, перемещать, разархивировать - не думаю что будет быстрее?

Всего записей: 874 | Зарегистр. 02-06-2017 | Отправлено: 00:36 27-04-2022 | Исправлено: lavabot, 01:28 27-04-2022
ALLDAED

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Бред какой-то. ))
Удаляются же быстро любые файлы. А копируется по любому долго большой объем информации.
Играться с изменяем размеров разделов не стоит, это очень опасная операция. Сбойнет система - потеряете все данные. Ни какого смысла создавать кучу разделов вообще нет. Достаточно одного.
Быстрое форматирование идет очень быстро.

Всего записей: 2142 | Зарегистр. 18-08-2017 | Отправлено: 01:59 27-04-2022 | Исправлено: ALLDAED, 02:00 27-04-2022
igor me v2

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Архивировать, перемещать, разархивировать - не думаю что будет быстрее?  

Видео\аудио - однозанчно нет. Большие объёмы текстов\таблиц - возможно было бы. По остальному согласен выше, слегка бред написан, вообще не ясна основная проблема...

Всего записей: 7213 | Зарегистр. 27-03-2016 | Отправлено: 02:10 27-04-2022
ALLDAED

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Перемещается также быстро, как и удаляется, но в пределах одного  раздела, а не с раздела на раздел.
Цель вообще не понятна. ))

Всего записей: 2142 | Зарегистр. 18-08-2017 | Отправлено: 02:13 27-04-2022
lavabot

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
но в пределах одного  раздела, а не с раздела на раздел.

разговор идет о перемещении не в пределах одного диска а между разными дисками.
Прочитайте первое сообщение.  
Вот сейчас перемещаю 200 гб и общаюсь тут с Вами в ожидании этой операции. Думал, может как-то можно ускорить за счет перемещения разделами, а не отдельными файлами.
Сейчас конкретная задача - диски с информацией меняются местами. Вначале поставил в комп 1 тб и сбросил в него образы систем и архивы аудио-видео. Затем решил, что 1 тб будет много, заменил его на 500 гб, и теперь между ними перебрасываю информацию с одного на другой. Вот выше писал перемещал 260 гб - уже переместил, сейчас с другого диска перемещаю 200 гб в обратную сторону...
А разное количество логических разделов удобно для разделения информации, т.к если она делится через папки, это не так наглядно как отдельные разделы, например аудио файлы в одном разделе, видео в другом и т.д.

Всего записей: 874 | Зарегистр. 02-06-2017 | Отправлено: 02:31 27-04-2022 | Исправлено: lavabot, 02:38 27-04-2022
ALLDAED

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Перемещение между дисками, разделами, это тоже копирование. С одного читает, на другой пишет, Только копирование оставит исходный файл, а перемещение его удалит. Скорость  уже будет в два раза ниже.  так как делится между двумя устройствами.
В пределах одного раздела перемещение будет мгновенно, файл не читается и не пишется, только ссылка на него изменяется.
Чуть ускорить скорость, но не глобально, если файлы копировать по занятым секторам. Но бесплатно вы такую программу не найдете, а платные весьма дорогие.
Существенно ускорить  копирование можно, если только заменить HDD на SSD. Но тут другая беда, SSD не заточены на длительное хранение информации,  в любой момент могут все потерять. Все равно придется делать копии на HDD. Еще больше  дополнительной работы и дольше.

Всего записей: 2142 | Зарегистр. 18-08-2017 | Отправлено: 03:42 27-04-2022 | Исправлено: ALLDAED, 03:48 27-04-2022
fscpsd



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lavabot

Цитата:
Если удалять весь раздел, то затем на его форматирование при создании тоже уйдет много времени.

А «быстрое форматирование» вас чем не устраивает?
Есть негативный опыт?
 

Цитата:
Асronis может клонировать диск, но он не может это сделать на диск с уже имеющейся информацией. Т.е разделом без его сохранения в образ Acronis - перенести не получится.

Это проблема исключительно Акрониса, мне кажется. Если мне не изменяет память, то даже старенький Нортон Гост умел клонировать отдельные разделы между собой, без создания промежуточного образа. Впрочем, я тоже сомневаюсь, что это получится быстрее, чем специальными утилилами копирования. Но вы можете попробовать, вдруг всё-таки быстрее будет, это ещё и от каждой конкретной программы может сильно зависеть, например Акронис в обычном режиме наверняка как-то контролирует целостность копируемой информации, возможно, что если найти программу клонирования умеющую работать без этой опции (Клонзилла раньше точно умела), то скорость, быть может, и возрастёт сколько-нибудь существенно. Но тут, конечно, увеличивается вероятность хапнуть проблем из-за ошибок чтения/записи.
 

Цитата:
Вот сейчас перемещаю с одного диска на другой 260 Гб, долго, а ускорить никак не получится?

Это зависит от того, как вы перемещаете. Если «Проводником», да ещё и со включенным антивирусом, то конечно долго. Если специальными утилитами (ФастКопи, ТераКопи, РавКопи, даже хотя бы РобоКопи с опцией расширенной многопоточности — что-нибудь такое) и без антивируса — то уже побыстрее будет. Но в целом, чуда ждать нет смысла, разница в любом случае будет не особо большая, никаким образом вы не сможете копировать на порядок быстрее.
 
А вообще да, выше уже правильно заметили, что очень плохо понятно, чего же вам нужно-то. Какие-то массовые копирования постоянные, разделы туда-сюда меняющиеся, что это там у вас такое странное, вообще? Может, вам вообще какую-нибудь специализированную систему хранилища нужно бы поднимать, которая способна на большее, нежели обычная нтфс в комплекте с проводником, но это определённая квалификация нужна. Если это специфика работы организации, тогда нужно ставить вопрос о более быстрых дисковых подсистемах, хотя бы SSD, как уже выше сказали, или там рейд 0 какой-нибудь, иногда это дешевле и даже надёжнее бывает, если продумана система резервного копирования, но как там у вас резервное копирование настраивать, если такие постоянные метаморфозы происходят. В общем, непонятно ничего))

Всего записей: 1825 | Зарегистр. 16-09-2010 | Отправлено: 04:32 27-04-2022 | Исправлено: fscpsd, 05:01 27-04-2022
Vladislav_A



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lavabot

Цитата:
разговор идет о перемещении не в пределах одного диска  а между разными дисками.

Если переносится небольшое количество файлов большого объёма - без разницы копировать пофайлово или разделом ( по времени. хотя последнее менее удобно)
Если же копируется много мелких файлов - копирование раздела будет быстрее.
И ещё - перемещение не лучшая операция, если конечно она не производится в пределах одного раздела, лучше разбить её на две - копирование и удаление ( без помещения в корзину).

Всего записей: 2435 | Зарегистр. 23-07-2001 | Отправлено: 13:06 27-04-2022
igor me v2

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Думал, может как-то можно ускорить за счет перемещения разделами, а не отдельными файлами

А, ну так бы сразу и сказали. Посекторное копирование целого раздела  будет немного быстрее, за счёт того, что многократно не читается FAT\MFT. Но разница не очень велика, то есть не в 2-3 раза, надо мерить, но она может оказаться скажем 10-20-30%, такое.
Если как написано выше, файлы очень большие - разница стремится к нулю (но не равна нулю )

Всего записей: 7213 | Зарегистр. 27-03-2016 | Отправлено: 13:56 27-04-2022
lavabot

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Vladislav_A

Цитата:
Если же копируется много мелких файлов - копирование раздела будет быстрее.
И ещё - перемещение не лучшая операция, если конечно она не производится в пределах одного раздела, лучше разбить её на две - копирование и удаление ( без помещения в корзину).

 
Попробовал сейчас разбить на две части - при этом удаление 96000 файлов занимает тоже некоторое время. Делаю через Total Commander. Попробую поработать с разделами - удалять разделами и создавать новые. Но при этом тоже нужно выбрать удобную программу для создания и удаления разделов при условии, что на диске есть данные - Сейчас работаю с Акронис. Нужно попробовать другие подобные программы. Но при этом подумал, не так часто мне нужно перемещать большие массивы информации, это сейчас в связи с заменой дисков. А постоянно с большим количеством разделов будет не очень удобно работать.  
О существовании спец. программ для копирования как написали здесь, я не знал. Буду изучать вопрос.

Всего записей: 874 | Зарегистр. 02-06-2017 | Отправлено: 19:53 28-04-2022 | Исправлено: lavabot, 20:35 28-04-2022
GreenGremlin



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lavabot
Если вы хотите разделами туда-сюда копировать, то вам Linux нужен. Там есть все инструменты для таких развлечений.
Под Windows удобнее всего иметь один диск с одним разделом максимально возможного размера. Будет проще управляться, не надо будет искать свободное место на каких-то разделах, и перемещение файлов будет мгновенным.
Ещё совет, после копирования верифицировать записанное, а то мало ли что.
 
Объёмы по 10-100 гигов совершенно смешные по нынешним временам. Непонятно, в чём вообще проблема. Будете играться с Акронисами, разделами, похерите всю вашу информацию рано или поздно. Хотя она и так вряд ли какую-то ценность представляет.

Всего записей: 694 | Зарегистр. 19-05-2003 | Отправлено: 11:07 09-06-2022
fscpsd



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
GreenGremlin
Цитата:
после копирования верифицировать записанное
Чем под виндовс лучше это делать, не порекомендуете?

Всего записей: 1825 | Зарегистр. 16-09-2010 | Отправлено: 13:18 09-06-2022 | Исправлено: fscpsd, 07:03 11-06-2022
GreenGremlin



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fscpsd
Можно любым инструментом сравнения файлов, например: хоть в Far, хоть в Total Commander, хоть fc/b.
Ну или xcopy /v.

Всего записей: 694 | Зарегистр. 19-05-2003 | Отправлено: 07:29 14-06-2022
fscpsd



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fscpsd
Цитата:

Цитата:
после копирования верифицировать записанное
Чем под виндовс лучше это делать, не порекомендуете?
Как вариант, для проверки результата копирования по контрольным суммам обнаружилась родная майкрософтовская консольная утилита FCIV (File Checksum Integrity Verifier). Команда
Код:
fciv D:\Path\To\Source -r -xml db.xml && fciv -v -bp E:\Path\To\Destination -r -xml db.xml
— сначала пересчитает конрольные суммы в каталоге-источнике и сохранит их в файле db.xml, потом сравнит их с содержимым второго каталога и выдаст отчёт, очень удобно, тем более что файл базы данных контрольных сумм можно сохранить и на будущее (в некоторых сценариях может быть полезно). Ещё говорят, что Beyond Compare может рекурсивно сравнивать файлы по контрольным суммам, там с графическим интерфейсов, может быть поудобнее, но сам не смотрел ещё.
 
Но это конечно для особых случаев. Для обычных задач будет вполне достаточно возможностей Fastcopy или Terracopy или чего-нибудь в том же духе — какая-то из них, Terracopy если мне не изменяет память, даже позволяет настроить автоматическое повторное сравнение файлов после копирования, там не пересчёт контрольных сумм, конечно, но для большинства задач сойдёт.

Всего записей: 1825 | Зарегистр. 16-09-2010 | Отправлено: 07:14 06-03-2023 | Исправлено: fscpsd, 08:04 06-03-2023
tramparamparam02



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Продолжение обсуждения, начало в теме по восстановлению данных.
 
igor me v2 02:47 06-03-2023
Цитата:
имеются в виду спаренные по два разъёмы на материнке? Нет, разницы точно не должно быть по скорости. Но в разные спаренные разъёмы можно включить не из соображения скорости, а соображения питания.  

Нет, не совсем. Я имел в виду док для внешних HDD, куда можно вставить сразу два диска, а док подключить к одному USB порту. Вроде вот такого https://www.amazon.com/Sabrent-External-Duplicator-Function-EC-HD2B/dp/B0759567JT?th=1
 

Цитата:
С одного ФИЗИЧЕСКОГО носителя на другой копирование всегда быстрее, чем внутри носителя между логическими разделами,  

Понятно, спасибо.
 
fscpsd 05:28 06-03-2023
Цитата:
Для таких больших объёмов, да ещё и между внешними HDD, подключёнными по USB 2.0, особенно если там имеется что-нибудь важное, лучше всё-таки использовать что-нибудь специализированное

Вы имеете в виду скорость копирования или надёжность? Если надёжность, то Total Commander достаточно стабилен, программных сбоев при копировании файлов практически не бывает, кроме того есть опция сверки контрольных сумм после копирования каждого файла (но сверка, разумеется, сильно замедляет процесс копирования).

Всего записей: 2374 | Зарегистр. 30-03-2016 | Отправлено: 15:17 06-03-2023
igor me v2

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Вроде вот такого

О, это дюже специфическая штука А у вас что, таких ДВА? Если да - тогда наибольшую скорость вы в теории получите, если воткнёте два диска в две разных док-станции. Если же в одну - то теоретически скорость будет в два раза ниже, чем в первом случае, ведь будет задействован один USB-порт, по которому будет и чтение и запись (если я правильно предполагаю, как работает эта штука)...

Всего записей: 7213 | Зарегистр. 27-03-2016 | Отправлено: 16:12 06-03-2023
tramparamparam02



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
igor me v2 16:12 06-03-2023
Цитата:
О, это дюже специфическая штука    А у вас что, таких ДВА?

Нет, такой сдвоенный док у меня только один. Но ещё есть один одинарный. Поэтому можно выбрать как подключать два внешних диска: либо через два разных дока, либо через один двойной док.
 

Цитата:
воткнёте два диска в две разных док-станции. Если же в одну - то теоретически скорость будет в два раза ниже, чем в первом случае, ведь будет задействован один USB-порт, по которому будет и чтение и запись  

Мне казалось, что бутылочным горлышком всей системы HDD -> docking station -> USB 2.0 port -> RAM является скорость работы механики диска, из-за чего даже для диска 7200 оборотов предельная скорость чтения и  записи в разы ниже, чем пропускная способность порта USB 2.0. Или это не так?

Всего записей: 2374 | Зарегистр. 30-03-2016 | Отправлено: 17:35 06-03-2023 | Исправлено: tramparamparam02, 17:36 06-03-2023
fscpsd



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
tramparamparam02
Цитата:
док для внешних HDD, куда можно вставить сразу два диска, а док подключить к одному USB порту
А вы уверены, что туда можно ставить сразу два диска, в инструкции об этом прямо так и сказано? Вообще, это сомнительный вариант, во-первых из-за питания, как уже подметил igor me v2, а во-вторых из-за ограничений скорости передачи данных USB 2.0 (не забывайте, что это ведь ещё и полудуплексный интерфейс, так что посадить сразу два диска на единственную линию это вообще в принципе не очень удачное решение).
Цитата:
Мне казалось, что бутылочным горлышком всей системы HDD -> docking station -> USB 2.0 port -> RAM является скорость работы механики диска, из-за чего даже для диска 7200 оборотов предельная скорость чтения и  записи в разы ниже, чем пропускная способность порта USB 2.0. Или это не так?
Конечно, не так. Откуда вы вообще взяли такую странную арифметику? Жёсткие диски запросто могут работать на скоростях в сотню-полторы-две МБ/с в зависимости от модели (даже вот 582 МБ/с уже есть), а USB 2.0 максимальная скорость передачи 50 МБ/с, а в реальных сценариях использования обычно вполовину ниже, а вашем сценарии с двумя дисками на одной линии так и вообще.  

Цитата:
Вы имеете в виду скорость копирования или надёжность?
Я имел в виду именно надежность.
Цитата:
Total Commander достаточно стабилен, программных сбоев при копировании файлов практически не бывает, кроме того есть опция сверки контрольных сумм после копирования каждого файла
Не знал, что он так умеет, это наверное через плагины какие-нибудь, да? Если вы полностью уверены в ТС, то можно конечно и его использовать. Но лично я бы всё-таки воспользовался специализированными средствами, не доверяю я этим самодельным комбайнам, ни ТС, ни ФАР.

Всего записей: 1825 | Зарегистр. 16-09-2010 | Отправлено: 06:00 07-03-2023 | Исправлено: fscpsd, 06:01 07-03-2023
igor me v2

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А вы уверены, что туда можно ставить сразу два диска, в инструкции об этом прямо так и сказано?  

Я уверен, если описание верное. Там сказано "в том числе для клонирования дисков". Клонировать получится, вставив только сразу два

Цитата:
это сомнительный вариант, во-первых из-за питания, как уже подметил igor me v2

Я это подмечал, полагая, что речь о двух ноутбучных дисках, которые без доп. питания, а у этой док-станции оно полюбому есть, она для десктопных, так что уже не так актуален этот момент...
tramparamparam02

Цитата:
скорость чтения и  записи в разы ниже, чем пропускная способность порта USB 2.0

Как выше уже сказал fscpsd - у вас в арифметике чуток сбой Скорость интерфейса USB 2.0 примерно 60 Мб\с теоретическая (реальная меньше!), а это примерно равно (линейной) скорости чтения среднего десктопного диска на... 80 Гб (и есть модели, у которых выше, до 70-80, которые последними выпускали, типа Seagate Barracuda 7200.10) Надеюсь помните, в каком году выходили такие диски? У ваших минимум 120 Мб\с или выше...

Всего записей: 7213 | Зарегистр. 27-03-2016 | Отправлено: 07:27 07-03-2023
tramparamparam02



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fscpsd 06:00 07-03-2023
Цитата:
А вы уверены, что туда можно ставить сразу два диска, в инструкции об этом прямо так и сказано

Конечно, уверен. Я использую этот док как раз в таком режиме.
 

Цитата:
Не знал, что он так умеет, это наверное через плагины какие-нибудь, да?  

Нет, это встроенная опция Total Commander, начиная по крайней мере с версии 8.50 (это лет 5-7 назад).
 

 

Цитата:
Конечно, не так. Откуда вы вообще взяли такую странную арифметику? Жёсткие диски запросто могут работать на скоростях в сотню-полторы-две МБ/с в зависимости от модели (даже вот 582 МБ/с уже есть), а USB 2.0 максимальная скорость передачи 50 МБ/с, а в реальных сценариях использования обычно вполовину ниже, а вашем сценарии с двумя дисками на одной линии так и вообще.  

 
igor me v2 07:27 07-03-2023
Цитата:
Как выше уже сказал fscpsd - у вас в арифметике чуток сбой    Скорость интерфейса USB 2.0 примерно 60 Мб\с теоретическая (реальная меньше!), а это примерно равно (линейной) скорости чтения среднего десктопного диска на... 80 Гб (и есть модели, у которых выше, до 70-80, которые последними выпускали, типа Seagate Barracuda 7200.10)

 
Официально скорость интерфейса USB 2.0 вроде бы декларируется 480 MBps, хотя понятно, что в реальных сценариях таких скоростей не встречается.
 
А от такого параметра жесткого диска как числа оборотов в минуту (5400 или 7200) что-нибудь зависит?

Всего записей: 2374 | Зарегистр. 30-03-2016 | Отправлено: 16:31 07-03-2023 | Исправлено: tramparamparam02, 16:36 07-03-2023
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2

Компьютерный форум Ru.Board » Hardware » Магнитные носители информации » оптимизация копирования, удаления больших объемов информации


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru