Полигон-2

albr написал:

[q]

И в случае несовпадения утилита должна спрашивать, что делать с файлом - перезаписать его в архиве или восстановить из архива.

[/q]

Файлы что ли статичны? А как по CRC отличить битый файл от изменённого?

Да, файлы должны быть статичны, если говорить конкретно - это архив фотографий. И насколько я понимаю, изменение MD5 и размера файла может служить признаком того, что файл изменился. В обратную сторону, неизменность этих двух параметров с высокой вероятностью гарантирует, что исходный файл не изменился.

Про инкрементное копирование я прочитал. Похоже, это в эту сторону надо копать.

И похоже, задача-то моя проще, чем казалась на первый взгляд. Для статичных файлов нужно только одно условие - что однажды помещенный в backup файл остается там навсегда и никогда не перезаписывается.

Но остается вопрос целостности резервной копии. Тогда логика должна быть такой: если для файла нет резервной копии, то она создается. Если есть, то валидируется оригинал и копия по md5. И если хотя-бы одно что-то разъехалось - то нужно восстановить либо оригинал из копии, либо копию из оригинала. И желательно не в автоматическом режиме. Если разъехались обе копии - тады обсдача

Похоже, что сие можно shell-скриптами наваять даже...

Он сейчас занимает >350Гб на отдельном (несистемном) винче + записан на 30 с хвостом DVD-болванках, которые лежат в другом месте. Но время от времени я начинаю задумываться о более эффективных способах хранения - раз и о способах вовремя убедиться, что ничего важного не протухло - два.



А вот система меня меньше всего беспокоит, кстати. Ибо переустановить винду с софтом - это занятие на несколько часов всего.

Git, например.

Да, про git я тоже думал, вернее не про git, а про subversion. Думал-думал, да так ничего и не выдумал


CodeMaster написал:

[q]

А исходный набор данных тоже на одном диске?

[/q]

В смысле? Конкретно сейчас у меня есть в компе три диска:
- маленький ssd исключительно под винду+софт+профили. Никак не могу переучить жену хранить нужные файлы вне рабочего стола винды, так что это тоже надо по умному backup-ить по-хорошему;
- обычный sata-шный пятисотгиговник под данные, но особо ценного там, пожалуй, только фотки.
- недавно его перестало хватать и я наконец-таки доставил туда давно купленный сигейтовский терабайтник. Вчера, подумав, что разговоры про бекап могут быть не к добру, перелил туда копию архива фоток

В дополнении к этому фотографии еще записаны на 30 dvd.

Фотохранилище организовано таким образом, что файлы там хранятся с разбивкой по dvd-дискам (томам), кстати его размер оказался всего 160Гб, так что насчет 350 это я вчера загнул

Суть в следующем. Нужно периодически проверять целостность архива фотографий на жестком диске и на компакт-дисках. И в ходе вчерашнего обсуждения у меня родилась мысль, как это можно сделать. Нужно написать утилиту, которая будет в заданный файл выводить листинг содержимого каталога в виде: имя файла:размер:контрольная сумма. Затем для тома формируется такой файл листинга, который складывается в холодное сухое место. Для проверки листинг делается снова (во временный файл) и файлы сравниваются тривиальным file compare. Для вычисления контрольной суммы можно openssl припахать, тогда оно еще и портабельно будет.

Надеюсь за выходные осуществить такую штучу.

ATauenis написал:

[q]

не самый лучший.

[/q]

Да и первый вариант тоже не фонтан, если честно. В конце концов, в наше время все-таки компьютер для человека, а не наоборот, если она так привыкла и ей так удобно - ну и ладно. Раньше можно было перенастроить профиль в другое место, сейчас в 8.1 наверняка тоже можно, но мне лень возиться. Проще его слить куда-нибудь за щеку при переустановке Но вот это как раз пример другой задачи - туд нанные не статичные и для них, перед тем как делать бекап - хорошо бы видеть, какие файлы изменились и валидны ли эти изменения. Тут, кстати, действительно система контроля версий очень хорошо подойдет.

Vegeta написал:

[q]

от Микрософта

[/q]

Я во времена Windows-9x что-то забэкапил ихней системной программой, которая создает файлы QIC. А теперь кроме как установкой этих самых Windows-9x посмотреть файлы и нечем. Сам Майкрософт абсолютно не считает себя быть обязанным перед пользователями. Уже то, что Билл Гейтс купил себе смартфон с Андроидом, а не с Виндовсом о многом говорит. Он не догадывается, а знает

grim написал:

[q]

которая создает файлы QIC

[/q]

Так эта приблуда ничего не создает, просто синхронизирует папки и все.

Anderson1 написал:

[q]

С этим отлично справлялась связка doslfn+pkzip. FAT это не NTFS - в первой достаточно скопировать файлы и структуру каталогов, саму файловую систему не обязательно.

[/q]

Тогда мы еще не поумнели Одно время я пользовался GHOST и считал, что лучше и быть не может. Но увеличились объемы информации, стали больше диски и команда Нортона начала пробуксовывать. Вынырнул Акронис. 2007 - 2012 (условно) он вполне устраивал, а сейчас новые версии слишком наворочены или неоправдано обрезаны. И это одновременно! Да и желания разбираться все меньше. Все чаще ограничиваюсь полным образом диска С: в защищенную область Акрониса (чтоб облегчить установку, если до этого дойтдет) и дублированием ценной информации на другой компьютер. Вот и весь бэкап.

aleksvolgin написал:

[q]

ЩИТО?

[/q]

Не так выразился? Имелось в виду раздел целиком.

aleksvolgin, а в чём именно глупость?

Касательно NG и больших дисков, то очевидно это диски более 2TB, которые досовая софтина тупо не увидит по причине не поддержки их досом.

кстати об уважении ходотайствую перед руководством форума об повышении рейтинга участника с ником KALDYH до значения не менее двадцати за уникальнейший материал в теме ремонта жёстких дисков спасибо

Anderson1 написал:

[q]

Касательно NG и больших дисков, то очевидно это диски более 2TB, которые досовая софтина тупо не увидит по причине не поддержки их досом.

[/q]

Терабайты были еще в перспективе, а я помню, что FAT16 начала кончаться. У GHOST это выражалось, что файл архива при объеме больше 2ГБ дробился на файлы этого размера. Удобства работы с дискетами закончились, а потом и дискеты исчезли.

Проще поступаю.
Взял внешний винч и залил на него все фотки, кино и звук, из всех доступных источников, включая облака и дискеты.
Долго, месяца два, отсортировывал сию помойку на предмет дубликатов и битостей/потёртостей. Одновременно формировал свою каталожно-папочную систему.
Результат залил на почищенное домашнее облако для повседневного юзанья, и на ТРИ отдельных винча, сложенных в дальний ящик на дальней полке. Вдобавок, часть инфы (фотки и кино) записал на двд, тож сложил в ящик, но уже другой. И ещё одну копию принял на себя арвид. В своё время, когда все шумно переползали на двд, за 20 рублей приобрёл около 200+ видеокассет, недостатка в плёнке не испытываю.

Раз в полгода-год, когда на облаке накопится порядком изменений, сравниваю его с архивом, дозаписываю на все копии недостающий материал.
Да, вручную.
Можно было использовать какой-либо бекап-софт, но для раз в полгода... Неокупабельно.

За 5 лет такой практики не умер ни один из носителей. Наверное, мне везёт.

Вот облакам я перестал доверять почти сразу и совсем. Отчасти еще и потому, что необходимые мне объемы (а речь идет о полутора сотнях гигабайт) бесплатно никто не даст И платно, и бесплатно, все равно никто ни за что не отвечает по сути.

Поэтому сейчас копия фотоархива, записанная на dvd и blue-ray, лежит на другом конце города.

А вот насчет винчестера я думал. По цене выходит дороже, чем на dvd, интересно, а как с надежностью? Если винчестер лежит на полке?

И исходная задача все равно актуальна - нужно проверить целостность исходных данных и резервных копий, чтобы при возникновении ошибок битые оригинальные данные не перезаписали хорошие копии.

Я давно не считал свои фотографии, но только цифровых фотографий у меня уже больше полутора десятков тысяч, а есть еще две сотни отсканированных пленок. Просматривать это все вручную просто нереально.

В принципе, решение с подсчетом MD5 может решить эту проблему, как мне кажется. Надо переломать свою лень и сделать

IA написал:

[q]

Rio444 написал:

[q]

Да Вы что?

[/q]

Что-ничто, а на один - не влезло...

[/q]

Вы крупно написали "ТРИ", поэтому сложилось впечатление, что на них ТРИ копии.