Внимание! Это временный неофициальный архив старой версии форума Полигон Призраков, созданный сочувствующим форуму участником. Этот сайт просуществует лишь до тех пор, пока администрация Полигона не сдержит своё обещание и не откроет официальный архив по адресу old.sannata.org.

Полигон-2

Форум о старых компьютерах

Объявление форума

Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС.

Полигон-2 »   Флейм на общие темы »   Стратегия долгосрочного хранения информации на HDD
RSS

Стратегия долгосрочного хранения информации на HDD

<<Назад  Вперед>> Страницы: 1 2 * 3 4
Печать
 
Ctrl
Full Member


Откуда: Москва, СЗАО
Всего сообщений: 255
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
25 фев. 2011
Может быть тему стоит расширить. Какие программы Вы используете для рез. копирования, как обеспечиваете проверку данных.

Fe-Restorator
[q]
Нафига? Диск сдох из-за маниакального контроля? За что боремся?
[/q]
[q]
Для дисков страшен старт/стоп режим работы. Иными словами, - если включать диски периодически, как раз такой режим и будет. Если данные нужны в любой, заранее непредсказуемый момент времени, тогда собирай сервер и привыкни к тратам на бесперебойную подачу энергии.
[/q]
Если диск сдохнет "штатно" никаких проблем, а вот если через год понадобится восстановить информацию, включаешь диск, а он стукнул головой и отказался читаться - вот это проблема.
[q]
Разумные люди, что работают на предприятиях стратегами резервного копирования, поступают иначе. Определяют срок жизни носителя, например - 1 год. По истечении срока носитель выбрасывается, а его место занимает свежекупленный.
[/q]
Так у меня не предприятие :) Менять раз в год диски - это кучеряво, хотя в фирмах с важными данными вполне оправданно. Потом, диск такой девайс, что может и в первый год накрыться, потому все равно нужна стратегия!!!
[q]
За срок жизни сменится поколение носителей или даже технология хранения-записи.
[/q]
По моим наблюдениям смена "поколения" происходит примерно раз в 5 лет. Предыдушее поколение оставляется еще на 5 лет.

Surprise
Вероятно для важной инфы от третьей копии на dvd отказываться не буду, но вот с второстепенными данными, которых больше всего (фильмы, музыка), останутся только hdd, но с нормальной стратегией зашиты, это здесь и обсуждаем ;)
[q]
Раз в полгода трачу неделю на проверку и замену.
[/q]
А вот заставить себя перелопатить 800 dvd дисков с резервными копиями основной информации, даже раз в год, не могу! Все таки у меня не центральный архив ;)
[q]
Плюс винты доступны для записи и в случае заражения можно потерять и оригинал и копию. Болванки же позволяют вернуться к старой копии.
[/q]
Да, этого преимущества болванок жесткие диски лишины. Но резервные диски планируется подключить к отдельному компу, в оригинале без подключения к сети, основная задача которого следить за состоянием дисков и принимать новые инкрементальные резервные копии (с внешнего носителя, по usb).
rw6hrm
Advanced Member
Почётный тоховод Генсокё

Откуда: Ставрополь
Всего сообщений: 937
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
17 фев. 2008
...подобными вопросами (длительное хранение обалденных объемов данных) меня достают исключительно анимешники ;) Тем не менее пока лучше съемных накопителей ничего не нашли, и имя им ДВД. Причем именно голимые одноразовые болванки. Перелопачивать диски для поиска инфы не требуется при наличии хорошей базы/описания чего где хранится, пусть даже и в бумажном виде. Проблем с нечитаемой инфой не было никогда, если выпекать болванки на нормальной скорости (не на максимуме). А уж если разговор про фильмы, то лично я использую исключительно болванки с перекодированными под "железные" плееры файлами. Включать комп для того, чтобы посмотреть фильм - имхо изврат похлеще BDSM'a. Даже если и пользовать сетку...

...а если инфа не требуется больше года, то она как-бы больше и не нужна... Ну уж если по нашему направлению, то такую "ненужную" инфу проще заливать куда-нить на гугловские сайты, проверить её раз в пять лет труда не представляет... что гораздо дешевле кучи энергопотребляющего железа, скрученного полосками стали (пацталом реально). Да и действительно, проще потерять 4 гига инфы, нежели 250 и более.
UFO
Гость


Всего сообщений: 5443
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
12 дек. 2006
rw6hrm написал:
[q]
Перелопачивать диски для поиска инфы не требуется при наличии хорошей базы/описания чего где хранится, пусть даже и в бумажном виде.
[/q]
Я, например, нумерую диски и давно использую программу для ведения каталога CD/DVD под названием "WhereIsIt".

Ctrl, если не секрет, что из себя представляет супер-ценная информация объёмом 10ТБ, если это не фильмы/музыка/фотки/etc?
Для чего, собственно, в домашних условиях строить все эти монструозные RAIDы с жидкостным охлаждением и Hot Swapовым питанием?
Surprise
Newbie


Всего сообщений: 11
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
16 апр. 2011
Ctrl

Для создания и проверки контрольных сумм использую утилиту HashCheck Shell Extension

Замечательная весчь (есть русик встроенный, для когото это критично)

http://code.kliu.org/hashcheck/


также использую две утилиты от ice-graphics

ICE Mirror

http://www.ice-graphics.com/ICEMirror/IndexR.html

и

ICE ECC

http://www.ice-graphics.com/ICEECC/IndexR.html


все 3ри проги - бесплатны.
DrPass
Advanced Member


Откуда: Донецк
Всего сообщений: 3566
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
17 апр. 2005
Surprise написал:
[q]
Я лично так поступаю.
Покупаю три стопки dvd от разных производителей и дублирую на них. Плюс к этому винчестер. Раз в полгода трачу неделю на проверку и замену. Должно остоваться как минимум Три копии всегда. Важнойинфы - 4ре.
[/q]
Я бы ни за что не потратил целую неделю на проверку и переписывание болванок... Ну его к черту, дешевле купить несколько двухтерабайтовых винтов, и дублировать информацию на них.
Fe-Restorator
Гость

Ссылка

Ctrl написал:
[q]
Потом, диск такой девайс, что может и в первый год накрыться, потому все равно нужна стратегия!!!
[/q]
Стратегии-то ты и не понял. Неважно, что и когда накроется - у тебя всегда будет вторая-третья копия! И сроки жизни носителей (из соседних закупок) пересекаются на 2/3, точно как трёхфазный ток. ;) Кстати, HDD должны меняться каждую неделю :biggrin: :biggrin:, веришь на-слово?
Сия цифра (1 год) приведена ведь в качестве примера и не только для дисков, но для всех носителей вообще. Точная цифра в каждом конкретном случае определяется стратегом. Хочешь быть таковым? Или ищешь совсем не дешёвую, но готовую "AnyKey"?
Сейчас на форуме
Fagear
Advanced Member


Откуда: Москва, САО
Всего сообщений: 1228
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
22 янв. 2010
У меня проверки целостности данных не производится. Одна копия на рабочем компьютере, который работает круглосуточно, одна - на HDD в шкафу. Часть данных продублирована на рабочем нетбуке, за которым я провожу бОльшую часть времени.
Раньше писал на DVD+RW бованки, но когда объём данных перевалил за 100 Гб уже не хватало ни болванок, ни времени на их запись. А им ещё нужно подготавливать проекты, набирать объём под завязку, прожигать, вставлять-вытаскивать... Долго и нудно. :thumbdown: Так пачка этих болванок и стоит на полке.
HDD подключил, стёр с него старое и поставил копироваться новое - можно уходить по своим делам.
Программам архивирования не доверяю, хотя у меня есть лицензионный Acronis True Image. Т.к. все данные умешаются в одном файле-образе, даже ещё их можно сжать - мне не очень ясно, как реализована там защита от сбойных блоков носителя. Если винт немного "посыпется", то что - весь образ на помойку? Или что-то удастся восстановить. Как то не хочется проверять на своих же данных. А времени на такие эксперименты особо не хватает.
Т.ч. несколько отдельных HDD, хоть по 1 копии, хоть по 10 и рассовать в разные места. Только при этом надо учитывать, насколько данные конфиденциальны и соответствующим образом их скрывать при расположении в удалённом месте или на серверах публичного пользования.
Ctrl
Full Member


Откуда: Москва, СЗАО
Всего сообщений: 255
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
25 фев. 2011
Прощу прощения, понимаю свою ошибку, без четко сформулированной задачи тема уходит совсем не туда ;)

Давайте определимся.
Есть рабочий сервер, на нем стоят 6-8 дисков по 2Тб, возможно простенький raid контроллер.
Есть резервный сервер, тоже с 6-8 дисками по 2Тб.
Вопрос, как сконфигурировать каждый сервер и какую стратегию резервного копирования с первого на второй выбрать чтобы получить максимальную надежность хранения данных?

Fe-Restorator
Теперь понял, речь идет о классической системе ротации комплектов кассет к стримеру, только вместо кассет - диски? Тогда все ясно, но опять же небюджетно для домашнего использования. Решения оптимальные для серьезных организаций абсолютно не приемлемы для домашнего использования.

UFO
У нас наверно разный взгляд на "ценность" информации. Да, фильмы/музыка/графика занимают большую часть, в посте выше я говорил что "основной" информации около 800 двд дисков, меньше 4Тб.

Кстати, жидкостное охлаждение вероятно было шуткой. Я вообще ничего не говорил о навороченных решениях на основе аппаратных raid контроллеров и прочих атрибутах серьезной СХД. Меня интересует стратегия использования hdd в качестве резервного носителя.

Fagear
TrueImage я использую для копирования системного раздела, очень удобно.
Для остальных данных использую самописный скрипт, наподобии fsbackup http://www.opennet.ru/dev/fsbackup/ тк я не смог найти готового решения, делающего инкрементальное копирование на основе md5 файла (не по архивному атрибуту, не по времени, а именно по содержанию файла, причем без наличия доступа к пред резервной копии, одновременно контролируется целостность файлов) + другие нужные мне особенности.
Можно обсудить, тоже интересная тема :)

В качестве полумеры, на случай если винт начнет сыпаться, можно к каждой копии вычислять избыточность, допустим 5-10%, той-же ICE ECC, но для больших объемов это долго.

Конфиденциальность безусловно нужно учитывать, но думаю это тема для отдельного разговора.

Surprise
ICE ECC - хорошая прога, жаль только не консольная, хотя командная строка есть.
А случайно не знаете аналогичной опенсорсной консольной проги работающей с файлами больше 4Гб?
Fe-Restorator
Гость

Ссылка

Ctrl написал:
[q]
о классической системе ротации комплектов кассет к стримеру, только вместо кассет - диски?
[/q]
Так и знал, что свалишься на кассеты и только! Да кассеты были наиболее распространены и работать с ними мог любой IT-ребёнок. Но у кассет есть существенный недостаток - структурная хрупкость, именно из-за него и выбрасывали весь комплект лент разом, ибо сохранить ленту в фабрично-новом состоянии принципиально невозможно!
Нет, это не система ротации, хотя со-стороны таковой выглядит, это распределённый во времени виртуальный райд, с архивным резервированием. Надо сказать, при отсутствии основного дефекта, присущего ленте, жёсткий диск имеет более длительный срок жизни.

Ctrl написал:
[q]
Вопрос, как сконфигурировать каждый сервер и какую стратегию резервного копирования с первого на второй выбрать чтобы получить максимальную надежность хранения данных?
[/q]
Если оба сервака будут работать постоянно, то никакой выгоды в надёжности не будет принципиально: сольёшь архив с базы на бекап, и диски накроются одновременно и на базе и в бекапе, ибо выработали свой ресурс! Да и вся система ничем принципиально не отличается от обычного райд-зеркала. Вот, ежли твой бекап-сервак вступит в строй на пол-срока жизни позже - есть шанс инфу спасти. Да и освободившиеся и ещё способные работать диски можно продавать, частично компенсируя потери на покупку новых. ;) Крупные компании так не поступают, просто уничтожая носитель, но для домо-юзера продажа - в самый раз.
Кстати, есть смысл не организовывать 6-8 дисков сервака в какой-либо райд, пусть будут по-отдельности. На одном - игры, на другом - музыка, и т.д. Легче с бекапом: диск-в-диск, без мороки с подбором объёма.
Сейчас на форуме
Кай
Гость
Divine Assassin

Откуда: извне (from beyond)
Всего сообщений: 13709
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
8 авг. 2010
...а я ведь не шутил, говоря о RAID-5 с хорошим охлаждением "банок". Работающем 24/7/365.
Да, это шумно. Да, оно будет кушать электричество поварёшкой.

Выгоды:

1. постоянный мониторинг состояния дисков. SMART ещё никто не отменял.
2. низкая (сейчас) стоимость диска.
3. возможность потокового шифрования.
4. меньший, нежели любая (оптическая, кассетная) система ,занимаемая площадь.
5. Возможность (при правильной организации) замены дисков "на лету".

Не знаю, правда, проработает ли оно 15 лет. В конторе, где я работаю, сервер так работает 9-ый год. Элементы рейда конечно, поменьше - 36 Гб SCSI привода. Но потерь инфы не было.

Да, диски были куплены сразу, в кол-ве, превышающем необходимый для работы рейда - вдвое. Дополнительные не приобретались. Охлаждение воздушное (осушенный подвал без принудительного кондиционирования, борьба с конденсатом - мешки силикагеля). За 9 лет заменено 2 диска.
<<Назад  Вперед>> Страницы: 1 2 * 3 4
Печать
Полигон-2 »   Флейм на общие темы »   Стратегия долгосрочного хранения информации на HDD
RSS

0 посетителей просмотрели эту тему за последние 15 минут
В том числе: 0 гостей, 0 скрытых пользователей

Последние RSS
[Москва] LIQUID-Акция. Сливаются разъемы CF
МС7004 и 7004А на AT и XT
Пайка термотрубок
Проммать s478 PEAK 715VL2-HT ( Full-Size SBC)
Подскажите по 386 материке по джамперам.

Самые активные 5 тем RSS