Внимание! Это временный неофициальный архив старой версии форума Полигон Призраков, созданный сочувствующим форуму участником. Этот сайт просуществует лишь до тех пор, пока администрация Полигона не сдержит своё обещание и не откроет официальный архив по адресу old.sannata.org.

Полигон-2

Форум о старых компьютерах

Объявление форума

Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС.

Полигон-2 »   Флейм на общие темы »   Стратегия долгосрочного хранения информации на HDD
RSS

Стратегия долгосрочного хранения информации на HDD

<<Назад  Вперед>> Страницы: 1 2 3 4
Печать
 
Ctrl
Full Member


Откуда: Москва, СЗАО
Всего сообщений: 255
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
25 фев. 2011
В поезде вагон для курящих:
- Извините, Вы не возражаете если я не буду курить?
(опоздал, уже убрали в отдельную тему)

Вообщем, прикинул я один вариант, организации основного ХД пока касаться не будем, а резервное в двух словах выглядит так.

Каждую неделю с основного ХД делается инкрементальное пофайловое копирование на отдельный съемный винт (sata->usb).
Когда весь диск заполняется, он относится в резервное ХД.
Резервное ХД представляет собой набор независимых винтов с инкрементальными копиями + один (два) диска с избыточностью.
Когда добавляется новый диск, производится проверка целостности данных на всех диска, затем пересчитывается избыточность.
Нужно проверить сколько времени будет занимать вычислить 2(4)Тб избыточности от 4-6-8-10Тб данных.
Избыточность вычисляется пофайлово (примерно как в ICE ECC, но нужно определиться с программой), тк файлы в резервном ХД не меняются.
Резервное ХД включается только для добавления нового диска (раз в несколько месяцев) или для восстановления данных.

Готов обсудить плюсы и минусы такого варианта и выслушать конструктиную критику.

Surprise
par2cmd - точно, смотрел ее, 0.4 не работает с большими файлами, а новых версий похоже не предвидится.
Fe-Restorator
Гость

Ссылка

Ctrl написал:
[q]
Каждую неделю с основного ХД делается инкрементальное пофайловое копирование на отдельный съемный винт (sata->usb).
Когда весь диск заполняется, он относится в резервное ХД.
Резервное ХД представляет собой набор независимых винтов с инкрементальными копиями + один (два) диска с избыточностью.
Когда добавляется новый диск, производится проверка целостности данных на всех диска, затем пересчитывается избыточность.
Нужно проверить сколько времени будет занимать вычислить 2(4)Тб избыточности от 4-6-8-10Тб данных.
Избыточность вычисляется пофайлово (примерно как в ICE ECC, но нужно определиться с программой), тк файлы в резервном ХД не меняются.
Резервное ХД включается только для добавления нового диска (раз в несколько месяцев) или для восстановления данных
[/q]
ГЫ! Если резервное хранилище будет получать инфу лишь 1 раз в полгода со внешнего носителя, и соответственно, включаться в работу не чаще, то идеальная его внутренняя организация - RAID-5 !!! Избыточность рассчитывается автоматически, пофайлово, есть возможность автоматического восстановления инфы - Raid Rebuild.
:biggrin:
И скорость записи много выше чем у отдельного диска. Но это скорее бонус, чем полезная функция. Можешь и Raid-6 засандалить, из соображения маниакальности защиты данных, а на десерт - зашифровать весь райд под PGP. ;)
Сейчас на форуме
Ctrl
Full Member


Откуда: Москва, СЗАО
Всего сообщений: 255
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
25 фев. 2011
Fe-Restorator
Основное что меня останавливает от организации raid5/6 на резервном ХД - необходимость сразу покупать полный комплект дисков, что напряжно в материальном плане (4+1/2 диска - 15-18тыс). Второе - со временем стоимость хранения Гб падает, уверент черех год-два будет 1,0-1,1р/Гб (для одиночного диска).

PS Для обеспечения конфиденциальности данных на сменных носителей я пользуюсь tc.
Fe-Restorator
Гость

Ссылка

Ctrl написал:
[q]
необходимость сразу покупать полный комплект дисков, что напряжно в материальном плане (4+1/2 диска - 15-18тыс)
[/q]
Нет, не так! Райд-5 стартует с 3-х дисков, и если правильно настроить ему expandable spare, можно докупать диски по-мере поступления матсредств. Придётся потерпеть и суточный ребилд, но сие - мелочи.
Другое дело, контроллер(на 8 портов, а иначе - зачем городить?), обеспечивающий таковой функционал обойдётся в $600 и выше, именно сие станет тебе препятствием на пути к светлому RAID-у.
Обрати внимание: первые год-два работы основного сервака его бекап тебе не нужен вовсе, так-что можешь спокойно копить "тугрики" на последующую организацию райда. Заодно съэкономишь на удельной стоимости хранения инфы.

PS. Для себя сию задачу решил с помощью атомной мамки на 4 сата-порта, 4-х портового сата-контроллера на PCI, 6-ти стационарных дисков, 2-х штук сата-"док-станций", куда обычные диски вставляются как хлеб в тостер, и кучки самих дисков, убираемых в шкаф.
Плюсы:
"Green"-диски и атомная мать жуют мало электричества, это заметно на счётчике, для домашнего прользователя = :thumbup:
архивные экземпляры носителей не вырабатывают механический ресурс, имеют неограниченное резервирование и ротацию через торговые сети(иногда продаю вместе с инфой - клиенты сиим бонусом довольны).
Второй сервак не нужен.
Минусы:
в шкафу пыльно. ;)
Сейчас на форуме
Ctrl
Full Member


Откуда: Москва, СЗАО
Всего сообщений: 255
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
25 фев. 2011
Fe-Restorator
На полноценные рэйд контроллеры я даже не замахивался - или простенький софт-рэйд контроллер, где драйвер отвечает за построение массива, или полностью программый рэйд под Линём.
[q]
Для себя сию задачу решил с помощью атомной мамки на 4 сата-порта, 4-х портового сата-контроллера на PCI, 6-ти стационарных дисков, 2-х штук сата-"док-станций", куда обычные диски вставляются как хлеб в тостер, и кучки самих дисков, убираемых в шкаф.
[/q]
Я так понимаю стратегия используется о которой говорилось выше? Или это для домашнего использования и устроено по другому?
Fe-Restorator
Гость

Ссылка

Ctrl написал:
[q]
Я так понимаю стратегия используется о которой говорилось выше? Или это для домашнего использования и устроено по другому?
[/q]
Частично. Затратные тестирование и выбор накопителей есть возможность переместить в рабочую обстановку. Равно, как и приобретение партии из N штук с оптовой скидкой, якобы "на-фирму", с оплатой за счёт премии.
Сейчас на форуме
Ctrl
Full Member


Откуда: Москва, СЗАО
Всего сообщений: 255
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
25 фев. 2011
Эт хорошо :)
Что-то я начал склоняться к мысли вообще не мутить чего-то заумного, ограничиться обычным двойным резервированием. Пока. А дальше посмотрю.
<<Назад  Вперед>> Страницы: 1 2 3 4
Печать
Полигон-2 »   Флейм на общие темы »   Стратегия долгосрочного хранения информации на HDD
RSS

1 посетитель просмотрел эту тему за последние 15 минут
В том числе: 1 гость, 0 скрытых пользователей

Последние RSS
[Москва] LIQUID-Акция. Сливаются разъемы CF
МС7004 и 7004А на AT и XT
Пайка термотрубок
Проммать s478 PEAK 715VL2-HT ( Full-Size SBC)
Подскажите по 386 материке по джамперам.

Самые активные 5 тем RSS