| Объявление форума |
Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС. |
Полигон-2 » Флейм на общие темы » Стратегия долгосрочного хранения информации на HDD |
 |
Стратегия долгосрочного хранения информации на HDD
| <<Назад Вперед>> | Страницы: 1 2 3 * 4 | Печать |
| Fe-Restorator |
Сообщение отправлено: 18 апреля 2011 12:14 Сообщение отредактировано: 18 апреля 2011 12:20
Ctrl написал: Потом, диск такой девайс, что может и в первый год накрыться, потому все равно нужна стратегия!!!Стратегии-то ты и не понял. Неважно, что и когда накроется - у тебя всегда будет вторая-третья копия! И сроки жизни носителей (из соседних закупок) пересекаются на 2/3, точно как трёхфазный ток.  Кстати, HDD должны меняться каждую неделю  , веришь на-слово?Сия цифра (1 год) приведена ведь в качестве примера и не только для дисков, но для всех носителей вообще. Точная цифра в каждом конкретном случае определяется стратегом. Хочешь быть таковым? Или ищешь совсем не дешёвую, но готовую "AnyKey"? |
| Сейчас на форуме |
| Fagear
Advanced Member
Откуда: Москва, САО Всего сообщений: 1228 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 22 янв. 2010 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 18 апреля 2011 13:29 Сообщение отредактировано: 18 апреля 2011 13:42
У меня проверки целостности данных не производится. Одна копия на рабочем компьютере, который работает круглосуточно, одна - на HDD в шкафу. Часть данных продублирована на рабочем нетбуке, за которым я провожу бОльшую часть времени. Раньше писал на DVD+RW бованки, но когда объём данных перевалил за 100 Гб уже не хватало ни болванок, ни времени на их запись. А им ещё нужно подготавливать проекты, набирать объём под завязку, прожигать, вставлять-вытаскивать... Долго и нудно.  Так пачка этих болванок и стоит на полке.HDD подключил, стёр с него старое и поставил копироваться новое - можно уходить по своим делам. Программам архивирования не доверяю, хотя у меня есть лицензионный Acronis True Image. Т.к. все данные умешаются в одном файле-образе, даже ещё их можно сжать - мне не очень ясно, как реализована там защита от сбойных блоков носителя. Если винт немного "посыпется", то что - весь образ на помойку? Или что-то удастся восстановить. Как то не хочется проверять на своих же данных. А времени на такие эксперименты особо не хватает. Т.ч. несколько отдельных HDD, хоть по 1 копии, хоть по 10 и рассовать в разные места. Только при этом надо учитывать, насколько данные конфиденциальны и соответствующим образом их скрывать при расположении в удалённом месте или на серверах публичного пользования. |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Прощу прощения, понимаю свою ошибку, без четко сформулированной задачи тема уходит совсем не туда Давайте определимся. Есть рабочий сервер, на нем стоят 6-8 дисков по 2Тб, возможно простенький raid контроллер. Есть резервный сервер, тоже с 6-8 дисками по 2Тб. Вопрос, как сконфигурировать каждый сервер и какую стратегию резервного копирования с первого на второй выбрать чтобы получить максимальную надежность хранения данных? Fe-Restorator Теперь понял, речь идет о классической системе ротации комплектов кассет к стримеру, только вместо кассет - диски? Тогда все ясно, но опять же небюджетно для домашнего использования. Решения оптимальные для серьезных организаций абсолютно не приемлемы для домашнего использования. UFO У нас наверно разный взгляд на "ценность" информации. Да, фильмы/музыка/графика занимают большую часть, в посте выше я говорил что "основной" информации около 800 двд дисков, меньше 4Тб. Кстати, жидкостное охлаждение вероятно было шуткой. Я вообще ничего не говорил о навороченных решениях на основе аппаратных raid контроллеров и прочих атрибутах серьезной СХД. Меня интересует стратегия использования hdd в качестве резервного носителя. Fagear TrueImage я использую для копирования системного раздела, очень удобно. Для остальных данных использую самописный скрипт, наподобии fsbackup http://www.opennet.ru/dev/fsbackup/ тк я не смог найти готового решения, делающего инкрементальное копирование на основе md5 файла (не по архивному атрибуту, не по времени, а именно по содержанию файла, причем без наличия доступа к пред резервной копии, одновременно контролируется целостность файлов) + другие нужные мне особенности. Можно обсудить, тоже интересная тема  В качестве полумеры, на случай если винт начнет сыпаться, можно к каждой копии вычислять избыточность, допустим 5-10%, той-же ICE ECC, но для больших объемов это долго. Конфиденциальность безусловно нужно учитывать, но думаю это тема для отдельного разговора. Surprise ICE ECC - хорошая прога, жаль только не консольная, хотя командная строка есть. А случайно не знаете аналогичной опенсорсной консольной проги работающей с файлами больше 4Гб? |
| Fe-Restorator |
NEW! Сообщение отправлено: 18 апреля 2011 19:58
Ctrl написал: о классической системе ротации комплектов кассет к стримеру, только вместо кассет - диски?Так и знал, что свалишься на кассеты и только! Да кассеты были наиболее распространены и работать с ними мог любой IT-ребёнок. Но у кассет есть существенный недостаток - структурная хрупкость, именно из-за него и выбрасывали весь комплект лент разом, ибо сохранить ленту в фабрично-новом состоянии принципиально невозможно! Нет, это не система ротации, хотя со-стороны таковой выглядит, это распределённый во времени виртуальный райд, с архивным резервированием. Надо сказать, при отсутствии основного дефекта, присущего ленте, жёсткий диск имеет более длительный срок жизни. Ctrl написал: Вопрос, как сконфигурировать каждый сервер и какую стратегию резервного копирования с первого на второй выбрать чтобы получить максимальную надежность хранения данных?Если оба сервака будут работать постоянно, то никакой выгоды в надёжности не будет принципиально: сольёшь архив с базы на бекап, и диски накроются одновременно и на базе и в бекапе, ибо выработали свой ресурс! Да и вся система ничем принципиально не отличается от обычного райд-зеркала. Вот, ежли твой бекап-сервак вступит в строй на пол-срока жизни позже - есть шанс инфу спасти. Да и освободившиеся и ещё способные работать диски можно продавать, частично компенсируя потери на покупку новых. Крупные компании так не поступают, просто уничтожая носитель, но для домо-юзера продажа - в самый раз.Кстати, есть смысл не организовывать 6-8 дисков сервака в какой-либо райд, пусть будут по-отдельности. На одном - игры, на другом - музыка, и т.д. Легче с бекапом: диск-в-диск, без мороки с подбором объёма. |
| Сейчас на форуме |
| Кай
Гость
Divine Assassin Откуда: извне (from beyond) Всего сообщений: 13709 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 8 авг. 2010 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 18 апреля 2011 23:19 Сообщение отредактировано: 18 апреля 2011 23:24
...а я ведь не шутил, говоря о RAID-5 с хорошим охлаждением "банок". Работающем 24/7/365. Да, это шумно. Да, оно будет кушать электричество поварёшкой. Выгоды: 1. постоянный мониторинг состояния дисков. SMART ещё никто не отменял. 2. низкая (сейчас) стоимость диска. 3. возможность потокового шифрования. 4. меньший, нежели любая (оптическая, кассетная) система ,занимаемая площадь. 5. Возможность (при правильной организации) замены дисков "на лету". Не знаю, правда, проработает ли оно 15 лет. В конторе, где я работаю, сервер так работает 9-ый год. Элементы рейда конечно, поменьше - 36 Гб SCSI привода. Но потерь инфы не было. Да, диски были куплены сразу, в кол-ве, превышающем необходимый для работы рейда - вдвое. Дополнительные не приобретались. Охлаждение воздушное (осушенный подвал без принудительного кондиционирования, борьба с конденсатом - мешки силикагеля). За 9 лет заменено 2 диска. |
| Surprise |
Ctrl Честно говоря не знаю или знал , но забыл Что одно и тоже в принципе ps Когдато давно пользовался паром под мандрейк, но не уверен что это то что нужно. За давностью лет забыл как там всё устроенно. Есть версия и под винду. на всякий случай дам ссылку http://sourceforge.net/project...dline/0.4/ |
| Кай
Гость
Divine Assassin Откуда: извне (from beyond) Всего сообщений: 13709 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 8 авг. 2010 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 19 апреля 2011 1:14 Сообщение отредактировано: 19 апреля 2011 1:16
Мы уходим от темы. Хотя варианты слоганов мне понравились. "Apple. No longer stub." I think that's better. [Яблоко. Больше не огрызок. Мне кажется, что так - лучше] |
| Часть сообщений этой темы была выделена в тему "Samsung продает производство HDD компании Seagate" (19 апреля 2011 17:28) |
| Fe-Restorator |
NEW! Сообщение отправлено: 19 апреля 2011 17:34 Сообщение отредактировано: 19 апреля 2011 17:37
UFO написал: а результат один. Минус один производитель винтов"Ничто не возникает ниоткуда и не исчезает в никуда" (с) М.В. Ломоносов. Помнишь такое? Так вот - и диски и заводы их клепающие останутся. И впредь будут клепать, с той-же скоростью. Наклейка с буквами- да, изменится. Возможно - поднимется надёжность изделий самого покупателя за счёт приобретённых: технологий и организации техпроцесса. Только-то. И позволь спросить: что именно ты "заминусовал"? PS. Ожидай выпуска винтов под маркой "SamSeagate" или "SeagateSung", как сие было с макстором... |
| Сейчас на форуме |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 19 апреля 2011 19:00 Сообщение отредактировано: 19 апреля 2011 19:18
В поезде вагон для курящих: - Извините, Вы не возражаете если я не буду курить? (опоздал, уже убрали в отдельную тему) Вообщем, прикинул я один вариант, организации основного ХД пока касаться не будем, а резервное в двух словах выглядит так. Каждую неделю с основного ХД делается инкрементальное пофайловое копирование на отдельный съемный винт (sata->usb). Когда весь диск заполняется, он относится в резервное ХД. Резервное ХД представляет собой набор независимых винтов с инкрементальными копиями + один (два) диска с избыточностью. Когда добавляется новый диск, производится проверка целостности данных на всех диска, затем пересчитывается избыточность. Нужно проверить сколько времени будет занимать вычислить 2(4)Тб избыточности от 4-6-8-10Тб данных. Избыточность вычисляется пофайлово (примерно как в ICE ECC, но нужно определиться с программой), тк файлы в резервном ХД не меняются. Резервное ХД включается только для добавления нового диска (раз в несколько месяцев) или для восстановления данных. Готов обсудить плюсы и минусы такого варианта и выслушать конструктиную критику. Surprise par2cmd - точно, смотрел ее, 0.4 не работает с большими файлами, а новых версий похоже не предвидится. |
| <<Назад Вперед>> | Страницы: 1 2 3 * 4 | Печать |
Полигон-2 » Флейм на общие темы » Стратегия долгосрочного хранения информации на HDD |
|
| 1 посетитель просмотрел эту тему за последние 15 минут |
| В том числе: 1 гость, 0 скрытых пользователей |
| Последние |
|
| [Москва] LIQUID-Акция. Сливаются разъемы CF МС7004 и 7004А на AT и XT Пайка термотрубок Проммать s478 PEAK 715VL2-HT ( Full-Size SBC) Подскажите по 386 материке по джамперам. | |
| Самые активные 5 тем |
|