| Объявление форума |
Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС. |
Полигон-2 » Флейм на общие темы » Стратегия долгосрочного хранения информации на HDD |
 |
Стратегия долгосрочного хранения информации на HDD
| <<Назад Вперед>> | Страницы: 1 2 3 4 | Печать |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 апреля 2011 13:01 Сообщение отредактировано: 17 апреля 2011 16:53
Хочу поднять такую тему. Скажу сразу, четкой постановки задачи нет, хотел бы выслушать Ваши мысли, соображения, интересные идеи. Речь идет именно о HDD в качестве носителя инфы и длительном сроке хранения. Как это лучше организовать. Под долгосрочным я понимаю без потери данных дотянуть до следующего поколения носителей информации, когда их цена станет приемлемой (те минимльной по сравнению с др носителями). Дискеты-Арвид-CD-DVD-? BR пока дорог. DVD уже объем мал. HDD все хорошо, но для обеспечения надежности нужно подумать. Постоянный доступ к данным не обязателен, объемы до 10Тб (на данный момент), "домашнее" использование (промышленные решения за туеву хучу бабок не канают) Какие есть интересные мысли и решения? |
| Fagear
Advanced Member
Откуда: Москва, САО Всего сообщений: 1228 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 22 янв. 2010 |
У меня основной компьютер сейчас - HTPC на базе Athlon II X2, в нём стоит два HDD формфактора 2,5" по 500 Гб. Для бэкапа использую диски из моих предыдущих компьютеров и несколько восстановленных своими руками. Контретно - два 320Гб диска и один 160Гб, все формфактора 3,5". Также у меня была внешняя коробка для 3,5" диска с интерфейсами USB и e-SATA, но диски в ней сильно перегревались - нет охлаждения - поэтому я открутил от неё стенку с разъёмами и электроникой и так и использую. Диски лежат в шкафу на полке. Нужно почитать/пописать - берём диск "надеваем" на его разъёмы крышку внешней коробки и кладём на стол. Подключаем USB или e-SATA и внешний блок питания (шёл в комплекте с коробкой) и соединяю с компом. Собственно, всё. Выглядит это так:    |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Так, сейчас прикинул, какой система видится мне. 1. Информация должна присутствовать в двух территориально разных местах, соответственно в двух копиях. 2. Диски должны регулярно (автоматически) проверяться на работоспособность и целостность информации. Почемя задалсятаким вопросом, сейчас коробка нормальных dvd 100шт стоит около 900р + конверт на 2 диска примерно 0.5-1р, получаем стоимость хранения около 2р/Гб. Сравниваем с диском Barracuda LP ST32000542AS, 2Тб, 2800р, получаем 1,4р/Гб. |
| Bobo
Advanced Member
Откуда: СПб Всего сообщений: 3628 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 16 авг. 2007 |
Ага - а я еще задался вопросом сколько эти СД места занимают вобщем собрал в прошлом году сервер и на него все закинул стоят 3 Хитача 3+3+2 и 3 Вестерна 2+1+1 Вестерн 2Тб какой-то странный.. в остальном хранилищем доволен |
| UFO |
Ctrl написал: Постоянный доступ к данным не обязателен, объемы до 8ТбВот интересно записать этот объём на несколько дисков, положить на хранение и включить только через 15 лет.  Старые винты обычно в этом плане отлично сохраняли информацию. С новыми пока никто таких экспериментов не проводил в силу их новизны. |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 апреля 2011 16:03 Сообщение отредактировано: 17 апреля 2011 18:36
Bobo Ага - а я еще задался вопросом сколько эти СД места занимаютУ меня таже фигня Диски лежат в коробках от картриджей к лазерникам по 200-300шт. 8-10 коробок по 200шт с CD, инфа с них уже переписана на двд, но хранятся в качестве резервной копии резервной копии 12-15 коробок по 200-300шт с DVD. Информация - страшная сила, особенно если упадет на голову с полки Сейчас вся информация резервируется на dvd, но думаю перейти на жесткие диски, cd уничтожить, dvd оставить как вторую резервную копию. PS Интересно, могут ли сейчас кому-нить понадобиться 1200 cd с фильмами, записанными в эпоху становления формата цифрового видео, когда 2-х часовой фильм на 700Мб считалось в порядке вещей, на а непережатую AC3 дорогу оставляли только себариты. |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 апреля 2011 16:34 Сообщение отредактировано: 17 апреля 2011 16:41
Fagear А контроль состояния диска и целостность данных как-нить реализыется? И используется ли какая прога резервного копирования? UFO Старые винты обычно в этом плане отлично сохраняли информацию.Все течет, все меняется, главное не выпадать из потока |
| DrPass
Advanced Member
Откуда: Донецк Всего сообщений: 3566 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 17 апр. 2005 |
Подозреваю, что сильно рассчитывать на новые винты не следует. Пока что для "домашнего" применения ничего лучше рейда с зеркалом не придумали. Если один винт сдох, и аналоги еще есть в продаже, меняешь. Если аналогов нет, меняешь пару. Боюсь, длительного хранения (10 лет и больше) от них не дождешься. И проблемы могут быть с любой стороны. Сильно возросшая плотность записи, что означает уменьшение размера магнитного домена и уменьшение его намагниченности, использование поверхностного монтажа с агрессивными флюсами и т.д. Вот простой пример, у меня один из дисков стал сбоить и накрылся. Диск достаточно дорогой, Raid Edition. Когда я его внимательно рассмотрел, увидел, что на плате за два года окислились все контакты. То же самое было и на втором. Поменял оба, но теперь слежу постоянно. Про DVD даже говорить нет смысла, срок жизни этой пластмаски предсказать невозможно. И десять лет, и год может быть. |
| Кай
Гость
Divine Assassin Откуда: извне (from beyond) Всего сообщений: 13709 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 8 авг. 2010 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 17 апреля 2011 17:57 Сообщение отредактировано: 17 апреля 2011 18:12
RAID5 (а лучше 10)+жидкостное (а лучше фреоновое) охлаждение.+ИБП (Hot Swap). Почему? Потому что при воздушном охлаждении окисляются контакты. С конденсатом бороться силикагелем. При прямых руках можно собрать в холодильнике "Морозко". |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Кай Вероятно прийдется исходить из имеющихся реалий - raid5/6 на "рабочем" сервере + второй сервер для хранения резервных копий (на отдельных дисках или riad5/6). Наверно из готовый доступных решений это самое правильное. Единственное чем мне не нравится raid5/6 - данные могут накрыться все и сразу (при плохом стечении обстоятельств). Хотя мне бы больше подошла система наподобии raid3/4, но когда каждый диск в массиве независим (имеет свою таблицу разделов, свою файловую систему, видится системой как отдельный диск), + 1-2 диска для хранения избыточности. Технически это возможно, но на практике ни разу о таком не слышал. Ну например у меня сейчас сделано так: для каждого записанного DVD (4.7Гб) диска вычисляется 180Мб избыточности и записывается на отдельный диск (1 диск с ECC на 25 дисков с данными). Если со временем диск начнет читаться неустойчиво, но суммарный объем сбойных блоков (блоки по 512кб) будет меньше 180Мб - данные будут восстановлены полностью. Конечно надежнее было рассчитать ECC объемом 4.7Гб для всех 25 дисков, но на момент принятия системы в "эксплуатацию" у меня не было сильно много свободного места ждать когда наберется 25 дисков. |
| Кай
Гость
Divine Assassin Откуда: извне (from beyond) Всего сообщений: 13709 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 8 авг. 2010 |
при плохом стечении обстоятельствОт плохих стечений обстоятельств я где-то видал плату защиты HDD от резкого повышения/падения питания... С ионисторами. Но стоила она запредельно. Конечно, от механического воздействия (а так же вспышек на солнце), или визитов "маски-шоу" никто не застрахован. |
| Fe-Restorator |
NEW! Сообщение отправлено: 17 апреля 2011 20:40
Для дисков страшен старт/стоп режим работы. Иными словами, - если включать диски периодически, как раз такой режим и будет. Если данные нужны в любой, заранее непредсказуемый момент времени, тогда собирай сервер и привыкни к тратам на бесперебойную подачу энергии. Если нужно одноразовое хранилище, т.е. один раз записал и на годы забросил на антресоль - то есть смысл вооружиться дрелью, из полосок металла сделать скрепы и связать ими кучу винтов в единый блок, разъёмами наружу, подключай нужный и работай. Если жажда сохранения инфы граничит с маниакальностью - пиши одну инфу на 2(3, ...., N) дисков одновременно. Райды здесь не катят - разобрать сейчас и собрать массив спустя годы - может и не получиться.  |
| Сейчас на форуме |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Кай Ну, эт не единственные "обстоятельства". Еще несколько мыслей. Самым главным преимуществом hdd по сравнению со сменными одноразовыми носителями - легко обеспечить постоянный контроль рабочего состояния диска! Например, периодически проверять читаемость всех своих dvd дисков я не могу. И может получиться так, что потребуется восстановить информацию с резервной копии, а она уже не читается, все приехали... |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Fe-Restorator Именно, и основные и резервные диски планируется держать постоянно включенными, но не из-за нежелательности периодического включения, а для возможности постоянного контроля состояния диска - сдох один винт, сразу заменил новым. Райды здесь не катят - разобрать сейчас и собрать массив спустя годы - может и не получиться.Конечно разбирать/собирать рэйд никто не сибирается. Имхо рэйд5/6 или работает от начала эксплуатации до списания, или не используется вообще. Если жажда сохранения инфы граничит с маниакальностью - пиши одну инфу на 2(3, ...., N) дисков одновременно.Ну тогда уж, для маньяков то, использовать разные носители - от магнитооптики и стримеров до он-лайн хранилищь и дисков своего ботнета |
| Fe-Restorator |
NEW! Сообщение отправлено: 18 апреля 2011 3:25
Ctrl написал: "домашнее" использованиеCtrl написал: рэйд5/6 или работает от начала эксплуатации до списания, или не используется вообщеСкажем так: правильно спроектированный и собранный в железе RAID-массив - это вовсе не железяка домашнего использования! Ctrl написал: диски планируется держать постоянно включеннымиНафига? Диск сдох из-за маниакального контроля? За что боремся? Разумные люди, что работают на предприятиях стратегами резервного копирования, поступают иначе. Определяют срок жизни носителя, например - 1 год. По истечении срока носитель выбрасывается (даже если провалялся на складе упакованно-непользованным), а его место занимает свежекупленный. Инфа переписывается, ессно. Если технология позволяет (видеокассета, ДВД, жёсткий диск, ...) то по истечении срока жизни носитель кладётся в архив на ещё один срок, затем выбрасывается окончательно. Таким юзом имеем сразу 2 резервных копии одновременно. Так и тебе стоит поступать. За срок жизни сменится поколение носителей или даже технология хранения-записи. |
| Сейчас на форуме |
| Surprise |
Я лично так поступаю. Покупаю три стопки dvd от разных производителей и дублирую на них. Плюс к этому винчестер. Раз в полгода трачу неделю на проверку и замену. Должно остоваться как минимум Три копии всегда. Важнойинфы - 4ре. От болванок отказываться - не собираюсь. Винчестеры штука хорошая, но все яйца в отдной корзине хранить как то не хоться. Если испортится DVD - полетит макcимум около 9 гигов ( двухсторонний DVD-10), а если полетит винт, то накернится уже сотни гигов. Плюс DVD можно легко комунить дать переписать без страха за инфу. Плюс винты доступны для записи и в случае заражения можно потерять и оригинал и копию. Болванки же позволяют вернуться к старой копии. Старая копия это плохо, но лучше чем ничего. |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Может быть тему стоит расширить. Какие программы Вы используете для рез. копирования, как обеспечиваете проверку данных. Fe-Restorator Нафига? Диск сдох из-за маниакального контроля? За что боремся? Для дисков страшен старт/стоп режим работы. Иными словами, - если включать диски периодически, как раз такой режим и будет. Если данные нужны в любой, заранее непредсказуемый момент времени, тогда собирай сервер и привыкни к тратам на бесперебойную подачу энергии.Если диск сдохнет "штатно" никаких проблем, а вот если через год понадобится восстановить информацию, включаешь диск, а он стукнул головой и отказался читаться - вот это проблема. Разумные люди, что работают на предприятиях стратегами резервного копирования, поступают иначе. Определяют срок жизни носителя, например - 1 год. По истечении срока носитель выбрасывается, а его место занимает свежекупленный.Так у меня не предприятие Менять раз в год диски - это кучеряво, хотя в фирмах с важными данными вполне оправданно. Потом, диск такой девайс, что может и в первый год накрыться, потому все равно нужна стратегия!!!За срок жизни сменится поколение носителей или даже технология хранения-записи.По моим наблюдениям смена "поколения" происходит примерно раз в 5 лет. Предыдушее поколение оставляется еще на 5 лет. Surprise Вероятно для важной инфы от третьей копии на dvd отказываться не буду, но вот с второстепенными данными, которых больше всего (фильмы, музыка), останутся только hdd, но с нормальной стратегией зашиты, это здесь и обсуждаем Раз в полгода трачу неделю на проверку и замену.А вот заставить себя перелопатить 800 dvd дисков с резервными копиями основной информации, даже раз в год, не могу! Все таки у меня не центральный архив Плюс винты доступны для записи и в случае заражения можно потерять и оригинал и копию. Болванки же позволяют вернуться к старой копии.Да, этого преимущества болванок жесткие диски лишины. Но резервные диски планируется подключить к отдельному компу, в оригинале без подключения к сети, основная задача которого следить за состоянием дисков и принимать новые инкрементальные резервные копии (с внешнего носителя, по usb). |
| rw6hrm
Advanced Member
Почётный тоховод Генсокё Откуда: Ставрополь Всего сообщений: 937 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 17 фев. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 18 апреля 2011 10:05 Сообщение отредактировано: 18 апреля 2011 10:09
...подобными вопросами (длительное хранение обалденных объемов данных) меня достают исключительно анимешники Тем не менее пока лучше съемных накопителей ничего не нашли, и имя им ДВД. Причем именно голимые одноразовые болванки. Перелопачивать диски для поиска инфы не требуется при наличии хорошей базы/описания чего где хранится, пусть даже и в бумажном виде. Проблем с нечитаемой инфой не было никогда, если выпекать болванки на нормальной скорости (не на максимуме). А уж если разговор про фильмы, то лично я использую исключительно болванки с перекодированными под "железные" плееры файлами. Включать комп для того, чтобы посмотреть фильм - имхо изврат похлеще BDSM'a. Даже если и пользовать сетку......а если инфа не требуется больше года, то она как-бы больше и не нужна... Ну уж если по нашему направлению, то такую "ненужную" инфу проще заливать куда-нить на гугловские сайты, проверить её раз в пять лет труда не представляет... что гораздо дешевле кучи энергопотребляющего железа, скрученного полосками стали (пацталом реально). Да и действительно, проще потерять 4 гига инфы, нежели 250 и более. |
| UFO |
rw6hrm написал: Перелопачивать диски для поиска инфы не требуется при наличии хорошей базы/описания чего где хранится, пусть даже и в бумажном виде.Я, например, нумерую диски и давно использую программу для ведения каталога CD/DVD под названием "WhereIsIt". Ctrl, если не секрет, что из себя представляет супер-ценная информация объёмом 10ТБ, если это не фильмы/музыка/фотки/etc? Для чего, собственно, в домашних условиях строить все эти монструозные RAIDы с жидкостным охлаждением и Hot Swapовым питанием? |
| Surprise |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 18 апреля 2011 10:18 Сообщение отредактировано: 18 апреля 2011 10:26
Ctrl Для создания и проверки контрольных сумм использую утилиту HashCheck Shell Extension Замечательная весчь (есть русик встроенный, для когото это критично) http://code.kliu.org/hashcheck/ также использую две утилиты от ice-graphics ICE Mirror http://www.ice-graphics.com/ICEMirror/IndexR.html и ICE ECC http://www.ice-graphics.com/ICEECC/IndexR.html все 3ри проги - бесплатны. |
| DrPass
Advanced Member
Откуда: Донецк Всего сообщений: 3566 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 17 апр. 2005 |
Surprise написал: Я лично так поступаю.Я бы ни за что не потратил целую неделю на проверку и переписывание болванок... Ну его к черту, дешевле купить несколько двухтерабайтовых винтов, и дублировать информацию на них. |
| Fe-Restorator |
NEW! Сообщение отправлено: 18 апреля 2011 12:14 Сообщение отредактировано: 18 апреля 2011 12:20
Ctrl написал: Потом, диск такой девайс, что может и в первый год накрыться, потому все равно нужна стратегия!!!Стратегии-то ты и не понял. Неважно, что и когда накроется - у тебя всегда будет вторая-третья копия! И сроки жизни носителей (из соседних закупок) пересекаются на 2/3, точно как трёхфазный ток. Кстати, HDD должны меняться каждую неделю  , веришь на-слово?Сия цифра (1 год) приведена ведь в качестве примера и не только для дисков, но для всех носителей вообще. Точная цифра в каждом конкретном случае определяется стратегом. Хочешь быть таковым? Или ищешь совсем не дешёвую, но готовую "AnyKey"? |
| Сейчас на форуме |
| Fagear
Advanced Member
Откуда: Москва, САО Всего сообщений: 1228 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 22 янв. 2010 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 18 апреля 2011 13:29 Сообщение отредактировано: 18 апреля 2011 13:42
У меня проверки целостности данных не производится. Одна копия на рабочем компьютере, который работает круглосуточно, одна - на HDD в шкафу. Часть данных продублирована на рабочем нетбуке, за которым я провожу бОльшую часть времени. Раньше писал на DVD+RW бованки, но когда объём данных перевалил за 100 Гб уже не хватало ни болванок, ни времени на их запись. А им ещё нужно подготавливать проекты, набирать объём под завязку, прожигать, вставлять-вытаскивать... Долго и нудно.  Так пачка этих болванок и стоит на полке.HDD подключил, стёр с него старое и поставил копироваться новое - можно уходить по своим делам. Программам архивирования не доверяю, хотя у меня есть лицензионный Acronis True Image. Т.к. все данные умешаются в одном файле-образе, даже ещё их можно сжать - мне не очень ясно, как реализована там защита от сбойных блоков носителя. Если винт немного "посыпется", то что - весь образ на помойку? Или что-то удастся восстановить. Как то не хочется проверять на своих же данных. А времени на такие эксперименты особо не хватает. Т.ч. несколько отдельных HDD, хоть по 1 копии, хоть по 10 и рассовать в разные места. Только при этом надо учитывать, насколько данные конфиденциальны и соответствующим образом их скрывать при расположении в удалённом месте или на серверах публичного пользования. |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Прощу прощения, понимаю свою ошибку, без четко сформулированной задачи тема уходит совсем не туда Давайте определимся. Есть рабочий сервер, на нем стоят 6-8 дисков по 2Тб, возможно простенький raid контроллер. Есть резервный сервер, тоже с 6-8 дисками по 2Тб. Вопрос, как сконфигурировать каждый сервер и какую стратегию резервного копирования с первого на второй выбрать чтобы получить максимальную надежность хранения данных? Fe-Restorator Теперь понял, речь идет о классической системе ротации комплектов кассет к стримеру, только вместо кассет - диски? Тогда все ясно, но опять же небюджетно для домашнего использования. Решения оптимальные для серьезных организаций абсолютно не приемлемы для домашнего использования. UFO У нас наверно разный взгляд на "ценность" информации. Да, фильмы/музыка/графика занимают большую часть, в посте выше я говорил что "основной" информации около 800 двд дисков, меньше 4Тб. Кстати, жидкостное охлаждение вероятно было шуткой. Я вообще ничего не говорил о навороченных решениях на основе аппаратных raid контроллеров и прочих атрибутах серьезной СХД. Меня интересует стратегия использования hdd в качестве резервного носителя. Fagear TrueImage я использую для копирования системного раздела, очень удобно. Для остальных данных использую самописный скрипт, наподобии fsbackup http://www.opennet.ru/dev/fsbackup/ тк я не смог найти готового решения, делающего инкрементальное копирование на основе md5 файла (не по архивному атрибуту, не по времени, а именно по содержанию файла, причем без наличия доступа к пред резервной копии, одновременно контролируется целостность файлов) + другие нужные мне особенности. Можно обсудить, тоже интересная тема В качестве полумеры, на случай если винт начнет сыпаться, можно к каждой копии вычислять избыточность, допустим 5-10%, той-же ICE ECC, но для больших объемов это долго. Конфиденциальность безусловно нужно учитывать, но думаю это тема для отдельного разговора. Surprise ICE ECC - хорошая прога, жаль только не консольная, хотя командная строка есть. А случайно не знаете аналогичной опенсорсной консольной проги работающей с файлами больше 4Гб? |
| Fe-Restorator |
NEW! Сообщение отправлено: 18 апреля 2011 19:58
Ctrl написал: о классической системе ротации комплектов кассет к стримеру, только вместо кассет - диски?Так и знал, что свалишься на кассеты и только! Да кассеты были наиболее распространены и работать с ними мог любой IT-ребёнок. Но у кассет есть существенный недостаток - структурная хрупкость, именно из-за него и выбрасывали весь комплект лент разом, ибо сохранить ленту в фабрично-новом состоянии принципиально невозможно! Нет, это не система ротации, хотя со-стороны таковой выглядит, это распределённый во времени виртуальный райд, с архивным резервированием. Надо сказать, при отсутствии основного дефекта, присущего ленте, жёсткий диск имеет более длительный срок жизни. Ctrl написал: Вопрос, как сконфигурировать каждый сервер и какую стратегию резервного копирования с первого на второй выбрать чтобы получить максимальную надежность хранения данных?Если оба сервака будут работать постоянно, то никакой выгоды в надёжности не будет принципиально: сольёшь архив с базы на бекап, и диски накроются одновременно и на базе и в бекапе, ибо выработали свой ресурс! Да и вся система ничем принципиально не отличается от обычного райд-зеркала. Вот, ежли твой бекап-сервак вступит в строй на пол-срока жизни позже - есть шанс инфу спасти. Да и освободившиеся и ещё способные работать диски можно продавать, частично компенсируя потери на покупку новых. Крупные компании так не поступают, просто уничтожая носитель, но для домо-юзера продажа - в самый раз.Кстати, есть смысл не организовывать 6-8 дисков сервака в какой-либо райд, пусть будут по-отдельности. На одном - игры, на другом - музыка, и т.д. Легче с бекапом: диск-в-диск, без мороки с подбором объёма. |
| Сейчас на форуме |
| Кай
Гость
Divine Assassin Откуда: извне (from beyond) Всего сообщений: 13709 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 8 авг. 2010 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 18 апреля 2011 23:19 Сообщение отредактировано: 18 апреля 2011 23:24
...а я ведь не шутил, говоря о RAID-5 с хорошим охлаждением "банок". Работающем 24/7/365. Да, это шумно. Да, оно будет кушать электричество поварёшкой. Выгоды: 1. постоянный мониторинг состояния дисков. SMART ещё никто не отменял. 2. низкая (сейчас) стоимость диска. 3. возможность потокового шифрования. 4. меньший, нежели любая (оптическая, кассетная) система ,занимаемая площадь. 5. Возможность (при правильной организации) замены дисков "на лету". Не знаю, правда, проработает ли оно 15 лет. В конторе, где я работаю, сервер так работает 9-ый год. Элементы рейда конечно, поменьше - 36 Гб SCSI привода. Но потерь инфы не было. Да, диски были куплены сразу, в кол-ве, превышающем необходимый для работы рейда - вдвое. Дополнительные не приобретались. Охлаждение воздушное (осушенный подвал без принудительного кондиционирования, борьба с конденсатом - мешки силикагеля). За 9 лет заменено 2 диска. |
| Surprise |
Ctrl Честно говоря не знаю или знал , но забыл Что одно и тоже в принципе ps Когдато давно пользовался паром под мандрейк, но не уверен что это то что нужно. За давностью лет забыл как там всё устроенно. Есть версия и под винду. на всякий случай дам ссылку http://sourceforge.net/project...dline/0.4/ |
| Кай
Гость
Divine Assassin Откуда: извне (from beyond) Всего сообщений: 13709 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 8 авг. 2010 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 19 апреля 2011 1:14 Сообщение отредактировано: 19 апреля 2011 1:16
Мы уходим от темы. Хотя варианты слоганов мне понравились. "Apple. No longer stub." I think that's better. [Яблоко. Больше не огрызок. Мне кажется, что так - лучше] |
| Часть сообщений этой темы была выделена в тему "Samsung продает производство HDD компании Seagate" (19 апреля 2011 17:28) |
| Fe-Restorator |
NEW! Сообщение отправлено: 19 апреля 2011 17:34 Сообщение отредактировано: 19 апреля 2011 17:37
UFO написал: а результат один. Минус один производитель винтов"Ничто не возникает ниоткуда и не исчезает в никуда" (с) М.В. Ломоносов. Помнишь такое? Так вот - и диски и заводы их клепающие останутся. И впредь будут клепать, с той-же скоростью. Наклейка с буквами- да, изменится. Возможно - поднимется надёжность изделий самого покупателя за счёт приобретённых: технологий и организации техпроцесса. Только-то. И позволь спросить: что именно ты "заминусовал"? PS. Ожидай выпуска винтов под маркой "SamSeagate" или "SeagateSung", как сие было с макстором... |
| Сейчас на форуме |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 19 апреля 2011 19:00 Сообщение отредактировано: 19 апреля 2011 19:18
В поезде вагон для курящих: - Извините, Вы не возражаете если я не буду курить? (опоздал, уже убрали в отдельную тему) Вообщем, прикинул я один вариант, организации основного ХД пока касаться не будем, а резервное в двух словах выглядит так. Каждую неделю с основного ХД делается инкрементальное пофайловое копирование на отдельный съемный винт (sata->usb). Когда весь диск заполняется, он относится в резервное ХД. Резервное ХД представляет собой набор независимых винтов с инкрементальными копиями + один (два) диска с избыточностью. Когда добавляется новый диск, производится проверка целостности данных на всех диска, затем пересчитывается избыточность. Нужно проверить сколько времени будет занимать вычислить 2(4)Тб избыточности от 4-6-8-10Тб данных. Избыточность вычисляется пофайлово (примерно как в ICE ECC, но нужно определиться с программой), тк файлы в резервном ХД не меняются. Резервное ХД включается только для добавления нового диска (раз в несколько месяцев) или для восстановления данных. Готов обсудить плюсы и минусы такого варианта и выслушать конструктиную критику. Surprise par2cmd - точно, смотрел ее, 0.4 не работает с большими файлами, а новых версий похоже не предвидится. |
| Fe-Restorator |
NEW! Сообщение отправлено: 20 апреля 2011 10:36 Сообщение отредактировано: 20 апреля 2011 10:42
Ctrl написал: Каждую неделю с основного ХД делается инкрементальное пофайловое копирование на отдельный съемный винт (sata->usb).ГЫ! Если резервное хранилище будет получать инфу лишь 1 раз в полгода со внешнего носителя, и соответственно, включаться в работу не чаще, то идеальная его внутренняя организация - RAID-5 !!! Избыточность рассчитывается автоматически, пофайлово, есть возможность автоматического восстановления инфы - Raid Rebuild. И скорость записи много выше чем у отдельного диска. Но это скорее бонус, чем полезная функция. Можешь и Raid-6 засандалить, из соображения маниакальности защиты данных, а на десерт - зашифровать весь райд под PGP. |
| Сейчас на форуме |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 22 апреля 2011 19:40 Сообщение отредактировано: 22 апреля 2011 19:42
Fe-Restorator Основное что меня останавливает от организации raid5/6 на резервном ХД - необходимость сразу покупать полный комплект дисков, что напряжно в материальном плане (4+1/2 диска - 15-18тыс). Второе - со временем стоимость хранения Гб падает, уверент черех год-два будет 1,0-1,1р/Гб (для одиночного диска). PS Для обеспечения конфиденциальности данных на сменных носителей я пользуюсь tc. |
| Fe-Restorator |
NEW! Сообщение отправлено: 22 апреля 2011 21:35 Сообщение отредактировано: 22 апреля 2011 21:39
Ctrl написал: необходимость сразу покупать полный комплект дисков, что напряжно в материальном плане (4+1/2 диска - 15-18тыс)Нет, не так! Райд-5 стартует с 3-х дисков, и если правильно настроить ему expandable spare, можно докупать диски по-мере поступления матсредств. Придётся потерпеть и суточный ребилд, но сие - мелочи. Другое дело, контроллер(на 8 портов, а иначе - зачем городить?), обеспечивающий таковой функционал обойдётся в $600 и выше, именно сие станет тебе препятствием на пути к светлому RAID-у. Обрати внимание: первые год-два работы основного сервака его бекап тебе не нужен вовсе, так-что можешь спокойно копить "тугрики" на последующую организацию райда. Заодно съэкономишь на удельной стоимости хранения инфы. PS. Для себя сию задачу решил с помощью атомной мамки на 4 сата-порта, 4-х портового сата-контроллера на PCI, 6-ти стационарных дисков, 2-х штук сата-"док-станций", куда обычные диски вставляются как хлеб в тостер, и кучки самих дисков, убираемых в шкаф. Плюсы: "Green"-диски и атомная мать жуют мало электричества, это заметно на счётчике, для домашнего прользователя =  архивные экземпляры носителей не вырабатывают механический ресурс, имеют неограниченное резервирование и ротацию через торговые сети(иногда продаю вместе с инфой - клиенты сиим бонусом довольны). Второй сервак не нужен. Минусы: в шкафу пыльно. |
| Сейчас на форуме |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Fe-Restorator На полноценные рэйд контроллеры я даже не замахивался - или простенький софт-рэйд контроллер, где драйвер отвечает за построение массива, или полностью программый рэйд под Линём. Для себя сию задачу решил с помощью атомной мамки на 4 сата-порта, 4-х портового сата-контроллера на PCI, 6-ти стационарных дисков, 2-х штук сата-"док-станций", куда обычные диски вставляются как хлеб в тостер, и кучки самих дисков, убираемых в шкаф.Я так понимаю стратегия используется о которой говорилось выше? Или это для домашнего использования и устроено по другому? |
| Fe-Restorator |
NEW! Сообщение отправлено: 22 апреля 2011 23:29
Ctrl написал: Я так понимаю стратегия используется о которой говорилось выше? Или это для домашнего использования и устроено по другому?Частично. Затратные тестирование и выбор накопителей есть возможность переместить в рабочую обстановку. Равно, как и приобретение партии из N штук с оптовой скидкой, якобы "на-фирму", с оплатой за счёт премии. |
| Сейчас на форуме |
| Ctrl
Full Member
Откуда: Москва, СЗАО Всего сообщений: 255 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 25 фев. 2011 |
Эт хорошо Что-то я начал склоняться к мысли вообще не мутить чего-то заумного, ограничиться обычным двойным резервированием. Пока. А дальше посмотрю. |
| <<Назад Вперед>> | Страницы: 1 2 3 4 | Печать |
Полигон-2 » Флейм на общие темы » Стратегия долгосрочного хранения информации на HDD |
|
| 1 посетитель просмотрел эту тему за последние 15 минут |
| В том числе: 1 гость, 0 скрытых пользователей |
| Последние |
|
| [Москва] LIQUID-Акция. Сливаются разъемы CF МС7004 и 7004А на AT и XT Пайка термотрубок Проммать s478 PEAK 715VL2-HT ( Full-Size SBC) Подскажите по 386 материке по джамперам. | |
| Самые активные 5 тем |
|