Объявление форума |
Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС. |
Полигон-2 » IBM PC-совместимое. После 2000 года » SCSI диск 10Tb под Linux |
<<Назад Вперед>> | Страницы: 1 2 3 | Печать |
alecv
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 5545 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 5 окт. 2004 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 24 апреля 2017 22:43 Сообщение отредактировано: 24 апреля 2017 22:45
Перепала с барского плеча старая дисковая стоечка SCSI на 10Tb (11 штук SATA дисков по 1 Тб в RAID5, выход SCSI Ultra320). Можно конечно ее раздербанить на диски и раму выкинуть, но хочется запустить т.к. в ней нормальный блок питания и вентиляция. Лучше под Linux и желательно запустить одним куском 10Тб, а не резать на разделы. Но вот беда, дурацкое ограничение 2Tb на SCSI диск у Linux-а мешает до сих пор. Перебрал кучу SCSI контроллеров, почти все видят 2Тб. Какой-то проблеск имеется у LSI (SYM53C1010), но все равно плохо. Кто-нибудь имел дело ? Железо уже старое, спецов нету. sym53c8xx 0000: 05:01.0: PCI INT A disabled Если посмотреть sg_readcap, то вроде нормально, но только на CDB 16[root@stora ~]# sg_readcap -v /dev/sg5 Но постоянно сыплется в логиsd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10. И parted не видит больше 2Tb. То есть из под sg и CDB-16 виден весь диск, а ядро и дисковая подсистема похоже продолжает работать в CDB-10. |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 24 апреля 2017 22:49 Сообщение отредактировано: 24 апреля 2017 22:49
Так а в каком месте проблема? 9+тб на физике у тебя видит, Размечай в gpt и используй, не? В крайнем случае я бы подумал отдать диски напрямую в линух и там собрать md/lvm/zfs/... У меня сейчас 4tb диски по sas подключены, все нормально собирается. |
alecv
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 5545 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 5 окт. 2004 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 24 апреля 2017 22:59 Сообщение отредактировано: 24 апреля 2017 23:02
easyjohn Проблема в том, что ядро видит объем 10Tb только короткое мгновение в момент загрузки, а потом переключается на 2Tb. См. в первом логе dmesg. При попытке разметить GPT (parted; mklabel gpt) задача подвисает, а лог ядра с дикой скоростью заполняется sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10. Как я понимаю, это лог из глубины драйвера sym53c8xx, о том, что он переключается между CDB-16 и CDB-10. Адаптеки AIC и всякие прочие контроллеры не видят даже этого.То что оно "в принципе" работает, например на современных SAS/SATA это понятно. Все утилиты sg_* (например sg_dd) с ключом --16 работают, но срет в логи этим phase change. |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
Код модуля драйвера scsi листал? Гугл что говорит по поводу linux >2tb disk? |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 | |
alecv
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 5545 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 5 окт. 2004 |
easyjohn написал: Еще нет. Неохота хард-секса, хотя понятно что по-дугому с пингвином нельзя... Код модуля драйвера scsi листал? easyjohn написал: Гугл заполнен полезными советами 'Запустите parted, а fdisk не запускайте' Гугл что говорит по поводу linux >2tb disk? AIC я пробовал, с ним совсем все плохо на физическом уровне. Скорость только снижать не пробовал. LSI прицепился как родной по физике на Ultra 160. |
Anonymous
Advanced Member
Откуда: Москва(Россия) Всего сообщений: 2537 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 22 нояб. 2011 |
У меня выходило большие диски видеть лайфхаком: оставляем малое число секторов, но делаем их большими. SCSI позволяет до 16мб на блок иметь, у вас же 512 байт стандартные и их много. Не пробовал в x86 линухах, потому просто для галочки решение с военной rtos. |
doctord
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 596 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 22 сен. 2014 |
А какой линукс? Какое ядро? Какой контроллер? Если Ваше дисковое хранилище позволяет нарезать массив на несколько LUN'ов, их потом можно легко склеить обратно через LVM в одно блочное устройство. |
alecv
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 5545 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 5 окт. 2004 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 25 апреля 2017 21:03 Сообщение отредактировано: 25 апреля 2017 21:12
doctord Linux - RHEL 6 ядро последнее kernel-2.6.32-696.1.1.el6.x86_64 контроллер - безродный OEM PCI-X 64, вероятно HP, на чипе SYM53C1010 (специально искал "голый" Symbios SYM53xx т.к. ни AIC ни MegaRaid не видят больше 2G совсем). Резать неохота, смысл именно в RAID5. Плодить много 2G RAID-ов - большой расход дисков. 11 терабайтников - маразм. Почитал linux-scsi, мантейнер драйвера sym53c8xx_2 Gerard Roudier похоже завязал в 2001-м (что случилось - не знаю). Сайт LSI сдох. Ошибка очень непростая, возникает как раз в коде "синхронизации" (Handles Phase Mismatch from SCRIPTS) псевдо-ассемблера NCR SCSI SCRIPT. Если интересно, введение: http://lxr.free-electrons.com/...txt?v=3.13 (это "самый новый" драйвер) http://lxr.free-electrons.com/...txt?v=3.13 (это "самый старый") Объяснение что к чему, копия с сайта LSI http://ridl.cfd.rit.edu/produc.../LINUX.HTM |
doctord
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 596 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 22 сен. 2014 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 26 апреля 2017 0:05 Сообщение отредактировано: 26 апреля 2017 12:46
Да, не знаю, чем и помочь, драйвер этот такое чувство все забросили попросту. На Sym53c1030, sym53c1020 поищите, например LSI MEGARAID 320-1, 20320, на драйвере mptspi не должно быть такой проблемы. И я не предлагал делать много массивов, в некоторых хранилищах есть вариант нарезать один массив на несколько "логических" томов (по 2тб). посмотрите в своём, может есть что-то такое. UPD. А вообще sym53c8xx_2 тоже обновляют, только Changelog никто не ведёт, но обновления есть. Чего-то связанного именно с этой проблемой я не нашел, но вот, сами смотрите: https://github.com/torvalds/li...ym53c8xx_2 Попробуте загрузится в какой-нибудь LiveCD со свежим ядром, и посмотрите, что будет... |
alecv
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 5545 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 5 окт. 2004 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 26 апреля 2017 16:03 Сообщение отредактировано: 26 апреля 2017 17:59
doctord Попробую написать в "scsi-linux" может кто и обратит внимание... Версия драйвера sym53c8xx_2 не меняется уже лет 15, так и стоит 2.2.3, правят косметику. Откопал в залежах еще SUN-овскую карту PCI-X-64 на SYM53C896 + 2 гигабитных Ether NSC. К сожалению она без BIOS-а и Ultra-80 но зато холява. Но надежды мало т.к. код тот же. 05:01.0 PCI bridge: Intel Corporation 21154 PCI-to-PCI Bridge Upd Не пошло, ТА ЖЕ САМАЯ ошибка.Еще вот такое продают, 1300 руб и шина поновее. http://www.ebay.com/itm/LSI-Lo...2158084059 Доки https://0a.fi/wp-content/uploads/2016/09/12081346.pdf ftp://ftp.sgi.com/public/Techn...320_ug.pdf Еще можно попробовать FreeBSD, но самое смешное что там код тот же самый от Gerard Roudier, только glue-слой другой. |
doctord
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 596 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 22 сен. 2014 |
ну, попробуйте, хотя конечно уже вряд ли, имхо... да, на последней фотке видно маркировку sym53c1020a, я думаю должно заработать без проблем |
alecv
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 5545 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 5 окт. 2004 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 12 мая 2017 17:17 Сообщение отредактировано: 12 мая 2017 17:20
Продолжение эпопеи. Откопал на avito SCSI контроллер Adaptec ASC-29320ALP (шина такая же PCI-X длинная) на чипе AIC-7901. - На UltraWide-320 дико глючит шина и контроллер блочится в линухе как неисправный. - На UltraWide-160 шина запустилась, но контроллер не пропускает CDB-16 и соответственно, каждая попытка например опросить емкость отправляет операцию в Abort. scsi11 : Adaptec AIC79XX PCI-X SCSI HBA DRIVER, Rev 3.0 sg* утилиты с ключом -16 соответственно не работают. Криворукие кодеры! |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
Может пора укоротить осетра? |
alecv
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 5545 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 5 окт. 2004 |
easyjohn Хрен вам, не дождетесь. В ход пошло все. Едут контроллеры с e-bay. |
pentiumschild
Full Member
Откуда: N.Novgorod, Russia Всего сообщений: 264 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 янв. 2007 |
Этот контроллер умеет кроме физических дисков делать логические? Может попробовать собрать pv на 10Тер пятым рэйдом, а на нем нарезать 5 lv по 2 тера, а в системе склеить lvm? |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
pentiumschild написал: В предложеном варианте возникает проблема с обслуживанием вылетевших дисков. Если отдавать с полки виртуальные lun, то можно не попасть на диск и при вылете физического диска потеряешь больше одного pv. Единственным приличным решением будет отдавать отдельные диски как отдельные lun, и обслуживать raid целиком из линукса, о чем и был мой первый коммент в ветке. |
pentiumschild
Full Member
Откуда: N.Novgorod, Russia Всего сообщений: 264 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 янв. 2007 |
easyjohn написал: Никаких попаданий. На 11 дисках собран 5 райд в PV. Логические диски LV собираются уже поверх этого раздела. Так что в теории ничего кроме скорости, при вылетевшем диске мы не теряем. На практике, конечно, я видел пятые райды, умершие от одного потеряного диска. С тех пор только 10 рэйды. Другое дело, что эта полка может не уметь делать такого и весь собранный физический раздел сразу делегирует в систему. |
alecv
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 5545 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 5 окт. 2004 |
Потери большие, почти пол-тера. Скоро приедет контроллер с китайщины, продолжим. |
pentiumschild
Full Member
Откуда: N.Novgorod, Russia Всего сообщений: 264 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 12 янв. 2007 |
Ну если китайцы не помогут - можно попробовать будет полку в HBA режим перевести и софтварно собирать райд, либо уже на самом контроллере SCSI. |
alecv
Advanced Member
Откуда: Санкт-Петербург Всего сообщений: 5545 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 5 окт. 2004 |
Профиль | Сообщить модератору
NEW! Сообщение отправлено: 2 июня 2017 18:15 Сообщение отредактировано: 2 июня 2017 18:19
Приехал контроллер LSI22320 и сразу все стало немного по-другому.... Fusion MPT base driver 3.04.20 # parted /dev/sde # mount /dev/sde1 /mnt/ |
easyjohn
Advanced Member
Откуда: SPb Всего сообщений: 3381 Рейтинг пользователя: 0 Ссылка Дата регистрации на форуме: 7 апр. 2008 |
Счастье. Проверь только на тестовых данных, что там где-нить в районе 2тб не происходит закольцовывание и он не начинает писать опять с нуля, затирая служебку. |
<<Назад Вперед>> | Страницы: 1 2 3 | Печать |
Полигон-2 » IBM PC-совместимое. После 2000 года » SCSI диск 10Tb под Linux |
0 посетителей просмотрели эту тему за последние 15 минут |
В том числе: 0 гостей, 0 скрытых пользователей |
Последние | |
[Москва] LIQUID-Акция. Сливаются разъемы CF МС7004 и 7004А на AT и XT Пайка термотрубок Проммать s478 PEAK 715VL2-HT ( Full-Size SBC) Подскажите по 386 материке по джамперам. |
Самые активные 5 тем | |