Внимание! Это временный неофициальный архив старой версии форума Полигон Призраков, созданный сочувствующим форуму участником. Этот сайт просуществует лишь до тех пор, пока администрация Полигона не сдержит своё обещание и не откроет официальный архив по адресу old.sannata.org.

Полигон-2

Форум о старых компьютерах

Объявление форума

Если пользуетесь личными сообщениями и получили по электронной почте оповещение о новом письме, не отвечайте, пожалуйста, почтой. Зайдите на форум и ответьте отправителю через ЛС.

Полигон-2 »   IBM PC-совместимое. После 2000 года »   SCSI диск 10Tb под Linux
RSS

SCSI диск 10Tb под Linux

кто-нибудь запускал ?

<<Назад  Вперед>> Страницы: 1 2 3
Печать
 
alecv
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 5545
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 окт. 2004
Перепала с барского плеча старая дисковая стоечка SCSI на 10Tb (11 штук SATA дисков по 1 Тб в RAID5, выход SCSI Ultra320). Можно конечно ее раздербанить на диски и раму выкинуть, но хочется запустить т.к. в ней нормальный блок питания и вентиляция. Лучше под Linux и желательно запустить одним куском 10Тб, а не резать на разделы.

Но вот беда, дурацкое ограничение 2Tb на SCSI диск у Linux-а мешает до сих пор.

Перебрал кучу SCSI контроллеров, почти все видят 2Тб. Какой-то проблеск имеется у LSI (SYM53C1010), но все равно плохо.

Кто-нибудь имел дело ? Железо уже старое, спецов нету.sym53c8xx 0000: 05:01.0: PCI INT A disabled
sym53c8xx 0000: 05:01.0: PCI INT A -> GSI 24 (level, low) -> IRQ 24
sym0: >1010-66> rev 0x1 at pci 0000: 05:01.0 irq 24
sym0: Symbios NVRAM, ID 7, Fast-80, LVD, parity checking
sym0: open drain IRQ line driver, using on-chip SRAM
sym0: using LOAD/STORE-based firmware.
sym0: handling phase mismatch from SCRIPTS.
sym0: SCSI BUS has been reset.
scsi4 : sym-2.2.3
scsi 4:0:0:0: Direct-Access     IFT      A24U-G2421-1     347R PQ: 0 ANSI: 5
scsi target4:0:0: tagged command queuing enabled, command queue depth 16.
scsi target4:0:0: Beginning Domain Validation
scsi target4:0:0: FAST-80 WIDE SCSI 160.0 MB/s DT (12.5 ns, offset 62)
scsi target4:0:0: Ending Domain Validation
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: [sde] 4294967296 512-byte logical blocks: (2.19 TB/2.00 TiB)
sd 4:0:0:0: [sde] Write Protect is off
sd 4:0:0:0: [sde] Mode Sense: 9b 00 00 08
sd 4:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: Attached scsi generic sg5 type 0
sd 4:0:0:0: [sde] 19529912320 512-byte logical blocks: (9.99 TB/9.09 TiB)
sde: detected capacity change from 2199023255552 to 9999315107840
sde: unknown partition table
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: [sde] 4294967296 512-byte logical blocks: (2.19 TB/2.00 TiB)
sd 4:0:0:0: [sde] Attached SCSI disk
Если посмотреть sg_readcap, то вроде нормально, но только на CDB 16[root@stora ~]# sg_readcap -v /dev/sg5
    read capacity (10) cdb: 25 00 00 00 00 00 00 00 00 00
READ CAPACITY (10) indicates device capacity too large
  now trying 16 byte cdb variant
    read capacity (16) cdb: 9e 10 00 00 00 00 00 00 00 00 00 00 00 20 00 00
    read capacity (16): requested 32 bytes but got 12 bytes
Read Capacity results:
   Protection: prot_en=1, p_type=7, p_i_exponent=15
   Thin provisioning: tpe=1, tprz=1
   Last logical block address=19529912319 (0x48c12cfff), Number of logical blocks=19529912320
   Logical block length=512 bytes
   Logical blocks per physical block exponent=15
   Lowest aligned logical block address=16383
Hence:
   Device size: 9999315107840 bytes, 9536090.0 MiB, 9999.32 GB
Но постоянно сыплется в логиsd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
И parted не видит больше 2Tb. То есть из под sg и CDB-16 виден весь диск, а ядро и дисковая подсистема похоже продолжает работать в CDB-10.
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
Так а в каком месте проблема? 9+тб на физике у тебя видит, Размечай в gpt и используй, не?
В крайнем случае я бы подумал отдать диски напрямую в линух и там собрать md/lvm/zfs/...
У меня сейчас 4tb диски по sas подключены, все нормально собирается.
alecv
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 5545
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 окт. 2004
easyjohn Проблема в том, что ядро видит объем 10Tb только короткое мгновение в момент загрузки, а потом переключается на 2Tb. См. в первом логе dmesg. При попытке разметить GPT (parted; mklabel gpt) задача подвисает, а лог ядра с дикой скоростью заполняетсяsd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10. Как я понимаю, это лог из глубины драйвера sym53c8xx, о том, что он переключается между CDB-16 и CDB-10. Адаптеки AIC и всякие прочие контроллеры не видят даже этого.

То что оно "в принципе" работает, например на современных SAS/SATA это понятно.

Все утилиты sg_* (например sg_dd) с ключом --16 работают, но срет в логи этим phase change.
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
Код модуля драйвера scsi листал?
Гугл что говорит по поводу linux >2tb disk?
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
alecv
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 5545
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 окт. 2004
easyjohn написал:
[q]
Код модуля драйвера scsi листал?
[/q]
Еще нет. Неохота хард-секса, хотя понятно что по-дугому с пингвином нельзя...

easyjohn написал:
[q]
Гугл что говорит по поводу linux >2tb disk?
[/q]
Гугл заполнен полезными советами 'Запустите parted, а fdisk не запускайте'

AIC я пробовал, с ним совсем все плохо на физическом уровне. Скорость только снижать не пробовал. LSI прицепился как родной по физике на Ultra 160.
Anonymous
Advanced Member


Откуда: Москва(Россия)
Всего сообщений: 2537
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
22 нояб. 2011
У меня выходило большие диски видеть лайфхаком: оставляем малое число секторов, но делаем их большими. SCSI позволяет до 16мб на блок иметь, у вас же 512 байт стандартные и их много. Не пробовал в x86 линухах, потому просто для галочки решение с военной rtos.
doctord
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 596
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
22 сен. 2014
А какой линукс? Какое ядро? Какой контроллер?
Если Ваше дисковое хранилище позволяет нарезать массив на несколько LUN'ов, их потом можно легко склеить обратно через LVM в одно блочное устройство.
alecv
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 5545
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 окт. 2004
doctord Linux - RHEL 6 ядро последнее kernel-2.6.32-696.1.1.el6.x86_64 контроллер - безродный OEM PCI-X 64, вероятно HP, на чипе SYM53C1010 (специально искал "голый" Symbios SYM53xx т.к. ни AIC ни MegaRaid не видят больше 2G совсем).

Резать неохота, смысл именно в RAID5. Плодить много 2G RAID-ов - большой расход дисков. 11 терабайтников - маразм.

Почитал linux-scsi, мантейнер драйвера sym53c8xx_2 Gerard Roudier похоже завязал в 2001-м (что случилось - не знаю).
Сайт LSI сдох.

Ошибка очень непростая, возникает как раз в коде "синхронизации" (Handles Phase Mismatch from SCRIPTS) псевдо-ассемблера NCR SCSI SCRIPT. Если интересно, введение:
http://lxr.free-electrons.com/...txt?v=3.13
(это "самый новый" драйвер)
http://lxr.free-electrons.com/...txt?v=3.13
(это "самый старый")

Объяснение что к чему, копия с сайта LSI
http://ridl.cfd.rit.edu/produc.../LINUX.HTM
doctord
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 596
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
22 сен. 2014
Да, не знаю, чем и помочь, драйвер этот такое чувство все забросили попросту. На Sym53c1030, sym53c1020 поищите, например LSI MEGARAID 320-1, 20320, на драйвере mptspi не должно быть такой проблемы.
И я не предлагал делать много массивов, в некоторых хранилищах есть вариант нарезать один массив на несколько "логических" томов (по 2тб). посмотрите в своём, может есть что-то такое.

UPD. А вообще sym53c8xx_2 тоже обновляют, только Changelog никто не ведёт, но обновления есть. Чего-то связанного именно с этой проблемой я не нашел, но вот, сами смотрите: https://github.com/torvalds/li...ym53c8xx_2
Попробуте загрузится в какой-нибудь LiveCD со свежим ядром, и посмотрите, что будет...
alecv
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 5545
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 окт. 2004
doctord Попробую написать в "scsi-linux" может кто и обратит внимание... Версия драйвера sym53c8xx_2 не меняется уже лет 15, так и стоит 2.2.3, правят косметику.

Откопал в залежах еще SUN-овскую карту PCI-X-64 на SYM53C896 + 2 гигабитных Ether NSC. К сожалению она без BIOS-а и Ultra-80 но зато холява. Но надежды мало т.к. код тот же.05:01.0 PCI bridge: Intel Corporation 21154 PCI-to-PCI Bridge
06:00.0 Ethernet controller: National Semiconductor Corporation DP83065 [Saturn] 10/100/1000 Ethernet Controller (rev 30)
06:01.0 Ethernet controller: National Semiconductor Corporation DP83065 [Saturn] 10/100/1000 Ethernet Controller (rev 30)
06:02.0 SCSI storage controller: LSI Logic / Symbios Logic 53C896/897 (rev 07)
06:02.1 SCSI storage controller: LSI Logic / Symbios Logic 53C896/897 (rev 07)
Upd Не пошло, ТА ЖЕ САМАЯ ошибка.

Еще вот такое продают, 1300 руб и шина поновее.
http://www.ebay.com/itm/LSI-Lo...2158084059
Доки
https://0a.fi/wp-content/uploads/2016/09/12081346.pdf
ftp://ftp.sgi.com/public/Techn...320_ug.pdf

Еще можно попробовать FreeBSD, но самое смешное что там код тот же самый от Gerard Roudier, только glue-слой другой.
doctord
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 596
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
22 сен. 2014
ну, попробуйте, хотя конечно уже вряд ли, имхо...
да, на последней фотке видно маркировку sym53c1020a, я думаю должно заработать без проблем
alecv
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 5545
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 окт. 2004
Продолжение эпопеи.

Откопал на avito SCSI контроллер Adaptec ASC-29320ALP (шина такая же PCI-X длинная) на чипе AIC-7901.

- На UltraWide-320 дико глючит шина и контроллер блочится в линухе как неисправный.
- На UltraWide-160 шина запустилась, но контроллер не пропускает CDB-16 и соответственно, каждая попытка например опросить емкость отправляет операцию в Abort.
scsi11 : Adaptec AIC79XX PCI-X SCSI HBA DRIVER, Rev 3.0
        >Adaptec 29320ALP PCIx Ultra320 SCSI adapter>
        aic7901: Ultra320 Wide Channel A, SCSI Id=7, PCI-X 101-133MHz, 512 SCBs
scsi 11:0:0:0: Direct-Access     IFT      A24U-G2421-1     347R PQ: 0 ANSI: 5
scsi target11:0:0: asynchronous
scsi11:A:0:0: Tagged Queuing enabled.  Depth 4
scsi target11:0:0: Beginning Domain Validation
scsi target11:0:0: wide asynchronous
scsi target11:0:0: FAST-80 WIDE SCSI 160.0 MB/s DT (12.5 ns, offset 127)
scsi target11:0:0: Ending Domain Validation
sd 11:0:0:0: [sde] Very big device. Trying to use READ CAPACITY(16).
sd 11:0:0:0: [sde] READ CAPACITY(16) failed
sd 11:0:0:0: [sde]  Result: hostbyte=DID_ABORT driverbyte=DRIVER_OK
sd 11:0:0:0: [sde] Sense not available.
sd 11:0:0:0: [sde] Using 0xffffffff as device size
sd 11:0:0:0: [sde] 4294967296 512-byte logical blocks: (2.19 TB/2.00 TiB)
sd 11:0:0:0: [sde] Write Protect is off
sd 11:0:0:0: [sde] Mode Sense: 9b 00 00 08
sd 11:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
sd 11:0:0:0: [sde] Very big device. Trying to use READ CAPACITY(16).
sd 11:0:0:0: [sde] READ CAPACITY(16) failed
sd 11:0:0:0: [sde]  Result: hostbyte=DID_ABORT driverbyte=DRIVER_OK
sd 11:0:0:0: [sde] Sense not available.
sd 11:0:0:0: [sde] Using 0xffffffff as device size
sd 11:0:0:0: Attached scsi generic sg5 type 0
sde: unknown partition table
sd 11:0:0:0: [sde] Very big device. Trying to use READ CAPACITY(16).
sd 11:0:0:0: [sde] READ CAPACITY(16) failed
sd 11:0:0:0: [sde]  Result: hostbyte=DID_ABORT driverbyte=DRIVER_OK
sd 11:0:0:0: [sde] Sense not available.
sd 11:0:0:0: [sde] Using 0xffffffff as device size
sd 11:0:0:0: [sde] Attached SCSI disk

sg* утилиты с ключом -16 соответственно не работают.

Криворукие кодеры!
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
Может пора укоротить осетра?
alecv
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 5545
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 окт. 2004
easyjohn Хрен вам, не дождетесь. :) В ход пошло все. Едут контроллеры с e-bay.
pentiumschild
Full Member


Откуда: N.Novgorod, Russia
Всего сообщений: 264
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
12 янв. 2007
Этот контроллер умеет кроме физических дисков делать логические? Может попробовать собрать pv на 10Тер пятым рэйдом, а на нем нарезать 5 lv по 2 тера, а в системе склеить lvm?
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
pentiumschild написал:
[q]
[/q]
В предложеном варианте возникает проблема с обслуживанием вылетевших дисков. Если отдавать с полки виртуальные lun, то можно не попасть на диск и при вылете физического диска потеряешь больше одного pv.
Единственным приличным решением будет отдавать отдельные диски как отдельные lun, и обслуживать raid целиком из линукса, о чем и был мой первый коммент в ветке.
pentiumschild
Full Member


Откуда: N.Novgorod, Russia
Всего сообщений: 264
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
12 янв. 2007
easyjohn написал:
[q]
[/q]
Никаких попаданий.
На 11 дисках собран 5 райд в PV.
Логические диски LV собираются уже поверх этого раздела.
Так что в теории ничего кроме скорости, при вылетевшем диске мы не теряем.
На практике, конечно, я видел пятые райды, умершие от одного потеряного диска. С тех пор только 10 рэйды.
Другое дело, что эта полка может не уметь делать такого и весь собранный физический раздел сразу делегирует в систему.
alecv
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 5545
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 окт. 2004
Потери большие, почти пол-тера.

Скоро приедет контроллер с китайщины, продолжим.
pentiumschild
Full Member


Откуда: N.Novgorod, Russia
Всего сообщений: 264
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
12 янв. 2007
Ну если китайцы не помогут - можно попробовать будет полку в HBA режим перевести и софтварно собирать райд, либо уже на самом контроллере SCSI.
alecv
Advanced Member


Откуда: Санкт-Петербург
Всего сообщений: 5545
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
5 окт. 2004
Приехал контроллер LSI22320 и сразу все стало немного по-другому....
Fusion MPT base driver 3.04.20
Copyright © 1999-2008 LSI Corporation
Fusion MPT SPI Host driver 3.04.20
  alloc irq_desc for 24 on node -1
  alloc kstat_irqs on node -1
mptspi 0000: 05:01.0: PCI INT A -> GSI 24 (level, low) -> IRQ 24
mptbase: ioc0: Initiating bringup
ioc0: LSI53C1030 C0: Capabilities={Initiator}
scsi10 : ioc0: LSI53C1030 C0, FwRev=01032920h, Ports=1, MaxQ=222, IRQ=24
  alloc irq_desc for 25 on node -1
  alloc kstat_irqs on node -1
mptspi 0000: 05:01.1: PCI INT B -> GSI 25 (level, low) -> IRQ 25
mptbase: ioc1: Initiating bringup
ioc1: LSI53C1030 C0: Capabilities={Initiator}
scsi 10:0:0:0: Direct-Access     IFT      A24U-G2421-1     347R PQ: 0 ANSI: 5
scsi target10:0:0: Beginning Domain Validation
scsi11 : ioc1: LSI53C1030 C0, FwRev=01032920h, Ports=1, MaxQ=222, IRQ=25
scsi target10:0:0: Ending Domain Validation
scsi target10:0:0: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS PCOMP (6.25 ns, offse
t 127)
sd 10:0:0:0: [sde] 19529912320 512-byte logical blocks: (9.99 TB/9.09 TiB)
sd 10:0:0:0: [sde] Write Protect is off
sd 10:0:0:0: [sde] Mode Sense: 9b 00 00 08
sd 10:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
sde: sde1
sd 10:0:0:0: [sde] Attached SCSI disk
sd 10:0:0:0: Attached scsi generic sg5 type 0

# parted /dev/sde
GNU Parted 2.1
Using /dev/sde
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) print
Model: IFT A24U-G2421-1 (scsi)
Disk /dev/sde: 9999GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name   Flags
1      1050kB  9999GB  9999GB  ext4         LINUX

# mount /dev/sde1 /mnt/
#
# df -H
Filesystem            Size  Used Avail Use% Mounted on
.....
/dev/sde1             9.9T   42M  9.4T   1% /mnt
# dd if=/dev/zero of=/mnt/FILE.BIN bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 1.87925 s, 571 MB/s
easyjohn
Advanced Member


Откуда: SPb
Всего сообщений: 3381
Рейтинг пользователя: 0


Ссылка


Дата регистрации на форуме:
7 апр. 2008
Счастье. Проверь только на тестовых данных, что там где-нить в районе 2тб не происходит закольцовывание и он не начинает писать опять с нуля, затирая служебку.
<<Назад  Вперед>> Страницы: 1 2 3
Печать
Полигон-2 »   IBM PC-совместимое. После 2000 года »   SCSI диск 10Tb под Linux
RSS

0 посетителей просмотрели эту тему за последние 15 минут
В том числе: 0 гостей, 0 скрытых пользователей

Последние RSS
[Москва] LIQUID-Акция. Сливаются разъемы CF
МС7004 и 7004А на AT и XT
Пайка термотрубок
Проммать s478 PEAK 715VL2-HT ( Full-Size SBC)
Подскажите по 386 материке по джамперам.

Самые активные 5 тем RSS