Полигон-2

Перепала с барского плеча старая дисковая стоечка SCSI на 10Tb (11 штук SATA дисков по 1 Тб в RAID5, выход SCSI Ultra320). Можно конечно ее раздербанить на диски и раму выкинуть, но хочется запустить т.к. в ней нормальный блок питания и вентиляция. Лучше под Linux и желательно запустить одним куском 10Тб, а не резать на разделы.

Но вот беда, дурацкое ограничение 2Tb на SCSI диск у Linux-а мешает до сих пор.

Перебрал кучу SCSI контроллеров, почти все видят 2Тб. Какой-то проблеск имеется у LSI (SYM53C1010), но все равно плохо.

Кто-нибудь имел дело ? Железо уже старое, спецов нету.sym53c8xx 0000: 05:01.0: PCI INT A disabled
sym53c8xx 0000: 05:01.0: PCI INT A -> GSI 24 (level, low) -> IRQ 24
sym0: >1010-66> rev 0x1 at pci 0000: 05:01.0 irq 24
sym0: Symbios NVRAM, ID 7, Fast-80, LVD, parity checking
sym0: open drain IRQ line driver, using on-chip SRAM
sym0: using LOAD/STORE-based firmware.
sym0: handling phase mismatch from SCRIPTS.
sym0: SCSI BUS has been reset.
scsi4 : sym-2.2.3
scsi 4:0:0:0: Direct-Access     IFT      A24U-G2421-1     347R PQ: 0 ANSI: 5
scsi target4:0:0: tagged command queuing enabled, command queue depth 16.
scsi target4:0:0: Beginning Domain Validation
scsi target4:0:0: FAST-80 WIDE SCSI 160.0 MB/s DT (12.5 ns, offset 62)
scsi target4:0:0: Ending Domain Validation
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: [sde] 4294967296 512-byte logical blocks: (2.19 TB/2.00 TiB)
sd 4:0:0:0: [sde] Write Protect is off
sd 4:0:0:0: [sde] Mode Sense: 9b 00 00 08
sd 4:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: Attached scsi generic sg5 type 0
sd 4:0:0:0: [sde] 19529912320 512-byte logical blocks: (9.99 TB/9.09 TiB)
sde: detected capacity change from 2199023255552 to 9999315107840
sde: unknown partition table
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: [sde] 4294967296 512-byte logical blocks: (2.19 TB/2.00 TiB)
sd 4:0:0:0: [sde] Attached SCSI diskЕсли посмотреть sg_readcap, то вроде нормально, но только на CDB 16[root@stora ~]# sg_readcap -v /dev/sg5
    read capacity (10) cdb: 25 00 00 00 00 00 00 00 00 00
READ CAPACITY (10) indicates device capacity too large
  now trying 16 byte cdb variant
    read capacity (16) cdb: 9e 10 00 00 00 00 00 00 00 00 00 00 00 20 00 00
    read capacity (16): requested 32 bytes but got 12 bytes
Read Capacity results:
   Protection: prot_en=1, p_type=7, p_i_exponent=15
   Thin provisioning: tpe=1, tprz=1
   Last logical block address=19529912319 (0x48c12cfff), Number of logical blocks=19529912320
   Logical block length=512 bytes
   Logical blocks per physical block exponent=15
   Lowest aligned logical block address=16383
Hence:
   Device size: 9999315107840 bytes, 9536090.0 MiB, 9999.32 GBНо постоянно сыплется в логиsd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10.
sd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10. И parted не видит больше 2Tb. То есть из под sg и CDB-16 виден весь диск, а ядро и дисковая подсистема похоже продолжает работать в CDB-10.

easyjohn Проблема в том, что ядро видит объем 10Tb только короткое мгновение в момент загрузки, а потом переключается на 2Tb. См. в первом логе dmesg. При попытке разметить GPT (parted; mklabel gpt) задача подвисает, а лог ядра с дикой скоростью заполняетсяsd 4:0:0:0: phase change 2-7 16@37a9af60 resid=10. Как я понимаю, это лог из глубины драйвера sym53c8xx, о том, что он переключается между CDB-16 и CDB-10. Адаптеки AIC и всякие прочие контроллеры не видят даже этого.

То что оно "в принципе" работает, например на современных SAS/SATA это понятно.

Все утилиты sg_* (например sg_dd) с ключом --16 работают, но срет в логи этим phase change.

http://linux-kernel.2935.n7.na...64968.html

У меня выходило большие диски видеть лайфхаком: оставляем малое число секторов, но делаем их большими. SCSI позволяет до 16мб на блок иметь, у вас же 512 байт стандартные и их много. Не пробовал в x86 линухах, потому просто для галочки решение с военной rtos.

doctord Linux - RHEL 6 ядро последнее kernel-2.6.32-696.1.1.el6.x86_64 контроллер - безродный OEM PCI-X 64, вероятно HP, на чипе SYM53C1010 (специально искал "голый" Symbios SYM53xx т.к. ни AIC ни MegaRaid не видят больше 2G совсем).

Резать неохота, смысл именно в RAID5. Плодить много 2G RAID-ов - большой расход дисков. 11 терабайтников - маразм.

Почитал linux-scsi, мантейнер драйвера sym53c8xx_2 Gerard Roudier похоже завязал в 2001-м (что случилось - не знаю).
Сайт LSI сдох.

Ошибка очень непростая, возникает как раз в коде "синхронизации" (Handles Phase Mismatch from SCRIPTS) псевдо-ассемблера NCR SCSI SCRIPT. Если интересно, введение:
http://lxr.free-electrons.com/...txt?v=3.13
(это "самый новый" драйвер)
http://lxr.free-electrons.com/...txt?v=3.13
(это "самый старый")

Объяснение что к чему, копия с сайта LSI
http://ridl.cfd.rit.edu/produc.../LINUX.HTM

doctord Попробую написать в "scsi-linux" может кто и обратит внимание... Версия драйвера sym53c8xx_2 не меняется уже лет 15, так и стоит 2.2.3, правят косметику.

Откопал в залежах еще SUN-овскую карту PCI-X-64 на SYM53C896 + 2 гигабитных Ether NSC. К сожалению она без BIOS-а и Ultra-80 но зато холява. Но надежды мало т.к. код тот же.05:01.0 PCI bridge: Intel Corporation 21154 PCI-to-PCI Bridge
06:00.0 Ethernet controller: National Semiconductor Corporation DP83065 [Saturn] 10/100/1000 Ethernet Controller (rev 30)
06:01.0 Ethernet controller: National Semiconductor Corporation DP83065 [Saturn] 10/100/1000 Ethernet Controller (rev 30)
06:02.0 SCSI storage controller: LSI Logic / Symbios Logic 53C896/897 (rev 07)
06:02.1 SCSI storage controller: LSI Logic / Symbios Logic 53C896/897 (rev 07)Upd Не пошло, ТА ЖЕ САМАЯ ошибка.

Еще вот такое продают, 1300 руб и шина поновее.
http://www.ebay.com/itm/LSI-Lo...2158084059
Доки
https://0a.fi/wp-content/uploads/2016/09/12081346.pdf
ftp://ftp.sgi.com/public/Techn...320_ug.pdf

Еще можно попробовать FreeBSD, но самое смешное что там код тот же самый от Gerard Roudier, только glue-слой другой.

Продолжение эпопеи.

Откопал на avito SCSI контроллер Adaptec ASC-29320ALP (шина такая же PCI-X длинная) на чипе AIC-7901.

- На UltraWide-320 дико глючит шина и контроллер блочится в линухе как неисправный.
- На UltraWide-160 шина запустилась, но контроллер не пропускает CDB-16 и соответственно, каждая попытка например опросить емкость отправляет операцию в Abort.
scsi11 : Adaptec AIC79XX PCI-X SCSI HBA DRIVER, Rev 3.0
        >Adaptec 29320ALP PCIx Ultra320 SCSI adapter>
        aic7901: Ultra320 Wide Channel A, SCSI Id=7, PCI-X 101-133MHz, 512 SCBs
scsi 11:0:0:0: Direct-Access     IFT      A24U-G2421-1     347R PQ: 0 ANSI: 5
scsi target11:0:0: asynchronous
scsi11:A:0:0: Tagged Queuing enabled.  Depth 4
scsi target11:0:0: Beginning Domain Validation
scsi target11:0:0: wide asynchronous
scsi target11:0:0: FAST-80 WIDE SCSI 160.0 MB/s DT (12.5 ns, offset 127)
scsi target11:0:0: Ending Domain Validation
sd 11:0:0:0: [sde] Very big device. Trying to use READ CAPACITY(16).
sd 11:0:0:0: [sde] READ CAPACITY(16) failed
sd 11:0:0:0: [sde]  Result: hostbyte=DID_ABORT driverbyte=DRIVER_OK
sd 11:0:0:0: [sde] Sense not available.
sd 11:0:0:0: [sde] Using 0xffffffff as device size
sd 11:0:0:0: [sde] 4294967296 512-byte logical blocks: (2.19 TB/2.00 TiB)
sd 11:0:0:0: [sde] Write Protect is off
sd 11:0:0:0: [sde] Mode Sense: 9b 00 00 08
sd 11:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
sd 11:0:0:0: [sde] Very big device. Trying to use READ CAPACITY(16).
sd 11:0:0:0: [sde] READ CAPACITY(16) failed
sd 11:0:0:0: [sde]  Result: hostbyte=DID_ABORT driverbyte=DRIVER_OK
sd 11:0:0:0: [sde] Sense not available.
sd 11:0:0:0: [sde] Using 0xffffffff as device size
sd 11:0:0:0: Attached scsi generic sg5 type 0
sde: unknown partition table
sd 11:0:0:0: [sde] Very big device. Trying to use READ CAPACITY(16).
sd 11:0:0:0: [sde] READ CAPACITY(16) failed
sd 11:0:0:0: [sde]  Result: hostbyte=DID_ABORT driverbyte=DRIVER_OK
sd 11:0:0:0: [sde] Sense not available.
sd 11:0:0:0: [sde] Using 0xffffffff as device size
sd 11:0:0:0: [sde] Attached SCSI disk
sg* утилиты с ключом -16 соответственно не работают.

Криворукие кодеры!

easyjohn Хрен вам, не дождетесь. В ход пошло все. Едут контроллеры с e-bay.

pentiumschild написал:

[q]

[/q]

В предложеном варианте возникает проблема с обслуживанием вылетевших дисков. Если отдавать с полки виртуальные lun, то можно не попасть на диск и при вылете физического диска потеряешь больше одного pv.
Единственным приличным решением будет отдавать отдельные диски как отдельные lun, и обслуживать raid целиком из линукса, о чем и был мой первый коммент в ветке.

Потери большие, почти пол-тера.

Скоро приедет контроллер с китайщины, продолжим.

Приехал контроллер LSI22320 и сразу все стало немного по-другому....
Fusion MPT base driver 3.04.20
Copyright © 1999-2008 LSI Corporation
Fusion MPT SPI Host driver 3.04.20
  alloc irq_desc for 24 on node -1
  alloc kstat_irqs on node -1
mptspi 0000: 05:01.0: PCI INT A -> GSI 24 (level, low) -> IRQ 24
mptbase: ioc0: Initiating bringup
ioc0: LSI53C1030 C0: Capabilities={Initiator}
scsi10 : ioc0: LSI53C1030 C0, FwRev=01032920h, Ports=1, MaxQ=222, IRQ=24
  alloc irq_desc for 25 on node -1
  alloc kstat_irqs on node -1
mptspi 0000: 05:01.1: PCI INT B -> GSI 25 (level, low) -> IRQ 25
mptbase: ioc1: Initiating bringup
ioc1: LSI53C1030 C0: Capabilities={Initiator}
scsi 10:0:0:0: Direct-Access     IFT      A24U-G2421-1     347R PQ: 0 ANSI: 5
scsi target10:0:0: Beginning Domain Validation
scsi11 : ioc1: LSI53C1030 C0, FwRev=01032920h, Ports=1, MaxQ=222, IRQ=25
scsi target10:0:0: Ending Domain Validation
scsi target10:0:0: FAST-160 WIDE SCSI 320.0 MB/s DT IU QAS PCOMP (6.25 ns, offse
t 127)
sd 10:0:0:0: [sde] 19529912320 512-byte logical blocks: (9.99 TB/9.09 TiB)
sd 10:0:0:0: [sde] Write Protect is off
sd 10:0:0:0: [sde] Mode Sense: 9b 00 00 08
sd 10:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
sde: sde1
sd 10:0:0:0: [sde] Attached SCSI disk
sd 10:0:0:0: Attached scsi generic sg5 type 0
# parted /dev/sde
GNU Parted 2.1
Using /dev/sde
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) print
Model: IFT A24U-G2421-1 (scsi)
Disk /dev/sde: 9999GB
Sector size (logical/physical): 512B/512B
Partition Table: gpt

Number  Start   End     Size    File system  Name   Flags
1      1050kB  9999GB  9999GB  ext4         LINUX
# mount /dev/sde1 /mnt/
#
# df -H
Filesystem            Size  Used Avail Use% Mounted on
.....
/dev/sde1             9.9T   42M  9.4T   1% /mnt
# dd if=/dev/zero of=/mnt/FILE.BIN bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 1.87925 s, 571 MB/s