LINUX.ORG.RU
решено Форум — Linux-hardware  

проблема с доступом к 5Тб диску через 3ware 9650se

 , , ,


0

3

Вечер добрый.

Возникла проблема- извлеченный из внешнего бокса винт на 5 Тб был подключен к контроллеру 9650se, контроллером определился, юнит добавился, но при этом система вместо 1 накопителя на 5 ТБ видит 2 по 2Тб (sdi и sdj)

uname -a
Linux myhome 3.2.0-4-amd64 #1 SMP Debian 3.2.60-1+deb7u3 x86_64 GNU/Linux
lsscsi
[0:0:0:0]    disk    AMCC     9650SE-12M DISK  4.10  /dev/sda 
[0:0:1:0]    disk    AMCC     9650SE-12M DISK  4.10  /dev/sdl 
[3:0:0:0]    disk    ATA      TOSHIBA DT01ACA1 MS2O  /dev/sdb 
[5:0:0:0]    disk    ATA      ST8000AS0002-1NA AR15  /dev/sdc 
[6:0:0:0]    disk    ATA      WDC WD50EFRX-68M 82.0  /dev/sdd 
[9:0:0:0]    disk    TOSHIBA  External USB 3.0 0     /dev/sde 
[10:0:0:0]   disk    Seagate  Backup+  Desk    040B  /dev/sdf 
[11:0:0:0]   disk    TOSHIBA  External USB 3.0 5438  /dev/sdg 
[12:0:0:0]   disk    TOSHIBA  External USB 3.0 5438  /dev/sdh 
[15:0:0:0]   disk    Seagate  Backup+ Hub BK   D781  /dev/sdk 
[24:0:0:0]   disk    Seagate  Expansion Desk   0909  /dev/sdm 
tw_cli /c0 show 

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    JBOD      OK             -       -       -       465.762   RiW    OFF    
u1    JBOD      OK             -       -       -       931.513   RiW    OFF    

VPort Status         Unit Size      Type  Phy Encl-Slot    Model
------------------------------------------------------------------------------
p1    OK             u0   465.76 GB SATA  1   -            WDC WD5000AAKX-08U6 
p2    OK             u1   931.51 GB SATA  2   -            ST1000NM0011    
tw_cli /c0 rescan
Rescanning controller /c0 for units and drives ...Done.
Found the following unit(s): [none].
Found the following drive(s): [/c0/p3].

tw_cli /c0 show 

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    JBOD      OK             -       -       -       465.762   RiW    OFF    
u1    JBOD      OK             -       -       -       931.513   RiW    OFF    

VPort Status         Unit Size      Type  Phy Encl-Slot    Model
------------------------------------------------------------------------------
p1    OK             u0   465.76 GB SATA  1   -            WDC WD5000AAKX-08U6 
p2    OK             u1   931.51 GB SATA  2   -            ST1000NM0011        
p3    OK             -    4.54 TB   SATA  3   -            ST5000DM000-1FK178

добавил юнит как синглдиск 

tw_cli /c0 add type=single disk=3
Creating new unit on controller /c0 ... Done. The new unit is /c0/u2.
Setting AutoVerify=ON for the new unit ... Done.
Setting default Storsave policy to [balance] for the new unit ... Done.
Setting default Command Queuing policy for unit /c0/u2 to [on] ... Done.
Setting write cache = ON for the new unit ... Done.
Warning: You do not have a battery backup unit for /c0/u2 and the enabled
write cache (default) may cause data loss in the event of power failure.

tw_cli /c0 show 

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    JBOD      OK             -       -       -       465.762   RiW    OFF    
u1    JBOD      OK             -       -       -       931.513   RiW    OFF    
u2    SINGLE    OK             -       -       -       4656.6    RiW    ON     

VPort Status         Unit Size      Type  Phy Encl-Slot    Model
------------------------------------------------------------------------------
p1    OK             u0   465.76 GB SATA  1   -            WDC WD5000AAKX-08U6 
p2    OK             u1   931.51 GB SATA  2   -            ST1000NM0011        
p3    OK             u2   4.54 TB   SATA  3   -            ST5000DM000-1FK178  

[4833491.621386] scsi 0:0:2:0: Direct-Access     AMCC     9650SE-12M DISK  4.10 PQ: 0 ANSI: 5
[4833491.621741] sd 0:0:2:0: Attached scsi generic sg9 type 0
[4833491.621770] sd 0:0:2:0: [sdi] 4294967295 512-byte logical blocks: (2.19 TB/1.99 TiB)
[4833491.622224] scsi 0:0:2:1: Direct-Access     AMCC     9650SE-12M DISK  4.10 PQ: 0 ANSI: 5
[4833491.622524] sd 0:0:2:1: Attached scsi generic sg12 type 0
[4833491.622658] sd 0:0:2:0: [sdi] Write Protect is off
[4833491.622662] sd 0:0:2:0: [sdi] Mode Sense: 23 00 10 00
[4833491.622957] sd 0:0:2:1: [sdj] 4294967295 512-byte logical blocks: (2.19 TB/1.99 TiB)
[4833491.623061] scsi 0:0:2:2: Direct-Access     AMCC     9650SE-12M DISK  4.10 PQ: 0 ANSI: 5
[4833491.623153] sd 0:0:2:0: [sdi] Write cache: disabled, read cache: enabled, supports DPO and FUA
[4833491.623369] sd 0:0:2:2: Attached scsi generic sg13 type 0
[4833491.623533] sd 0:0:2:1: [sdj] Write Protect is off
[4833491.623536] sd 0:0:2:1: [sdj] Mode Sense: 23 00 10 00
[4833491.623864] sd 0:0:2:2: [sdn] 1175668738 512-byte logical blocks: (601 GB/560 GiB)
[4833491.624047] sd 0:0:2:1: [sdj] Write cache: disabled, read cache: enabled, supports DPO and FUA
[4833492.009661] sd 0:0:2:2: [sdn] Write Protect is off
[4833492.009666] sd 0:0:2:2: [sdn] Mode Sense: 23 00 10 00
[4833492.065031] sd 0:0:2:2: [sdn] Write cache: disabled, read cache: enabled, supports DPO and FUA
[4833492.115313]  sdi: unknown partition table
[4833492.186136]  sdj: unknown partition table

добавилось 2 накопителя по 2 Тб (sdi, sdj)

с подобным сталкивался уже - созданные внешним боксом разделы на винте удалял акронисом, подключив винт к сата-контроллеру на южном мосте,

Но есть желание разобраться, как сделать это все на данном контроллере и без акрониса.

← Тип файловой системы для внешнего HDD 4TB
Одноплатник с гигабитом →

контроллером определился, юнит добавился

как ты это определили? Там написано, что имено 5TB? Сталкивался с тем, что один мой контроллер Promise не видел диски >2TB если они были не из whitelist (т.е. можно было использовать только «сертифицированные» > 2TB)

Deleted
()
Ответ на: комментарий от KSCHNK

боксовый контроллер сам хитрым образом форматирует и размечает диск, его разметку сторонний софт не определяет

сейчас: 

fdisk -l

WARNING: GPT (GUID Partition Table) detected on '/dev/sdi'! The util fdisk doesn't support GPT. Use GNU Parted.


Disk /dev/sdi: 2199.0 GB, 2199023255040 bytes
255 heads, 63 sectors/track, 267349 cylinders, total 4294967295 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdi doesn't contain a valid partition table

Disk /dev/sdj: 2199.0 GB, 2199023255040 bytes
255 heads, 63 sectors/track, 267349 cylinders, total 4294967295 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdj doesn't contain a valid partition table

Wolf_46
() автор топика
Ответ на: комментарий от Deleted 
tw_cli /c0 show 

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    JBOD      OK             -       -       -       465.762   RiW    OFF    
u1    JBOD      OK             -       -       -       931.513   RiW    OFF    
u2    SINGLE    OK             -       -       -       4656.6    RiW    ON

строка u2 - Size(GB) - 4656.6

Wolf_46
() автор топика
Ответ на: комментарий от Wolf_46

а, не увидел в стартовом сообщении, прошу прощения.

А может сделать dd if=/dev/zeo of=/dev/DISK bs=1M count=100 , что бы всякую старую инфу о разметке затереть? (нужные данные, надеюсь, на диске не лежат)

Только подрубить бы диск напрямую, не через хитрые боксы и контроллеры!

Deleted
()
Ответ на: комментарий от Wolf_46

У этого контроллера же веб-интерфейс есть, потыкайся там.

KSCHNK
()

На самом деле после добавления LUN-а и рескана шины появилось три новых устройства, sdi, sdj, sdn. Причём их суммарный объем близок к 5 ТБ. Может это контроллер так странно обрабатывает LUN-ы типа single?

iliyap ★★★★★
()
Ответ на: комментарий от iliyap

Только надо разрешить создание JBOD-ов: tw_cli /c0 set exportjbod=on

iliyap ★★★★★
()
Ответ на: комментарий от Deleted

итак, продолжил ковыряния с «обновления» прошивки контроллера

было /c0 Firmware Version = FE9X 4.10.01.021 - такой версии на офсайте вообще обнаружить не удалось, даже в архивах

стало FE9X 4.10.00.027 - самая «свежая» версия с офсайта

результата не принесло, 9650se видел все те же 3 диска. После поиска по форумам нашлось решение - в биосе рейда параметр Auto-Carving Policy был выставлен в «off»

Накопитель в 5Тб я увидел... но по какой-то причине диски перестали автоматически коннектиться в JBOD. Ну, думаю, автоматически не стали - значит руками подключу. Для диска WD5000AAKX, который ранее был в JBOD и на котором были данные, делаю tw_cli /c0 add type=single disk=xx и... наблюдаю sda: unknown partition table . Втыкаю этот диск в контроллер матплаты - unknown partition table. ***лять!!!, остался без данных (хотя и не очень важны, но восстановить попробовать придеться).

По винту на 5 тб. При подключении к 9650se автоматически создается юнит в режиме сингл драйв. dmesg - уже знакомое sde: unknown partition table. В gparted пытаюсь создать таблицу разделов - gparted падает с ошибкой. На 5 раз, после множества манипуляций на винте 5 тб создал таки раздел. При подключении диска к контроллеру на мат.плате dmesg ругается 

scsi 4:0:0:0: Direct-Access     ATA      ST5000DM000-1FK1 CC49 PQ: 0 ANSI: 5
[83298.792446] sd 4:0:0:0: [sde] 9767541168 512-byte logical blocks: (5.00 TB/4.54 TiB)
[83298.792453] sd 4:0:0:0: Attached scsi generic sg4 type 0
[83298.792458] sd 4:0:0:0: [sde] 4096-byte physical blocks
[83298.792571] sd 4:0:0:0: [sde] Write Protect is off
[83298.792574] sd 4:0:0:0: [sde] Mode Sense: 00 3a 00 00
[83298.792602] sd 4:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[83298.859050] GPT:Primary header thinks Alt. header is not at the end of the disk.
[83298.859054] GPT:9765603327 != 9767541167
[83298.859056] GPT:Alternate GPT header not at the end of the disk.
[83298.859058] GPT:9765603327 != 9767541167
[83298.859060] GPT: Use GNU Parted to correct GPT errors.
[83298.859080]  sde: sde1

насколько это критично?

те диски, которые ранее были на контроллере 9650se в JBOD, после обновления прошивки в JBOD режиме цепляться никак не хотят. 'tw_cli maint createunit c0 rjbod p0' не помогает. На контроллере exportjbod в «on». Диски, ранее к контроллеру не подключавшиеся, сами коннектятся в JBOD.

Так что по теме вроде вопрос закрыт, но возникли еще вопросы:

- по 5 ТБ диску на другом контроллере : [83298.859056] GPT:Alternate GPT header not at the end of the disk. - насколько критично? притом при подключении к 9650se все ок.

- как засунуть в JBOD диски, которые ранее там были? (В сингл диск совать без предупреждения о потере всех данных больше желания нет (()

Wolf_46
() автор топика
Ответ на: комментарий от Wolf_46

Чтобы засунуть обратно в JBOD надо зачистить raid metadata с диска (чтобы он стал как неюзанный эти контроллером), а потом этот диск заново вставить в контроллер. Судя по гайду это должны делать две команды: 

tw_cli /c0/p5 export # clean raid metadata on disk on port 5
tw_cli /c0 rescan

iliyap ★★★★★
()
Ответ на: комментарий от Wolf_46

Таблица разделов GPT держит основную копию в начале диска, запасную копию в конце диска. Поиск запасной копии ведётся именно с последнего сектора диска. Но разные контроллеры имеют разный размер raid metadata. Поэтому при перекидывании диска с контроллера на контроллер запасная копия GPT может оказаться не в конце диска (это не очень опасно), или может оказаться затёрта raid metadat-ой (это уже хуже).

iliyap ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Тип файловой системы для внешнего HDD 4TB
Linux-hardware
Одноплатник с гигабитом →