LINUX.ORG.RU

Маленькая скорость HDD

 , , ,


1

2

Здравствуйте.

Имеется сервер ProLiant DL360 G6. На нем есть 2 hdd по 500гб каждый. Они собраны в raid 1+0 контроллером P410i (если всего 2 диска, то рейд 1+0 работает как рейд 1).

Установил debian wheezy. Со временем заметил, что многие команды выполняются долго. Пока выполнение не закончится - другие команды выполнить нельзя. Процессы очень долго висят в статусе «D».

Команды любые - apt-get update, adduser, apt-get install - без разницы.

Проверил скорость hdd следующими командами:

sync; dd if=/dev/zero of=tempfile bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 0.682444 s, 1.6 GB/s
***************
sync; dd if=/dev/zero of=tempfile bs=1M count=1024; sync
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB) copied, 68.7066 s, 15.6 MB/s
***************

И

 hdparm -Tt /dev/sda

/dev/sda:
 Timing cached reads:   18214 MB in  2.00 seconds = 9114.65 MB/sec
 Timing buffered disk reads: 318 MB in  3.00 seconds = 105.99 MB/sec

fdisk -l выдает следующее:

Disk /dev/sda: 931.5 GiB, 1000171331584 bytes, 1953459632 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disklabel type: dos
Disk identifier: 0x743319f2

Device     Boot  Start        End    Sectors   Size Id Type
/dev/sda1  *      2048     499711     497664   243M 83 Linux
/dev/sda2       501758 1953458175 1952956418 931.2G  5 Extended
/dev/sda5       501760 1953458175 1952956416 931.2G 8e Linux LVM

Partition 3 does not start on physical sector boundary.


Disk /dev/mapper/name--vg-root: 893.6 GiB, 959451234304 bytes, 1873928192 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes
Disk /dev/mapper/name--vg-swap_1: 37.7 GiB, 40458256384 bytes, 79020032 sectors
Units: sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 4096 bytes
I/O size (minimum/optimal): 4096 bytes / 4096 bytes

Так же на сервер были установлены утилиты HP - System Management Tools. Диагностика ими рейда и hdd ошибок никаких не показала. Во всех строках, где есть слово Error - одни нули.

Техподдержка, где расположен сервер, поменяли hdd на другие - проблема та же.

Пробовал собирать в рейд 0. Скорость увеличилась ровно в 2 раза. Команда

sync; dd if=/dev/zero of=tempfile bs=1M count=1024; sync
уже показывала 30-40мб/с.

Может ли влиять -

Partition 3 does not start on physical sector boundary. на скорость hdd?
Стоит ли выравнивать раздел?

Параллельный мониторинг atop'ом при выполнении какой-нибудь команды показывает LVM и DISK - busy 100%.

У тебя какая-то хрень с разметкой разделов, в fdisk видно

Конечно, выравнивание должно быть. Там по дефолту всё создается норм, ничего не мудри, просто переделай.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

А какой импакт от отсутствия выравнивания? По идее же, +1 блок на одну цепочку только? Это не так уж и много, если раздел не фрагментирован сильно.

Moondancer
()

DL360 G6 просто днище. Но скорость будет выше, когда закончится билд массива и выполнишь рекомендации регистрантов.

Deleted
()
Ответ на: комментарий от Moondancer

Ну извини, с таким отношением только первая ссылка из гугла от меня бесплатно. Дальше как нибудь сам :-)

Добавлю только что на практике встречался с тем что неверный aligning очень бьет по производительности ZFS. Там и 3 раза - не предел, если ты на 4K-дисках ashift не задашь

Pinkbyte ★★★★★
()
Ответ на: комментарий от Deleted

Днище днищем, но

[root@zabbix ~]# time (dd if=/dev/zero of=tempfile bs=1M  count=1024; sync)
1024+0 записей получено
1024+0 записей отправлено
 скопировано 1073741824 байта (1,1 GB), 4,86459 c, 221 MB/c

real    0m14.889s
user    0m0.011s
sys     0m2.191s

А это у меня, на минуточку G5. То есть если считать по real, то примерно 70 Мб/сек получается. У ТСа - в четыре раза меньше.

Меня правда смущает что RAID 10 у ТСа используется в деградированном режиме. Я видал контроллеры(правда у Fujitsu, не у HP) которые даже при отсутствии фонового процесса восстановления в таком нештатном режиме эксплуатации НЕЩАДНО тормозили.

Ну и инфу с дисков хотелось бы увидеть. Если SMART не доступен штатными утилитами - то хотя бы какие-то данные через HP-шные(hpacucli или как оно там называется)

Update: упс, G5 это другой сервак. Тут еще «круче»:

[root@zabbix ~]# dmidecode | grep -m1 Product
        Product Name: ProLiant ML350 G4p
Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 3)


Имеется сервер ProLiant DL360 G6. На нем есть 2 hdd по 500гб каждый. Они собраны в raid 1+0 контроллером P410i (если всего 2 диска, то рейд 1+0 работает как рейд 1).



Моя поганая привычка читать ЛОР по диагонали иногда меня подводит, уже почти полез в топик выяснять «а чо, так можно было?».

Deleted
()
Ответ на: комментарий от Pinkbyte

1. Непонятно что с батарейкой в контроллере.
2. Нужно дождаться билда массива. Пользоваться можно сразу, но процесс идёт в фоне, что снижает скорость.
3. Нужно дождаться окончания процесса создания фс, та же самая история. http://fibrevillage.com/storage/474-ext4-lazy-init
4. Если этого будет мало, можно поиграться со значениями кэша записи/чтения в контроллере.

Deleted
()

проверь статус bbu, если акум сдох, то writeback отключается.

anonymous
()
Ответ на: комментарий от Pinkbyte

Вот, что выдают утилиты HP:

ssacli ctrl all show status

Smart Array P410i in Slot 0 (Embedded)
   Controller Status: OK

ssacli ctrl slot=0 show config | grep -v -e '^$'
Smart Array P410i in Slot 0 (Embedded)    (sn: 5001438007CC13A0)
   Port Name: 1I
   Port Name: 2I
   Internal Drive Cage at Port 1I, Box 1, OK
   Internal Drive Cage at Port 2I, Box 1, OK
   Array A (SATA, Unused Space: 0  MB)
      logicaldrive 1 (465.7 GB, RAID 1, Failed)
      physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SATA HDD, 500 GB, OK)
      physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SATA HDD, 500 GB, OK)
   Array B (SATA, Unused Space: 0  MB)
      logicaldrive 2 (931.5 GB, RAID 1, OK)
      physicaldrive 2I:1:5 (port 2I:box 1:bay 5, SATA HDD, 1 TB, OK)
      physicaldrive 2I:1:8 (port 2I:box 1:bay 8, SATA HDD, 1 TB, OK)

P.S. Вот это:

Array A (SATA, Unused Space: 0  MB)
      logicaldrive 1 (465.7 GB, RAID 1, Failed)
      physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SATA HDD, 500 GB, OK)
      physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SATA HDD, 500 GB, OK)
было до просьбы поменять жесткие диски, дабы исключить, что проблема в них. Но они еще торчат в сервере. Хотя массив на них - выкл.

mrevilfromhell
() автор топика
Ответ на: комментарий от Pinkbyte

Более детально:

ssacli ctrl slot=0 show config | grep -v -e '^$'
Smart Array P410i in Slot 0 (Embedded)    (sn: 5001438007CC13A0)
   Port Name: 1I
   Port Name: 2I
   Internal Drive Cage at Port 1I, Box 1, OK
   Internal Drive Cage at Port 2I, Box 1, OK
   Array A (SATA, Unused Space: 0  MB)
      logicaldrive 1 (465.7 GB, RAID 1, Failed)
      physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SATA HDD, 500 GB, OK)
      physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SATA HDD, 500 GB, OK)
   Array B (SATA, Unused Space: 0  MB)
      logicaldrive 2 (931.5 GB, RAID 1, OK)
      physicaldrive 2I:1:5 (port 2I:box 1:bay 5, SATA HDD, 1 TB, OK)
      physicaldrive 2I:1:8 (port 2I:box 1:bay 8, SATA HDD, 1 TB, OK)
root@process42:~/HPE# ^C
root@process42:~/HPE#
root@process42:~/HPE# ssacli ctrl slot=1 show config detail

Error: The controller identified by "slot=1" was not detected.

root@process42:~/HPE# ssacli ctrl slot=0 show config detail
root@process42:~/HPE# ssacli ctrl slot=0 show config detail

Smart Array P410i in Slot 0 (Embedded)
   Bus Interface: PCI
   Slot: 0
   Serial Number: 5001438007CC13A0
   Controller Status: OK
   Hardware Revision: C
   Firmware Version: 6.64-0
   Rebuild Priority: Medium
   Surface Scan Delay: 15 secs
   Surface Scan Mode: Idle
   Parallel Surface Scan Supported: No
   Elevator Sort: Enabled
   Wait for Cache Room: Disabled
   Surface Analysis Inconsistency Notification: Disabled
   Post Prompt Timeout: 0 secs
   Cache Board Present: False
   Drive Write Cache: Enabled
   Total Cache Size: 0 MB
   SATA NCQ Supported: True
   Number of Ports: 2 Internal only
   Driver Name: hpsa
   Driver Version: 3.4.4
   Driver Supports SSD Smart Path: True
   PCI Address (Domain:Bus:Device.Function): 0000:03:00.0
   Port Max Phy Rate Limiting Supported: False
   Host Serial Number: CZJ01209D2
   Sanitize Erase Supported: False
   Primary Boot Volume: None
   Secondary Boot Volume: None


   Port Name: 1I
         Port ID: 0
         Port Connection Number: 0
         SAS Address: 5001438007CC13A0
         Port Location: Internal

   Port Name: 2I
         Port ID: 1
         Port Connection Number: 1
         SAS Address: 5001438007CC13A4
         Port Location: Internal


   Internal Drive Cage at Port 1I, Box 1, OK

      Power Supply Status: Not Redundant
      Drive Bays: 4
      Port: 1I
      Box: 1
      Location: Internal

   Physical Drives
      physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SATA HDD, 500 GB, OK)
      physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SATA HDD, 500 GB, OK)



   Internal Drive Cage at Port 2I, Box 1, OK

      Power Supply Status: Not Redundant
      Drive Bays: 4
      Port: 2I
      Box: 1
      Location: Internal

   Physical Drives
      physicaldrive 2I:1:5 (port 2I:box 1:bay 5, SATA HDD, 1 TB, OK)
      physicaldrive 2I:1:8 (port 2I:box 1:bay 8, SATA HDD, 1 TB, OK)


   Array: A
      Interface Type: SATA
      Unused Space: 0  MB (0.0%)
      Used Space: 931.5 GB (100.0%)
      Status: OK
      Array Type: Data


      Logical Drive: 1
         Size: 465.7 GB
         Fault Tolerance: 1
         Heads: 255
         Sectors Per Track: 32
         Cylinders: 65535
         Strip Size: 256 KB
         Full Stripe Size: 256 KB
         Status: Failed
         Caching:  Disabled
         Unique Identifier: 600508B1001C6920A42ADDACD2BA90B8
         Logical Drive Label: AC5009595001438007CC13A0D305
         Mirror Group 1:
            physicaldrive 1I:1:1 (port 1I:box 1:bay 1, SATA HDD, 500 GB, OK)
         Mirror Group 2:
            physicaldrive 1I:1:4 (port 1I:box 1:bay 4, SATA HDD, 500 GB, OK)
         Drive Type: Data
         LD Acceleration Method: All disabled


      physicaldrive 1I:1:1
         Port: 1I
         Box: 1
         Bay: 1
         Status: OK
         Drive Type: Data Drive
         Interface Type: SATA
         Size: 500 GB
         Drive exposed to OS: False
         Logical/Physical Block Size: 512/4096
         Rotational Speed: 7200
         Firmware Revision: GH2OA510
         Serial Number: TF650LYS09W11L
         WWID: 300000000FF83E50
         Model: ATA     HGST HTE725050A7
         SATA NCQ Capable: True
         SATA NCQ Enabled: True
         Current Temperature (C): 16
         Maximum Temperature (C): 41
         PHY Count: 1
         PHY Transfer Rate: 3.0Gbps
         Sanitize Erase Supported: False
         Shingled Magnetic Recording Support: None

      physicaldrive 1I:1:4
         Port: 1I
         Box: 1
         Bay: 4
         Status: OK
         Drive Type: Data Drive
         Interface Type: SATA
         Size: 500 GB
         Drive exposed to OS: False
         Logical/Physical Block Size: 512/4096
         Rotational Speed: 7200
         Firmware Revision: 01.01A01
         Serial Number: WXH1A97P3H35
         WWID: 3E27000000E53823
         Model: ATA     HGST HTS725050B7
         SATA NCQ Capable: True
         SATA NCQ Enabled: True
         Current Temperature (C): 16
         Maximum Temperature (C): 24
         PHY Count: 1
         PHY Transfer Rate: 3.0Gbps
         Sanitize Erase Supported: False
         Shingled Magnetic Recording Support: None



   Array: B
      Interface Type: SATA
      Unused Space: 0  MB (0.0%)
      Used Space: 1.8 TB (100.0%)
      Status: OK
      Array Type: Data


      Logical Drive: 2
         Size: 931.5 GB
         Fault Tolerance: 1
         Heads: 255
         Sectors Per Track: 32
         Cylinders: 65535
         Strip Size: 256 KB
         Full Stripe Size: 256 KB
         Status: OK
         Caching:  Disabled
         Unique Identifier: 600508B1001CD7CF23ECBA81C4069779
         Disk Name: /dev/sda
         Mount Points: /boot 243 MB Partition Number 1
         OS Status: LOCKED
         Logical Drive Label: AC5457895001438007CC13A0DA75
         Mirror Group 1:
            physicaldrive 2I:1:5 (port 2I:box 1:bay 5, SATA HDD, 1 TB, OK)
         Mirror Group 2:
            physicaldrive 2I:1:8 (port 2I:box 1:bay 8, SATA HDD, 1 TB, OK)
         Drive Type: Data
         LD Acceleration Method: All disabled


      physicaldrive 2I:1:5
         Port: 2I
         Box: 1
         Bay: 5
         Status: OK
         Drive Type: Data Drive
         Interface Type: SATA
         Size: 1 TB
         Drive exposed to OS: False
         Logical/Physical Block Size: 512/4096
         Rotational Speed: 7200
         Firmware Revision: JB0OA3U0
         Serial Number: JS1008620VV0SL
         WWID: 340605A200409024
         Model: ATA     HGST HTE721010A9
         SATA NCQ Capable: True
         SATA NCQ Enabled: True
         Current Temperature (C): 17
         Maximum Temperature (C): 34
         PHY Count: 1
         PHY Transfer Rate: 3.0Gbps
         Sanitize Erase Supported: False
         Shingled Magnetic Recording Support: None

      physicaldrive 2I:1:8
         Port: 2I
         Box: 1
         Bay: 8
         Status: OK
         Drive Type: Data Drive
         Interface Type: SATA
         Size: 1 TB
         Drive exposed to OS: False
         Logical/Physical Block Size: 512/4096
         Rotational Speed: 7200
         Firmware Revision: 01.01H01
         Serial Number: JR1000D302UTEF
         WWID: 3FBF001C8FB00007
         Model: ATA     WDC WD10JPLX-00M
         SATA NCQ Capable: True
         SATA NCQ Enabled: True
         Current Temperature (C): 15
         Maximum Temperature (C): 35
         PHY Count: 1
         PHY Transfer Rate: 3.0Gbps
         Sanitize Erase Supported: False
         Shingled Magnetic Recording Support: None

mrevilfromhell
() автор топика

Решение

Техподдержка установила другой аппаратный контроллер. Собрали им в массив диски, накатили ту же ОС, с теми же настройками - проблем со скоростью HDD больше не наблюдается. dd показывает >100 mb/s.

mrevilfromhell
() автор топика
Ответ на: Решение от mrevilfromhell

Контроллер без кэша заменили на контроллер с кэшем, и стало быстрее. Вот это сюрприз!

bigbit ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.